コンタクトの上からなら大丈夫でしょう。

ちなみに私は外すとき上の方を見て、コンタクトの下の方をつまんで外してます。
がんばって自分流のやりやすい方法をみつけてください^^