辛いですよね。
私も元カレが女友達が多くて、不安ばっかりだしそれが嫌で嫌で束縛してしまい、それだけが理由ではないけど別れました。

無理に我慢することないと思います。
彼に自分の気持ちぶつけるべきです(T_T)
彼女なんだから、意見ぐらい言う権利ありますよ！
頑張って！