時間ある方よかったら相談乗って下さい。

付き合って約5年(同棲約3年)になる彼氏がいます。(色々あって距離を置いた時期はあります。)
私のわがままを聞いてくれるし、
生活費は出してくれているし、
欲しい物も結構買ってくれます。
お互い喧嘩になれば言いたい事言って結構激しい喧嘩をします。(お互い手も出します。)
でも彼は嘘を平気でつく人みたいで、新規の女の子とも連絡先を交換したりしてるみたいです。しかし、私の小学校からの男友達の連絡先が入っていると凄く怒って来ます。(他にも色々...)そんな彼氏の事が信用できなくなり、恋愛感情がなくなってきたのですが、別れようと言っても「無理！」「こんなに尽くしたのにわがままだ」と言われ別れてくれません。
やっぱり私のわがままなのでしょうか？
我慢してた方がいいのでしょうか？

長くなりましたがよかったら意見を聞かせて下さい。