それでもいいと思います。

相手が引きとめても、「いえ、もう次のバイト先は決まってるんで！」と強気に返せるくらい辞める意志を固めといた方がいいです。

気の弱い人はいざとなったら考えが二転三転して結局居残る形になるケースがごまんとありますから。