時間をいじったことも無いのにブラックシティ、ホワイトフォレストに人がいないのは、クリアまでに時間がかかりすぎたことが原因でしょう。

時間をいじって人が居なくなるのは、その間接触してないせいで、状態を維持するために人と会話する必要があります。