会う約束をしてから、スケジュールや体調不良等ではなく、気持ちの変化から会うことをお断りしたことはありますか？

もうすぐ会うことを約束している男性がいるのですが、約束してからのやりとりの中で少しずつ違和感を感じて正直会うのが億劫です。

待ち合わせの時間が決まっていなかったので、どうしようか尋ねたら、「昼間はジムに行きたいから夜がいい」と返ってきたことが決定的でした。
正直な人なんだと思いますが、これでは二の次にされていると思ってもおかしくないですよね？
会う約束をしてから少しずつ悪い意味でフランクになってきて、待ち合わせの時間を聞いたときも私の都合には一切触れてくれませんでした。
ちなみに誘って来たのは男性の方からです。

今まで約束してからお断りしたことが無かったので質問してみました。