匿名希望さん 男性 48歳
ベスト回答が決まってますが、男性から批判を受けておられるので質問者さまを擁護したいと思います。
お相手の男性の、「年に２、３回『も』行くのですね」の「も」には旅行頻度に対する否定的な意味が含まれていてその男性の相手の趣味嗜好を尊重する姿勢に対する無神経さを表しています。
質問者さまがカチンとくるのも当然です。
譲れない条件ということで旅行を頻繁に一緒に行ける方、あるいは質問者さまの旅行に行きたいという趣味嗜好を理解してくれる方をお探しになった方がいいと思います。
