まーしゃるさん  男性  35歳

お断りしたい時は､理由はなんであれ､その旨お伝えするべきです｡それが､誠意ある対応だと私は思います｡
お相手の男性は､少しﾈｶﾞﾃｨﾌﾞな面があるようですので､写ﾒ･容姿を理由にお断りすると､必要以上にｼｮｯｸを受けて引きずる可能性があるのではないでしょうか?
もし私なら､『容姿がどうというよりも､ﾒｰﾙでの会話で､ﾈｶﾞﾃｨﾌﾞな面を感じてしまい､自分との性格の相性が不一致ではないかと考えるようになってしまいました｡』というような内容にすると思います｡
お相手の男性がどのように受け止めるか分かりませんが､相手の性格を配慮したうえでのお断り内容も､必要ではないでしょうか?