QBQBさん  男性  45歳

言葉のアヤというか、会話の流れでそういうことを言う場合はありますよ。
相手が絶世の美女でも、へちゃむくれ（失礼）でも。
美女は美女で「顔だけで勝手に好かれて寄って来られる」のが悩みという場合もありますし、外見にコンプレックスをお持ちだったとしたらやはり外見に悩まされるでしょうし。

気にしすぎると自分自身を傷つけてしまいます。
相手は決してあなたの外見のことを悪く見て言っているとは限らないのですから。