特命係長さん  男性  39歳

あまり女性と付き合ったことがない男はそういう所気にしない可能性が高いです。
ただ、そういう人は普段仕事しているときにも、ヨレヨレのＹシャツかもしれません。
自分の事は気にならないタイプなんです。

今回はお断りして、その人にはお断りの理由も気に障らない程度に伝えてあげるのがよいかと思います。