匿名希望さん  女性  39歳

服装も自身を表す一部なので相談者さんらしい服装で行くほうが相談者さんを一番素敵にみせると思いますよ。
それに男性は大体の方がOL風、好きだと思いますし、初回の服装としてもベターだと思います。

周囲の方も気にしてないと思いますが、やっぱり気になるようであれば、やり取りの中で
「○○日（お会いする日）は、どういった服装ですか？お会いする際の目印に教えていただけると嬉しいです。」
と、質問してみたらいかがでしょう。
私の場合、質問しなくても教えてくださる方もいたので特に質問する事自体は不自然ではないかと思います。