バツイチ子持ちさん  男性  63歳

見た目は関係ないです。
笑顔や話し方、所作が関係してる場合が多いです。

既婚女性と独身女性と話す時って対応が違ってませんか？
知らず知らず話し方（話題）や目線の位置がまずくなっていませんか？

「かなり避けられる」って全員にですか？

全員でなければ一番話しやすい人を交えて話を振ってみてはいかがですか？

僕の場合、職場は東京、名古屋、大阪にあり、部下の女性も100名以上になります。
既婚者もいれば20代の女性も多いですが、声をかければ気軽に笑顔で返してくれますよ。
ただし本社の経理のおばちゃん（50代）だけは情緒不安定で直ぐに機嫌が悪くなるので経理次長も会話は避けるようにしていますｗ（触らぬ神にたたりなし＾＾；）
立場上、厳しい事も言わざるをえない事も多いですが、だから避けるって事にはならないです。

既婚者の方と話が出来るなら既婚者と独身者が一緒にいる時に共通の話題を振ってみたらいかがですか？
それでもダメなら既婚者の女性の方に「何故独身女性が避けてるのか教えて欲しい」って聞いてみてください。
きっと意外な事実を教えてくれます。
参考になれば幸いです。