自分の会社を知っている相手とはやり取りしたくないですか？

サイトを通じて出会った男性が、私が以前勤めていた会社の人でした。2回目にお会いした時に、勤務エリアと業種から気付き「もしかして○○〔会社〕ではないですよね？」と確認したら、最初言いたくないと言われました。
しつこく聞いたりはしてないですが、明らかにばれたと思ったのかその会社であってると後から男性から言われました。

私も以前勤めていたことは伝えましたが、大きい会社で勤務地も私とは違うし、年齢も職種も違う為、共通の知り合いもいませんし雇用形態も違います。
ただ会話の中で、○○は××な企業ランキングに入っているよねと私が言ったら、会社を知られているのがやりずらいと言われ、連絡の頻度が減り遠回しに断られてしまいました。
それって誰でも職場に関わりがある人だと嫌なものでしょうか？それとも相手が真剣な出会いを探してなかったからでしょうか？（メールや会った感じでは誠実な印象でしたが）

この相談をさせてもらったのも、本当に偶然ですが上記の相手とのやり取りが終わり、新しくやり取りをした方が偶然にもまた前の職場の人のように感じました。（まだ確定ではないのですが勤務地と職種、就業時間が同じです）

私はもちろん聞かれれば嘘はつかないですが、今は全く違う仕事をしていますし、今度は自分から前の職場については言わないようにした方がいいのかなと思ってます。
名刺を自ら渡して下さる男性も多いですが、知られたくない人の方が多いのでしょうか？