匿名希望さん  女性  41歳

彼の言う、やましい事があるわけじゃないとは、相談者様とは付き合っていないから、自分が女性関係を作っても貴女に悪いこと(＝やましい事)してる訳じゃないでしょ、とも取れないですか？

貴女は、やましい事＝自分に言えないような事だとお考えですが、彼は貴女に男と遊ばれても平気とあります。男と遊ばれても嫉妬しないという事です。
彼の言うやましい事の意味は分かりませんが、考えさせての後に、やましい事がないなら〜と書いたのは追い討ちにはなっていると思います。
貴女も書いておられるように、付き合えないと言われたなら文句は言えない関係です。文句言えないのに責めたのですから、面倒くさいなと思われたのかもしれません。

付き合ってないのに恋人未満とはどういう状態だったのでしょうか？
スキンシップはあったんですか？セフレのような感じですか？男性は好きじゃなくても行為はできます。
そういう関係じゃなくても、四年も好きだったならとても辛いですよね。でも他に探したほうがいいと思うんです。四年も無駄にしたと思って次に進みましょう。