ゴードンさん 男性 36歳
相手の男性が元暴力団に所属していたかどうかはともかく、妻子ある男性とお付き合いをするのは、道徳的にも法律的にも許されることではないはずです。ですので、
「妻子のある方とはお付き合いできません」
といってお断りをするのが最も素直だと思います。
それでもしつこく言い寄ってくるのであれば、「実は他に気になる人がいる」「友達としてならいいけれど、恋愛対象としては考え難い」とハッキリ断ればいいと思います。
何れにせよ、なるべく早い段階でお断りの意思表示をするのが得策だと思います。遅くなればなっただけ、面倒なことになりますから。