匿名希望さん  女性  38歳

シンプルに「ちょっと合わないと思うところがあるので」「ご縁がなかったということで」でいいと思います。

ただ個人的には、業務でもないプライベートの雑談で「マジで」くらい普通だと思います。
断るのは自由ですけど、そんな些細なことでいちいち断ってたらあっという間におばあさんだと思います。