これまでに3回ほどお会いしたお相手の方に、お断りの連絡をしようと思っています。

一番の理由としては、私は人見知りで話下手なのですが、お相手も同じような感じらしく、3回お会いして3回とも途中から会話がなくなりだんまりする時間が続いてしまったためです。
お食事して会話するだけだから良くないのかな、と思って近場を散策したりお店屋さんに立ち寄ったりを提案してみたのですが、ほぼ無言で歩き回るだけで無意味でした。
ご自身ののことなると饒舌に話してくださるのですが、他のことではあまり話が広がらず、次にお会いしたとしてもこの状況が変わるとはとても思えないので、もうお断りしようと決めました。

3回もお会いしている方ですしちゃんとお礼も伝えてお断りしたいと思っているのですが、皆さまはお断りのメッセージを送る時どういう書き出しにしてますか？
それと、お断りする理由は正直にお伝えしても良いものでしょうか？

参考までに教えていただきたいです。
よろしくお願いします。