知り合って、順調に1か月で3回お会いした男性がいます。4回目の約束をしたのですが、約束の前々日に、体調が悪くて入院することになったと連絡が来ました。

お断りの口実かな？と思いましたが、どうやら本当に1週間ほど検査入院していたようです。退院後も体調不良が良くならず、11月は会社を休んだと聞きました。
ブルーライトがしんどいとのことで、LINEはほぼ来ず、1か月の間に、電話で2回話をしました。声の張りもなく、会っていた時と様子が全然違ったので、メンタルの不調なども併発してしまうのではないかと心配していました。
体調不良になってから、昼夜逆転してるので、普通に戻さないと、という話もしていて、いつなら起きているかよくわからなかったので、少し前に、その後どうですか。よくなっているといいのですが。体が楽になったら、またお会いしたいです。という内容のLINEをしました。
すぐに返事がきて、11月下旬以降は、ずっと寝ていないといけないほどの痛みが出る日はなくなりました。でも、外で会うのはしんどいので、もしよかったら私がそちらに行ってもいいでしょうか。とのことでした。

この、そちらに行ってもいいでしょうか、は、私の自宅に来たいということなんでしょうか。
この男性に対して、私はほんのり好意はありますが、まだ体の関係を持つのは早いのかな、と思っています。
でも体調があまりよくない人に、そういう疑いをかけるのも考えすぎなのかな、とか。
ちなみに、これまでボディタッチなどもありません。
一度だけ、私が彼の背中についた落ち葉などをはらった程度です。
あまり角が立たないお断りの仕方ってないでしょうか。