バツイチ子持ちさん  男性  62歳

ご自身が言われてる通り時と場合によるので答えようが無いですが、大事な事は彼の真意を確認する事です。
そして貴女自身がどう思ってるかです。

相談者さん自身は無理したり苦しい思いをしてるんですか？
その前提次第で展開も違います。
貴女が無理してるなら彼の心配も頷けますが、無理してるなんて全く感じてないなら、「全く無理してないし、一緒にいる事は楽しいよ」って伝えるべきです。
（ここで相談してる時点で貴女は何らかのハードルを感じてる気がします）
そして彼が何を無理してると感じているかを聞いて下さい。

彼の気持ちより貴女がどうしたいかです。

彼も悩んでるはずですが恋愛も結婚も2人で一緒に手を繋いでハードルを飛び越えて行くものなのにお互いに相手を気遣ってる様で相手に責任をぶつけてる気がします。

彼の答えが曖昧でもう貴女が嫌になって別れたい理由を探してるだけなら、そんな男はこっちから振ってやりましょう。