子持ちバツイチ同士の婚活の進め方はどのようにしたらいいのでしょう？

私は5年前に離婚をし、現在39歳です。現在息子が小学4年生です。親権は母親側にありますが養育費5万円を払い、2週間に１回面会しています。会う時は土日の泊まりで預かっています。子供は可愛く、元妻とも良好な関係が続いています。離婚時は再婚なんて考えることなく、子供を育てることに集中しようと離婚後4年間は頑張りました。しかし、やはりパートナーがいないことに寂しさを感じてはいました。そういったことで1年前に軽い気持ちでバツイチ同士の婚活パーティーに行きました。そこで3歳の娘を持つシングルマザーと出会い付き合うことになりました。現在付き合って1年経ちます。当初はこちらの女性と息子と会わない土日に会うようにしていました。こちらも2週間に１回です。ただ付き合いが1年も経つと1週間に１回会いたいと言われるようになりました。しかし、息子も私と会うことを楽しみにしており今も2週間に１回会っているため、女性の申し出を断りました。それからというもの、女性と少し距離を感じており、このままでは婚活が失敗に終わりそうな予感がしています。別れた息子も大事ですし、今の彼女とも別れたくありません。
子持ちバツイチ同士の婚活についてアドバイスがあればよろしくお願いします。