Да, а если жены нет? Дальше что? Вы о чем?
Конечно нах вам сын, у вас дочь есть. Что вы от него хотите после таких слов?
Разжевываю:
мальчика не считаю нужным держать возле матери.
главная женщина с возрастом у него должна быть жена! Нет ее - живи один и мучайся
В контексте с дочерью теперь:
Тем паче, что у меня есть дочь, его держать вдвойне не буду

Так как дочь ближе к матери, это действительно так