根据《人口与计划生育法》第十八条规定，国家提倡一对夫妻生育两个子女。符合法律、法规规定条件的，可以要求安排再生育子女。

因此，双方的子女属于非婚生子女的，属于不符合法定条件生育子女的情形，因此，需要缴纳社会抚养费。

非婚生子女可以判给男方吗

在男方更有利于子女成长的情况下，非婚生子女是能判给男方的。根据相关法律规定，当事人双方就抚养权争议向人民法院起诉的，由人民法院根据双方的具体情况，按照最有利于未成年子女的原则判决，人民法院跟随父亲生活更有利于孩子或母方有不适宜抚养的，人民法院会判给男方。

《人口与计划生育法》第四十一条规定，不符合本法第十八条规定生育子女的公民，应当依法缴纳社会抚养费。

未在规定的期限内足额缴纳应当缴纳的社会抚养费的，自欠缴之日起，按照国家有关规定加收滞纳金；仍不缴纳的，由作出征收决定的计划生育行政部门依法向人民法院申请强制执行。