依据我国相关司法解释的规定，男女双方解除非法同居关系的时候，子女抚养权问题可以通过协商的方式解决，协商不成的诉讼解决。

相关法律规定

《最高人民法院关于人民法院审理未办结婚登记而以夫妻名义同居生活案件的若干意见》

8、人民法院审理非法同居关系的案件，如涉及非婚生子女抚养和财产分割问题，应一并予以解决。具体分割财产时，应照顾妇女、儿童的利益，考虑财产的实际情况和双方的过错程度，妥善分割。

9、解除非法同居关系时，双方所生的非婚生子女，由哪一方抚养，双方协商；协商不成时，应根据子女的利益和双方的具体情况判决。哺乳期内的子女，原则上应由母方抚养，如父方条件好，母方同意，也可由父方抚养。子女为限制民事行为能力人的，应征求子女本人的意见。一方将未成年的子女送他人收养，须征得另一方的同意。

10、解除非法同居关系时，同居生活期间双方共同所得的收入和购置的财产，按一般共有财产处理。同居生活前，一方自愿赠送给对方的财物可比照赠与关系处理；一方向另一方索取的财物，可参照最高人民法院〔84〕法办字第112号《关于贯彻执行民事政策法律若干问题的意见》第(18)条规定的精神处理。

非法同居怎么处罚

非法同居一般是不会被处罚的。

但是如果一方是已婚并且处于婚姻存续期间而以夫妻名义进行公开同居的话，是要承担法律责任的，即重婚罪。这样的罪名是属于不告不受理的，也就是说需要由原告的起诉法院才会受理。

自1994年以后，我国不认可事实婚姻的存在，但是刑法依然会适用事实婚姻，构成重婚罪。

我国不再承认事实婚姻的存在，未登记结婚而以夫妻名义共同生活的应认定为同居行为。因此，一部分人因婚后感情不和而导致夫妻分居，其中一方与第三人发生同居行为，他们认为只要没有再次进行婚姻登记即不构成重婚罪。这里要纠正大家一点，民法中不承认事实婚姻的存在，但是我国《刑法》依然会适用事实婚姻，即婚内夫妻一方与第三人以夫妻名义共同生活，将以事实婚姻构成重婚罪。