没有办理结婚登记不存在离婚的问题，无需通过民政部门或者法院解除关系，自行解除即可。
如果想协议离婚需要双方补办结婚登记后再离婚，否则只能到人民法院起诉离婚。
对于男女双方非法同居期间所生子女由哪一方抚养的问题，最好由双方协商解决。
在无法协商或者协商不成的情况下，可以到法院起诉，法院会根据子女的利益及双方的具体情况予以判决。

《民法典》第二十六条
?父母对未成年子女负有抚养、教育和保护的义务。成年子女对父母负有赡养、扶助和保护的义务。
第三十七条
?依法负担被监护人抚养费、赡养费、扶养费的父母、子女、配偶等，被人民法院撤销监护人资格后，应当继续履行负担的义务。
第一千零五十八条
?夫妻双方平等享有对未成年子女抚养、教育和保护的权利，共同承担对未成年子女抚养、教育和保护的义务。
第一千零六十七条
?父母不履行抚养义务的，未成年子女或者不能独立生活的成年子女，有要求父母给付抚养费的权利。成年子女不履行赡养义务的，缺乏劳动能力或者生活困难的父母，有要求成年子女给付赡养费的权利。
第一千零七十一条
?非婚生子女享有与婚生子女同等的权利，任何组织或者个人不得加以危害和歧视。不直接抚养非婚生子女的生父或者生母，应当负担未成年子女或者不能独立生活的成年子女的抚养费。