可以的，没有登记结婚，所以你们的婚姻不被法律认可，但孩子是你们两个人的，都有权利和义务。
离婚时抚养权的归属，可以双方协商，一旦协商不成，则需由法院判决。法院判决抚养权归属，一般根据有利于子女成长原则进行：主要考虑以下因素：夫妻双方的学历、工作、收入、年龄、家庭环境、子女的年龄等。

《民法典》
第一千零八十七条离婚时，夫妻的共同财产由双方协议处理；协议不成的，由人民法院根据财产的具体情况，按照照顾子女、女方和无过错方权益的原则判决。对夫或者妻在家庭土地承包经营中享有的权益等，应当依法予以保护。