关于爸爸没有养育过孩子是否可以要回去这个问题，需要依据不同情况具体分析，以下为您详细阐述：
1.离婚后抚养权归属问题：
在父母离婚时，若孩子的抚养权归母亲，而父亲后续想要回抚养权，这并非简单之事。
首先，父亲需要提供充分证据，证明母亲存在不利于孩子身心健康成长的情况。
例如，母亲患有严重且难以治愈的疾病，可能无法全身心照顾孩子的生活与学习；或者母亲长期不尽抚养义务，对孩子的生活、教育等方面疏于关心和照料。
同时，父亲自身必须具备抚养孩子的能力和条件。
比如，要有稳定且足够的收入，以保障孩子的生活开销；要有固定的住所，为孩子提供稳定的居住环境。
在此基础上，父亲可向法院提起诉讼，请求变更孩子的抚养权，法院会综合各种因素进行裁决。
2.非婚生子女情况：
当孩子是非婚生子女时，父亲若想要回孩子，同样要证明自己更适合抚养孩子。
例如，母亲存在不良生活习惯，如长期酗酒、吸毒等，这些行为会对孩子的成长产生严重的负面影响。
而且，父亲自身也要具备抚养孩子的能力，包括经济、居住等方面的条件。
只有这样，父亲才可以通过法律途径，积极争取孩子的抚养权。

案情回顾:

小朱和小丽离婚后，孩子抚养权归小丽。后小朱想拿回抚养权，小丽却认为小朱从未养育过孩子不应要回。此外，小胡与小静非婚生育孩子，小胡想拿回孩子，小静也以小胡未养育过为由拒绝。

案情分析:

1、在小朱和小丽离婚的案件中，小朱若要回抚养权，需提供小丽不利于孩子身心健康成长的证据，如患有严重难治愈疾病或长期不尽抚养义务等，且自身要有抚养能力和条件，才可向法院起诉请求变更抚养权。
2、对于小胡和小静非婚生子女的情况，小胡要证明自己更适合抚养孩子，比如小静有酗酒、吸毒等不良习惯，同时自身具备经济、居住等抚养条件，才能通过法律途径争取抚养权。