通常来讲，仅仅凭借不让探望小孩这个理由就直接索要回抚养权，一般是很难获得支持的。
抚养权的变更有着明确的法定条件。
其一，与子女共同生活的那一方倘若患上了严重的疾病，或者因为伤残而丧失了继续抚养子女的能力；其二，与子女共同生活的一方没有尽到抚养义务，又或者存在虐待子女的行为，亦或是其与子女共同生活的状态对子女的身心健康确实产生了不利的影响等。
要是对方不让探望小孩，我们首先可以尝试通过沟通和协商来解决这个问题。
要是协商没有效果，那么我们可以向法院申请对探望权进行强制执行。
然而，若想要直接要回抚养权，就必须要有足够充分的证据来证明对方存在不利于子女成长的情形，并且变更抚养权这种做法更有利于子女的身心健康以及合法权益。
总之，绝对不能仅仅依靠不让探望小孩这一个单一的事由，就直接要求对抚养权进行变更。
我们需要综合考虑多方面的因素，经过仔细的判断和妥善的处理，才能够更好地保障子女的权益和成长。

案情回顾:

小朱与小李离婚后，孩子归小李抚养。小朱每次探望孩子时小李都以各种理由拒绝。小朱一气之下，想要回孩子抚养权，向法院起诉，认为小李不让探望孩子就应变更抚养权。但小李称自己没有虐待孩子，也尽到抚养义务，不存在法律规定的变更抚养权情形。

案情分析:

1、小朱仅以不让探望孩子为由索要抚养权不符合法定变更条件。抚养权变更需符合如抚养方患重病或未尽抚养义务等特定情形。
2、小朱应先尝试与小李沟通协商探望权问题，协商无果可申请强制执行探望权，而非直接索要抚养权。