通常来讲，在一般情形下，负责抚养孩子的一方是没有权利去拒绝另一方合理地探视孩子的。
这是基于对孩子与双方互动权利的保障。
不过，要是出现了特殊情况，比如另一方有着不利于孩子身心健康的行为，像吸毒会让孩子处于不良环境，赌博可能导致家庭经济不稳定影响孩子生活，虐待更是会对孩子的身体和心理造成极大伤害。
在这些情况下，抚养孩子的一方就可以拒绝另一方带走孩子。
依据法律规定，那些不直接抚养子女的父或者母，是拥有探望子女的权利的，而另一方则有协助其实现这一权利的义务。
但如果对方有上述那些严重影响孩子成长的行为，抚养孩子的一方就可以向法院提出申请，请求限制对方的探视权，甚至直接拒绝对方带走孩子。
总之，我们必须要根据具体的实际情况进行具体的分析和判断，始终以孩子的最大利益为根本出发点，来确定是否可以拒绝另一方带走孩子。
只有这样，才能更好地保障孩子的健康成长和合法权益。

案情回顾:

小朱和小李离婚后，孩子归小朱抚养，小胡（小李的新伴侣）有吸毒史。小李来探视孩子并想带走孩子共度周末，小朱拒绝，称小胡有吸毒史，这会让孩子处于不良环境。小李认为小朱无权拒绝，双方产生争议。

案情分析:

1、按照法律，不直接抚养子女的一方有探视权，但另一方有协助义务。
2、然而，若探视方的相关人有不利于孩子身心健康的行为，如小胡的吸毒史，抚养方有权拒绝带走孩子，这是为保障孩子利益。