危害子女的身心健康时可以。
当父或母行使探望子女权利时，如果已经危害或者可能危害子女的身心健康时，另一方可以就此向法院提起诉讼，请求法院中止该方探望子女的权利，但不能主动不许对方探望子女。
当中止的事由消失时，法院应当恢复该方探望子女的权利。

《民法典》第一千零八十六条
离婚后，不直接抚养子女的父或者母，有探望子女的权利，另一方有协助的义务。行使探望权利的方式、时间由当事人协议；协议不成的，由人民法院判决。父或者母探望子女，不利于子女身心健康的，由人民法院依法中止探望；中止的事由消失后，应当恢复探望。