对方有生理缺陷是可以要求离婚的。协议离婚的，必须订立书面离婚协议，共同申请离婚登记，经过三十天冷静期，即可领取离婚证。但若起诉离婚的，法院不是一定会判离。根据相关规定，当事人起诉离婚后，人民法院审理离婚案件，应当进行调解，如果感情确已破裂，调解无效的，应当准予离婚。

《中华人民共和国民法典》第一千零七十六条
夫妻双方自愿离婚的，应当签订书面离婚协议，并亲自到婚姻登记机关申请离婚登记。
离婚协议应当载明双方自愿离婚的意思表示和对子女抚养、财产以及债务处理等事项协商一致的意见。
第一千零七十九条
夫妻一方要求离婚的，可以由有关组织进行调解或者直接向人民法院提起离婚诉讼。
人民法院审理离婚案件，应当进行调解；如果感情确已破裂，调解无效的，应当准予离婚。