可以当事人协商处理，无法协商的，可以到法院起诉，请求变更监护权。
相关流程为：
1、现有监护人无法履行、不履行监护职责，或者侵害被监护人的合法权益，这是能变更监护人的前提条件；
2、需要有人提起变更监护人的诉讼请求，这包括孩子生父母，长期抚养孩子的祖父母等等，必须是与孩子生活非常亲密的亲属或组织；
3、法院根据具体情形，从有利于孩子身心成长的原则出发，做出监护人变更的判决。

《民法典》第三十一条
对监护人的确定有争议的，由被监护人住所地的居民委员会、村民委员会或者民政部门指定监护人，有关当事人对指定不服的，可以向人民法院申请指定监护人；
有关当事人也可以直接向人民法院申请指定监护人。
居民委员会、村民委员会、民政部门或者人民法院应当尊重被监护人的真实意愿，按照最有利于被监护人的原则在依法具有监护资格的人中指定监护人。
依据本条第一款规定指定监护人前，被监护人的人身权利、财产权利以及其他合法权益处于无人保护状态的，由被监护人住所地的居民委员会、村民委员会、法律规定的有关组织或者民政部门担任临时监护人。
监护人被指定后，不得擅自变更；
擅自变更的，不免除被指定的监护人的责任。