委托代理合同可以单方解除，委托合同是一种特殊形式的合同，法律赋予了当事人随意解除合同的权利，单方解除合同不构成违约。
因解除合同给对方造成损失的，除不可归责于该当事人的事由以外，应当赔偿损失。

《民法典》第五百六十五条
当事人一方依法主张解除合同的，应当通知对方。合同自通知到达对方时解除；
通知载明债务人在一定期限内不履行债务则合同自动解除，债务人在该期限内未履行债务的，合同自通知载明的期限届满时解除。对方对解除合同有异议的，任何一方当事人均可以请求人民法院或者仲裁机构确认解除行为的效力。当事人一方未通知对方，直接以提起诉讼或者申请仲裁的方式依法主张解除合同，人民法院或者仲裁机构确认该主张的，合同自起诉状副本或者仲裁申请书副本送达对方时解除。