诚然，允许。房屋托管协议属于一种特别类型的委托协议，其合法订立的任意一方，包括受托方以及委托人，均有权在任何时间决定是否解除此份合约。
然而，需要明确的是，如果因为解除合同而导致另一方出现经济方面的损失，除了存在着无法归咎于相关当事人或者解除者的情况之外，无偿委托协议的解除方必须对由于不当解除行为所引发的直接经济损失进行赔偿；而有偿委托协议的解除方则需要对受损方的直接经济损失及在履行合同之后本应得到但因解除而失去的经济收益进行赔偿。

《民法典》第九百二十八条
受托人完成委托事务的，委托人应当按照约定向其支付报酬。
因不可归责于受托人的事由，委托合同解除或者委托事务不能完成的，委托人应当向受托人支付相应的报酬。
当事人另有约定的，按照其约定。