如果爷爷是通过买卖的方式将房子过户给孙子的，则不能要回去；如果是通过赠与的方式将房产赠与孙子的，则如果孙子存在下列情况的，爷爷可以要回房子，如果不存在下列情况也不能要回房子：
（一）严重侵害赠与人也就是爷爷或者其近亲属的合法权益；
（二）对爷爷有扶养义务而不履行；
（三）不履行赠与合同约定的义务。
而且要回房子的，必须在知道或者应当知道孙子存在上述情况之日起一年内要回。

《民法典》第六百六十三条
受赠人有下列情形之一的，赠与人可以撤销赠与：
（一）严重侵害赠与人或者赠与人近亲属的合法权益；
（二）对赠与人有扶养义务而不履行；
（三）不履行赠与合同约定的义务。
赠与人的撤销权，自知道或者应当知道撤销事由之日起一年内行使。