爷爷奶奶没有赡养孙子孙女的法定义务，对子女的抚养应当由父母负责，父母是法定的抚养人，如父母离婚，也不能推卸对子女的抚养义务。当然，孙子父母死亡或者失去抚养能力的，可以由爷爷奶奶来抚养，这在法律上是可以的。

《民法典》第二十六条
父母对未成年子女负有抚养、教育和保护的义务。
成年子女对父母负有赡养、扶助和保护的义务。
《民法典》第二十七条
父母是未成年子女的监护人。
未成年人的父母已经死亡或者没有监护能力的，由下列有监护能力的人按顺序担任监护人：
（一）祖父母、外祖父母；
（二）兄、姐；
（三）其他愿意担任监护人的个人或者组织，但是须经未成年人住所地的居民委员会、村民委员会或者民政部门同意。