当精神病人被认定为是无民事行为能力人或者限制民事行为能力人时，其签署的离婚协议不算数，因为离婚协议要求双方在签订时具有完全民事行为能力。而如果是间歇性精神病人，那么在其意识正常时跟配偶签订的离婚协议就是有效的，因为此时其具有完全民事行为能力，实施的民事行为合法有效。

《中华人民共和国民法典》第一百四十三条
具备下列条件的民事法律行为有效：
（一）行为人具有相应的民事行为能力；
（二）意思表示真实；
（三）不违反法律、行政法规的强制性规定，不违背公序良俗。
《中华人民共和国民法典》第一百四十四条
无民事行为能力人实施的民事法律行为无效。