如果只存在对方有过错的情况，无过错方可以要求对方进行损害赔偿。离婚时的损害赔偿包括物质损害赔偿和精神损害赔偿，精神损害赔偿数额的确定主要从以下方面考虑：（1）侵权人的过错程度；（2）侵害的手段、场合、行为方式等具体情节；（3）侵权行为所造成的后果；（4）侵权人的获利情况；（5）侵权人承担责任的经济能力；（6）受诉法院所在地平均生活水平。还需要注意的是，离婚时的无过错方可以向过错方提出损害赔偿请求，但应当在提起离婚诉讼的同时提出。如果无过错方是离婚诉讼中的被告，不愿意离婚也不想提起损害赔偿的，在离婚后一年内可单独向法院提起损害赔偿。如果无过错方一审的时候没有提出损害赔偿，二审的时候还可以提出，法院会对此进行调解，如果调解不成，离婚后一年内还可以对此另行起诉。