开庭时可以不去，但是也可以去，没有强制性规定。
被害人是指在刑事案件中合法权益遭受犯罪行为侵害的人。
广义上的被害人，既包括刑事诉讼中的自诉案件的被害人，也包括刑事诉讼中的公诉案件的被害人。
狭义上的被害人，仅指公诉案件中的被害人。

《中华人民共和国刑事诉讼法》第一百九十一条
公诉人在法庭上宣读起诉书后，被告人、被害人可以就起诉书指控的犯罪进行陈述，公诉人可以讯问被告人。被害人、附带民事诉讼的原告人和辩护人、诉讼代理人，经审判长许可，可以向被告人发问。审判人员可以讯问被告人。