当旁人出言冒犯您时，这未必就构成诽谤罪。
因为要认定为诽谤罪，必须具备一系列严密的要素，例如蓄意捏造并散播无中生有的虚假事实，这些行为足以严重贬损他人的人格尊严，损害其名声。
若是仅属普通的羞辱或斥责，未有凭空捏造的内容，那么在通常情况下便不符合诽谤罪的构成要件，然而这类言论仍可能会涉嫌侵犯您的名誉权益。
但是，假如有人的斥责言语极其恶劣，已经给您的日常生活与职业生涯带来了重大负面影响，那么此类行径甚至可能触及侮辱罪的边缘。

《中华人民共和国刑法》第二百四十六条
【侮辱罪、诽谤罪】以暴力或者其他方法公然侮辱他人或者捏造事实诽谤他人，情节严重的，处三年以下有期徒刑、拘役、管制或者剥夺政治权利。
前款罪，告诉的才处理，但是严重危害社会秩序和国家利益的除外。
通过信息网络实施第一款规定的行为，被害人向人民法院告诉，但提供证据确有困难的，人民法院可以要求公安机关提供协助。