诽谤罪的成立与否并不仅仅取决于被损毁的事实知晓人数之多寡，而更为重要的是，行为人是否蓄意捏造不实言论并加以传播扩散，从而达到贬损他人尊严、破坏其社会声誉的效果。
假若仅有涉案双方及您等少数人知情，然而行为人确实存在蓄意捏造虚假事实，并将其广泛传播，且此种行为已经对他人的名誉权造成实质性的侵害，那么在这种情况下，依然有可能构成诽谤罪。

《中华人民共和国刑法》第二百四十六条
【侮辱罪、诽谤罪】以暴力或者其他方法公然侮辱他人或者捏造事实诽谤他人，情节严重的，处三年以下有期徒刑、拘役、管制或者剥夺政治权利。
前款罪，告诉的才处理，但是严重危害社会秩序和国家利益的除外。
通过信息网络实施第一款规定的行为，被害人向人民法院告诉，但提供证据确有困难的，人民法院可以要求公安机关提供协助。