无凭无据地随意指责他人参与赌博活动未必会被认为是诽谤行为。
然而，若此种指控缺乏实质性证据支撑，同时对他人的信誉和声誉造成无法挽回的伤害，进而影响到他们在社会公众中的优良评价，那么这种言论就极有可能构成诽谤罪行。
但需注意的是，仅为偶然间脱口而出的无心之言，也尚未引起任何严重后果的话，通常情况下并不足以认定为触犯刑法的犯罪行为。

《中华人民共和国刑法》第二百四十六条
【侮辱罪、诽谤罪】以暴力或者其他方法公然侮辱他人或者捏造事实诽谤他人，情节严重的，处三年以下有期徒刑、拘役、管制或者剥夺政治权利。
前款罪，告诉的才处理，但是严重危害社会秩序和国家利益的除外。
通过信息网络实施第一款规定的行为，被害人向人民法院告诉，但提供证据确有困难的，人民法院可以要求公安机关提供协助。