要看的是一组特征,而不是单独一个:“往往”“日常”“判断”这类用词偏多,“不是……而是……”的对比句式偏多,句子偏短且长短很均匀,感叹号和括号很少。人类也会这样写,所以一组特征只说明值得检测,不能证明什么。下面的数据来自 Fileverity 的训练语料库:完全由 AI 撰写的 OpenAI 家族中文文本,与人类写作的对比。
ChatGPT 家族文本比人更常用的词
倍数表示这个词在 AI 撰写文本中出现的频率是人类写作的多少倍。
- 判断与理解。 “判断”(6.6 倍)、“明确”(4.9 倍)、“理解”(3.8 倍)、“关键”(3.8 倍)、“是否”(2.3 倍)。
- 程度与倾向。 “往往”(7.3 倍)、“日常”(10 倍)、“重要”(2.5 倍)、“关注”(3.4 倍)、“避免”(3.8 倍)。
- 变化与调整。 “变化”(3.6 倍)、“调整”(3.5 倍)、“提升”(3.7 倍)、“持续”(4.4 倍)、“稳定”(3.6 倍)、“长期”(3.5 倍)。
- 关联与安排。 “安排”(5.4 倍)、“相关”(2.6 倍)、“影响”(2.2 倍)。
- 递进与转折。 “不仅”(4 倍)、“而是”(4.5 倍)。
与其他 AI 模型家族相比的差别
与其他 AI 模型相比,ChatGPT 家族文本更偏向“能否”(3.4 倍)、“条件”(2.6 倍)、“安排”(2.6 倍)、“减少”(2.4 倍)、“并不”(2.3 倍)、“也不”(2.1 倍)、“变化”(2.1 倍)、“也可”(2.5 倍)、“判断”(3 倍)、“是否”(2 倍)、“不同”(1.8 倍)和“影响”(1.7 倍)。
句式与标点特征
比人类写作更多的:
- “不是……而是……”式的对比句,约为人类写作的 4 倍。
比人类写作更少的:
- 感叹号,约少 3.4 倍。
- 括号,约少 2.6 倍。
- 句子平均更短,平均每句约 37 个字,人类写作约 59 个字。
- 句子长短更均匀,变异系数约 0.38,人类写作约 0.53。
与其他 AI 家族相比,ChatGPT 家族的省略号用得更多,约为其他家族典型水平的 1.8 倍。
为什么词语不能当证据
这些词和句式人类都会用,尤其是训练有素、读过大量规范文章的写作者。学生写了“往往”,并不意味着他是机器人。风格只是信号,改写、润色,或者让模型换一种口语化的语气,都能抹掉其中很多特征。请通读全文,而不是只对照清单。
检测器读到的比清单多
文本模型 Veread 读取的是整段文字的规律,而不是孤立的词语。它会标出带有 AI 信号的段落,并显示与 ChatGPT 及其他模型家族的写作风格相似度。在七种语言的人类撰写文本中,误判为 AI 的比例为 0.5%,完全由 AI 撰写的文本检出 98.3%。详见准确率页面,文件和长文本可以使用 完整版检测。如果您在审阅学生作业,请阅读老师如何做 AI 检测。
现在就检测一段文本
把至少 100 个词粘贴到 ChatGPT检测器,查看判定、被标出的段落和风格相似度。
七大模型家族的写作特征对比,见指南怎么判断是哪个 AI 写的。