来自堪萨斯大学的研究人员介绍了一种全新的算法,能够检测是否用ChatGPT作弊,准确率超99% 。 「我们努力创建一种易于使用的方法,这样,即便是高中生,只需很少的指导,也可以为不同类型的写作构建一个人工智能检测器。」 这项研究中,研究人员选取了人类作者撰写的64篇「科学」杂志上的研究文章,涵盖从生物学到物理学的各个学科。 在模型完全开发和优化后,他们还生成了两个测试集。每个测试集有30篇线篇ChatGPT撰写的文章(总计1210段)组成了一个新的数据集,来测试最新算法。 通过对训练集中许多示例的手动比较,研究者确定了4类特征。这些特征有助于区分人类写作和聊天机器人。 而且,还倾向于用「然而」、「但是」和「尽管」这样的词来修饰他们的陈述。而ChatGPT在引用数字,提及其他科学家方面没有那么具体。 在这四类特征中,有两类(1和3)是ChatGPT产生的内容不如人类复杂的方式。最大的区别特征是每段句子的数量和每段总单词的数量。 研究者还发现,人类更喜欢改变句子结构。人类改变句子长度的次数超过ChatGPT。人类也更频繁地使用较长的句子(35个单词或更多)和较短的句子(10个单词或更少)。 一方面,人类科学家更频繁地使用问号、破折号、括号、分号和冒号,而ChatGPT使用更多的单引号。 这个由Desaire公司建立的这个模型,对于那些希望惩罚作弊的高中生的老师来说,是行不通的。 不过,不得不考虑的一个事实是,一个人可以很容易地对一个聊天机器人的写作进行一些小调整,并让其更难被发现是作弊,事情就更复杂了。 当你考虑到这样一个事实,一个作者可以很容易地对一个聊天机器人的写作进行一些小的调整,并使它更难被发现时,事情就崩溃了。 尽管如此,研究人员将这项研究描述为「概念证明」,并表示未来可以开发一个更加稳定,准确的工具与更大的数据集。 然而,如果不加以限制,ChatGPT将会变成史上最强大的作弊工具,可以帮助学生们写作业,甚至是完成考试论文。 为了反侦察,一款简单易用的检测器成为老师期盼的东西。一位22岁普林斯顿大学的学生Edward Tian,就自行开发了一款检测器——GPTZero。 检测出AI创作的内容听起来很简单。但当给你一封手写邮件和ChatGPT生成的邮件后,我们几乎无法辨别。 Turnitin的人工智能副总裁Eric Wang称,用软件检测人工智能写作涉及统计学。从统计学的角度来看,人工智能与人类的区别在于它极其稳定地处于平均水平。 「像ChatGPT这样的系统就像是自动补全的高级版本,寻找下一个最可能要写的单词。这实际上就是它为什么读起来如此自然的原因。AI写作是人类写作中最可能的子集。」 |