OpenAI 推出 AI 文本检测器，「AI枪手」引担忧，文本检测 ...

acecase · 发表于 2023-2-6 13:33

ChatGPT带来的喧嚣还未归于平静，北京时间2月1日，其背后的公司OpenAI又趁热打铁推出了一款检测工具，试图区分人工编写的文本和AI生成的文本。
这款工具名为AI文本检测器（AI Text Classifier），《每日经济新闻》记者亲测了其检测效果，发现其能成功区别单独的人工或AI文本，但当人工和AI文本混淆时，检测效果并不乐观。不过，OpenAI认为，当这个检测工具与其他方法结合使用时，可能有助于防止 AI文本生成器被滥用。
“它仍然有一些局限性——因此它应该被用作其他确定文本来源方法的补充，而不是作为主要的决策工具，”OpenAI在一份官方文件中表示，“我们正在提供这个初始检测器，以获取有关此类工具是否有用的反馈，并希望在未来分享改进的方法。”
随着ChatGPT的大热，市场围绕生成式 AI的热情不断增长。但以北密歇根大学“论文作弊”为代表的事件也引发了对于学术、伦理等方面的诸多担忧。一些批评者认为，生成式AI工具的广泛使用可能会带来一些潜在的有害影响。
直接的后果是，美国一些最大的学区已禁止在其网络和设备上使用 ChatGPT。自然而然地，对类似AI文本检测器的工具的需求也开始涌现。

c0d3n4m · 发表于 2023-2-6 13:39

我们看一下ChatGPT是怎么回答这个问题的：

AI 生成论文带来的问题，包括担心生成的论文质量不高或抄袭他人工作，破坏了学术诚信。因此，OpenAI 推出 AI 文本检测器以识别可疑文本，帮助确保学术诚信。
随着 AI 文本检测器的普及，可能会有人对 AI 生成论文进行更加高级的破解，以逃避检测。这可能是一场“猫鼠游戏”，即不断提高检测标准和破解技术的循环。
但是，这不是一个无解的问题。我们可以通过不断提高 AI 文本检测器的技术水平，以及强化学术诚信和监管措施，来确保 AI 生成论文的质量和诚信。
因此，OpenAI 推出 AI 文本检测器是一个积极的举措，有助于维护学术诚信，但我们仍需保持警惕，继续努力确保 AI 技术的合理和道德使用。

<hr/>下面说一下自己的看法
随着ChatGPT这样的应用开始普及，AI枪手确实可能泛滥成灾。下面是最近发生的例子：
北密歇根大学的哲学教授Antony Aumann在为自己任教的一门世界宗教课程评分时，惊喜地读到了一篇「全班最好的论文」。在这篇论文中，作者以简洁的段落、恰当的举例和严谨的论据，探讨了罩袍禁令的道德意义。是的，聪明如你肯定猜到了：这篇文章是用ChatGPT写的。
学生用ChatGPT拿下全班最高分，教授惊呆！全美高校打响AI反击战对于大多数人，只要稍稍提示一下，ChatGPT就能生成妙笔生花、文采斐然的文字。现在，它已经被用来写情书、诗歌、同人小说……以及学校的论文。因此非常有必要开发相应的文本检测器，防止AI枪手越来越严重。
但是除了开发相应的文本检测器之外，我们还应该规范ChatGPT的使用，目前已经有学校出台了相应的措施：在纽约和西雅图的公立学校系统，学校的Wi-Fi网络和设备上已经全面禁止了ChatGPT。

RedZero9 · 发表于 2023-2-6 13:41

话说，最近ChatGPT的热搜有点太频了吧，有古怪。。
几乎就是冲击一个行业安排一条热搜，公司有什么风吹草动也会立马安排几条热搜！
大胆预测：
后面有竞对跟进的话，相关热搜注定少不了；
有国内企业模仿创（抄）新（袭），铁定继续安排上热搜；
未来一段时间，接连霸榜是少不了的；
……
结果您猜怎么着？
嘿！
你不聊ChatGPT都不好意思在圈子里混嘞~~~
tips：咱就拿登梯子体验功能这事儿来说吧，账号需要购买，加速器也需要额外付费；
平均每个人不用太多，5块钱，10万个体验用户闻声而动，都够我奋斗好几年了！
真不是酸，只是单纯眼红..
( ╯□╰ )
<hr/>我是汇智妹，软件工程师一枚，公众号【汇智动力学院】
每天除分享技术干货外，也聊聊圈子里热议的那些事儿，有意转行IT的同学欢迎关注一波，查阅更多就业数据及成功转行案例~比心

unityloverz · 发表于 2023-2-6 13:50

在OpenAI推出这种文本检测器之前，就有普林斯顿的学生自己写的GPTZero，算是第一个AI文章检查器。我在之前的回答中也有过提及：GPTZero：第一个AI文本检测器
现在这个OpenAI官方发布的AI文本检测器，听起来很强大，不过很快就被人玩坏了。
Sebastian Raschka 是一位人工智能 (AI) 和机器学习 (ML) 研究员，在Lightning AI担任首席 AI 教育家。[1]
他用他自己2015 年出版的一本书中的文本片段去测试OpenAI 文本分类器。
然后收到的三个不同段落，有各不相同结果——
该工具报告说：“不清楚”这本书的序言是否由 AI 撰写；但前言是“可能是人工智能（Possibly）”，第一章的一段是“可能是（Likely）”人工智能。
更有意思的是，有人把莎士比亚的短篇悲剧《麦克白》（Macbeth）的第一页扔上去测试了一下，结果这个检测器认为：这可能是AI写的。
“The classifier considers the text to be likely AI-generated.”

<hr/>AI文本检测器的检测能力，非常依赖于其训练时被投喂过的材料内容。
这类工具的训练数据不包括莎士比亚时代的古英语，那么自然无法确定这个麦克白究竟怎么来的。
事实上，OpenAI承认这种检测器也是种GPT模型，其训练数据集由人类编写和AI编写的文本段落组成，而目前其准确率仅为26%左右。
可见，这种AI文本检测技术，还有很长的路要走。
不过可以肯定的是，需求的存在，必然会助推这种猫捉耗子的游戏进行螺旋升级。

IT圈老男孩1 · 发表于 2023-2-6 13:53

是不是在玩猫捉老鼠的游戏我们不知道。
不过，OpenAI 可以用这种方式来持续保持热度，推出 ChatGPT 让自己登上了风口浪尖，市值涨了一波，现在再推出一个 ChatGPT 的检测工具，可能又会让自己保持一段时间的热度，或许，市值又能大涨一波。
而且，用魔法来打败魔法的背后，OpenAI 的目的可能是想用人工智能来训练人工智能的方式，让 ChatGPT 的进化更上一层楼。
毕竟，当自己掌握了如何检测是否为 AI 所创作的内容之后，就相当于找到了 ChatGPT 的漏洞，然后再进一步针对性的弥补，让 ChatGPT 进化更像人，岂不是非常完美？
一句话：用人工智能去训练人工智能，然后抹去人工智能的痕迹，最终让人工智能更像人，这可能是一种效率更高的进化方式。

Arzie100 · 发表于 2023-2-6 13:59

OpenAI祭出AI文本检测利器，ChatGPT即将上演“猫鼠游戏”？

每经记者文巧每经编辑高涵
ChatGPT带来的喧嚣还未归于平静，北京时间2月1日，其背后的公司OpenAI又趁热打铁推出了一款检测工具，试图区分人工编写的文本和AI生成的文本。
这款工具名为AI文本检测器（AI Text Classifier），《每日经济新闻》记者亲测了其检测效果，发现其能成功区别单独的人工或AI文本，但当人工和AI文本混淆时，检测效果并不乐观。不过，OpenAI认为，当这个检测工具与其他方法结合使用时，可能有助于防止 AI文本生成器被滥用。
“它仍然有一些局限性——因此它应该被用作其他确定文本来源方法的补充，而不是作为主要的决策工具，”OpenAI在一份官方文件中表示，“我们正在提供这个初始检测器，以获取有关此类工具是否有用的反馈，并希望在未来分享改进的方法。”
随着ChatGPT的大热，市场围绕生成式 AI的热情不断增长。但以北密歇根大学“论文作弊”为代表的事件也引发了对于学术、伦理等方面的诸多担忧。一些批评者认为，生成式AI工具的广泛使用可能会带来一些潜在的有害影响。
直接的后果是，美国一些最大的学区已禁止在其网络和设备上使用 ChatGPT。自然而然地，对类似AI文本检测器的工具的需求也开始涌现。
亲测OpenAI的AI检测器效果：并不完美

《每日经济新闻》记者注意到，有趣的是，OpenAI新推出的这款检测器在架构上和ChatGPT一样，它也是一种AI语言模型，并且也是根据来自网络的许多公开文本示例进行训练的。
但与ChatGPT不同的是，它经过微调可以预测一段文本由AI生成的可能性——不仅来自ChatGPT，还来自任何文本生成AI模型。
具体来看，OpenAI在来自5个平台（包括OpenAI本身）的34个文本生成系统的文本上训练了这款AI文本检测器，例如维基百科等。不过，这款AI文本检测器至少需要1000个字符，即大约150 ~250 个单词，才能进行检测。
那么，这款检测器的效果到底如何？是否真的能完美区别AI和人工生成的文本？每经记者对此进行了一番测试。
我们先让ChatGPT写了一篇主题为AI未来的文章，并用检测器对其进行检测，结果显示，“检测器认为文本很可能是AI生成的”。

图片来源：AI Text Classifier

随后，我们用了一篇人工写作的文本再次进行检测，结果显示，“检测器认为文本非常不可能是AI生成的”。

图片来源：AI Text Classifier

从上述结果来看，OpenAI的这款AI文本检测器的确成功区分了人工和AI生成的文本。然而，我们将两个文本结合后（AI文本占比超90%）再进行检测，它并不能检测出AI生成的文本。

图片来源：AI Text Classifier

从每经记者亲身体验来看，目前，要靠这个AI文本检测器来抓作弊还有些困难。
据OpenAI的一份文件，该检测器将文本标记为“非常不可能”由AI生成的可能性小于10%；“不太可能”由AI生成的可能性为10%~45%；“不清楚它是否是”AI生成的可能性为45%~90%；“可能”是AI生成的几率为90%~98%。
在准确性上，OpenAI也承认，“鉴于AI生成的内容在互联网上的激增，它可能无意中将一些AI编写的文本错误分类为人类编写的文本。”
“AI枪手”引担忧，“猫鼠游戏”就此开始？

1月中旬，北密歇根大学的论文作弊事件让学术界着实震惊了一把。在这次事件之后，在美国，许多大学教授、系主任和管理人员都在对课堂进行大规模的调整，以应对ChatGPT对教学活动造成的巨大冲击。很多教授在重新设计课程，更多地采用口试、小组合作和手写文章作为评估方式。
纽约和西雅图等最大的学区最近已禁止在其设备和网络中使用 ChatGPT，许多大学也在考虑采取类似措施。
在更早之前，全球最大的编程技术问答网站Stack Overflow紧急宣布，ChatGPT在该站暂时封禁。Stack Overflow在官方通告中表示，做出这个规定的主要原因是，ChatGPT自动生成的答案质量太低，错误太多，而且看上去还挺像那么回事，即使是完全不懂的人也能随便生成答案。
在“AI枪手”带来的担忧之下，一些其他的AI文本检测器也如雨后春笋般涌现，以满足当前的需求。
在OpenAI推出自己的检测器之前，普林斯顿大学的一名学生Edward Tian开发了ChatZero，来检测文本是否可能是AI生成。据报道，1月3日，该网站一经上线，一周内就有超过3万人试用。

一名用户展示GPTZero的检测效果图片来源：推特

不过，一些用户也报告了GPTZero检测的错误结果。Edward Tian也承认，检测并非百分之百准确，他仍在努力提高模型的准确性。
据此前报道，包括斯坦福大学在内的一些机构联合提出一种名为DetectGPT的新方法，来区分AI生成的文章。
开源AI社区Hugging Face也推出了一种工具来检测文本是否由 GPT-2 创建，GPT-2 是用于开发 ChatGPT 的 AI 模型的早期版本。据悉，南卡罗来纳州的一位哲学教授用这个工具抓获了一名提交了 AI 编写的作业的学生。
除此之外，谷歌搜索以及检测学术抄袭的Turnitin也正在开发自己的AI生成文本检测器，谷歌搜索据悉至少会推出6个应用程序来对AI和人工文本进行区分。
科技媒体Techcrunch对此评论称，这很可能会成为一场猫捉老鼠的游戏。随着文本生成AI的改进，检测器也会改进——这是一种永无止境的来回交流，类似于网络犯罪分子和安全研究人员之间的交流。
正如OpenAI 所写，虽然检测器在某些情况下可能有所帮助，但它们永远不会成为确定文本是否由AI生成的可靠唯一证据。“也就是说，目前还没有灵丹妙药可以解决AI生成的文本所带来的问题，”Techcrunch这样写道。
如需转载请与《每日经济新闻》报社联系。
未经《每日经济新闻》报社授权，严禁转载或镜像，违者必究。

		自动登录	找回密码
密码			立即注册

OpenAI 推出 AI 文本检测器，「AI枪手」引担忧，文本检测 ...

本帖子中包含更多资源

本帖子中包含更多资源

本帖子中包含更多资源