随着越来越多的出版商与 ChatGPT 制造商 OpenAI达成内容许可协议，托尔数字新闻中心本周发布的一项研究——研究人工智能聊天机器人如何为出版商的内容生成引文（即来源）——变得有趣，或者说令人担忧。
简而言之，研究结果表明，无论出版商是否允许 OpenAI 抓取其内容，他们仍然受制于生成式 AI 工具捏造或以其他方式歪曲信息的倾向。
这项研究由哥伦比亚大学新闻学院进行，研究了 ChatGPT 生成的引文，研究内容是要求它确定从多家出版商中摘取的样本引文的来源——其中一些出版商与 OpenAI 签署了协议，而一些则没有。
该中心从总共 20 家随机选择的出版商制作的 10 篇文章中摘录了大段引言（总共 200 条不同的引言），其中包括《纽约时报》（目前正在以版权诉讼起诉 OpenAI）、《华盛顿邮报》（与 ChatGPT 制造商无关联）、《金融时报》（已签署许可协议）等媒体的内容。
Tow 研究人员 Klaudia Jaźwińska 和 Aisvarya Chandrasekar 在一篇博客文章中解释了他们的方法并总结了他们的研究结果，文中写道：“我们选择的引文如果粘贴到 Google 或 Bing 中，会在前三个结果中返回源文章，并评估 OpenAI 的新搜索工具是否能够正确识别每个引文的来源文章。 ”
“我们发现，这对新闻出版商来说并不乐观，”他们继续说道。“尽管 OpenAI 强调其能够为用户提供‘及时的答案和相关网络资源的链接’，但该公司并未明确承诺确保这些引用的准确性。对于那些希望其内容被引用和忠实呈现的出版商来说，这是一个明显的疏忽。”
他们补充道：“我们的测试发现，无论与 OpenAI 的关联程度如何，没有任何出版商能够避免在 ChatGPT 中对其内容进行不准确的表述。”
不可靠的来源
研究人员表示，他们发现 ChatGPT 错误引用出版商内容的“大量”案例，同时还发现了他们所称的“响应准确性范围”。因此，虽然他们发现“一些”完全正确的引用（即 ChatGPT 准确地返回了与其共享的区块引用的出版商、日期和 URL），但“许多”引用完全错误；而“一些”引用介于两者之间。
简而言之，ChatGPT 的引用似乎是一个不可靠的混合体。研究人员还发现，聊天机器人很少对自己的（错误）答案表现出完全的信心。
其中一些引文来自主动屏蔽 OpenAI 搜索爬虫的出版商。研究人员表示，在这种情况下，他们预计它会在生成正确引文方面存在问题。但他们发现这种情况引发了另一个问题——因为机器人“很少”承认无法给出答案。相反，它会依靠虚构来生成一些来源（尽管是错误的来源）。
研究人员表示：“总的来说，ChatGPT 在 153 次情况下返回了部分或完全错误的响应，尽管它只承认无法准确回答查询七次。” “只有在这七次输出中，聊天机器人才使用限定词和短语，例如‘似乎’，‘有可能’或‘可能’，或‘我找不到确切的文章’之类的陈述。”
他们将这种不愉快的情况与标准的互联网搜索进行了比较，在标准的互联网搜索中，像谷歌或必应这样的搜索引擎通常会找到一个精确的引语，并将用户引导到他们找到该引语的网站，或者声明他们没有找到完全匹配的结果。
他们认为，ChatGPT“对答案的信心缺乏透明度，这可能会让用户难以评估声明的有效性，也难以了解答案的哪些部分可以信任，哪些部分不能信任”。
他们认为，对于出版商来说，错误引用还可能带来声誉风险，以及读者被引向其他地方的商业风险。
脱离语境的数据
这项研究还强调了另一个问题。它表明 ChatGPT 本质上可能在鼓励抄袭。研究人员讲述了一个例子，ChatGPT 错误地引用了一个抄袭了《纽约时报》一篇“深度报道”新闻的网站，即通过复制粘贴文本而不注明出处，作为《纽约时报》报道的来源——推测在这种情况下，机器人可能生成这个错误的响应是为了填补由于无法抓取《纽约时报》网站而导致的信息空白。
他们认为：“这引发了人们对 OpenAI 过滤和验证其数据源质量和真实性的能力的严重质疑，尤其是在处理未经授权或抄袭的内容时。”
进一步的研究结果可能会让与 OpenAI 签署协议的出版商感到担忧，该研究发现 ChatGPT 的引用在他们的案例中也并不总是可靠的 —— 因此让其爬虫程序进入似乎也不能保证准确性。
研究人员认为，根本问题在于 OpenAI 的技术将新闻视为“脱离语境的内容”，似乎很少考虑其原始制作的情况。
该研究指出的另一个问题是 ChatGPT 的响应变化。研究人员测试多次向机器人询问相同的查询，发现它“通常每次都会返回不同的答案”。虽然这是 GenAI 工具的典型特征，但一般来说，在引用上下文中，如果您追求的是准确性，这种不一致性显然不是最佳选择。
虽然 Tow 的研究规模较小——研究人员承认还需要“更严格”的测试——但考虑到各大出版商正忙于与 OpenAI 达成的高层交易，该研究仍然引人注目。
如果媒体企业希望这些安排能够使他们的内容相对于竞争对手获得特殊待遇，至少在提供准确的来源方面，那么这项研究表明，OpenAI 尚未提供任何这样的一致性。
虽然没有许可协议但也没有完全阻止 OpenAI 爬虫的出版商（也许希望在 ChatGPT 返回有关他们的故事的内容时至少获得一些流量） – 但这项研究也令人沮丧，因为在他们的情况下引用可能也不准确。
换句话说，即使出版商允许爬虫进入 OpenAI 的搜索引擎，也无法保证出版商的“可见性”。
完全屏蔽爬虫并不意味着出版商可以通过避免在 ChatGPT 中提及他们的故事来避免声誉受损的风险。例如，研究发现，尽管诉讼仍在进行中，但该机器人仍然错误地将文章归为《纽约时报》的文章。
“意义不大的机构”
研究人员得出的结论是，就目前情况而言，当 ChatGPT （直接或间接）获得其内容时，出版商对于其内容的去向“几乎没有任何实质性的权力”。
该博客文章包括 OpenAI 对研究结果的回应——指责研究人员对我们的产品进行了“非典型测试”。
OpenAI 还告诉他们：“我们通过帮助每周 2.5 亿 ChatGPT 用户通过摘要、引用、清晰链接和归因发现优质内容来支持出版商和创作者。”并补充道：“我们与合作伙伴合作，以提高内联引用的准确性并尊重出版商的偏好，包括通过管理 robots.txt 中的 OAI-SearchBot 来启用它们在搜索中的显示方式。我们将继续增强搜索结果。”
原创文章，作者：王 浩然，如若转载，请注明出处：https://www.dian8dian.com/chatgpt-yin-yong-yan-jiu-rang-chu-ban-shang-gan-dao-ju-sang
