Cloudflare周一宣布计划在明年推出一个市场,网站所有者可以向 AI 模型提供商出售抓取其网站内容的权限。该市场是 Cloudflare 首席执行官 Matthew Prince 更大计划的最后一步,该计划旨在让出版商更好地控制 AI 机器人抓取其网站的方式和时间。
普林斯在接受采访时表示:“如果你不以某种方式补偿创作者,那么他们就会停止创作,这就是必须要解决的问题。”
为了实现这一目标,Cloudflare 于周一为客户推出了一款名为 AI Audit 的免费可观察性工具。网站所有者将获得一个仪表板,用于查看 AI 模型为何、何时以及多久抓取一次其网站以获取信息的分析。Cloudflare 还允许客户通过单击按钮阻止 AI 机器人访问其网站。网站所有者可以使用 AI Audit 阻止所有网络抓取工具,或者如果他们有交易或发现抓取有益,则允许某些网络抓取工具通过。
AI Audit 演示展示了网站所有者如何使用该工具查看 AI 模型如何抓取他们的网站。Cloudflare 的工具能够查看访问您网站的每个抓取工具来自何处,并提供选择性窗口来查看来自 OpenAI、Meta、Amazon 和其他 AI 模型提供商的抓取工具访问您网站的次数。
Cloudflare 正试图解决 AI 行业面临的一个问题:如果人们访问 ChatGPT 而不是他们的网站,小型出版商将如何在 AI 时代生存?如今,AI 模型提供商会从数千个小型网站中搜索信息,以支持他们的 LLM。虽然一些大型出版商已经与 OpenAI 达成协议,获得内容许可,但大多数网站一无所获,但他们的内容仍然每天被输入到流行的 AI 模型中。这可能会破坏许多网站的商业模式,减少他们急需的流量。
今年夏初,人工智能搜索初创公司Perplexity 被指控使用机器人排除协议抓取故意表示不想被抓取的网站。不久之后,Cloudflare 发布了一款按钮,确保客户只需单击一下即可阻止所有人工智能机器人。
普林斯说:“我们听到的都是人们感到沮丧的声音,他们感觉自己的内容被盗了。”
一些网站所有者告诉《商业内幕》,人工智能机器人对他们的网站进行了大量抓取,感觉就像 DDoS 攻击正在破坏他们的服务器一样。网站被抓取不仅令人心烦意乱,而且还会增加您的云费用并影响您的服务。
但是,如果你想要阻止 Perplexity 的机器人,而不是 OpenAI 的机器人,该怎么办?Cloudflare 的客户要求提供工具,让他们能够选择哪些 AI 模型可以访问他们的网站。Cloudflare 今天推出的新工具将允许客户阻止一些 AI 爬虫,同时让其他爬虫通过。
Prince 表示,即使是与 OpenAI 达成许可协议的大型出版商(例如《时代》杂志、康泰纳仕集团和《大西洋月刊》)也对 ChatGPT 抓取其网站的数据量了解甚少。他们中的许多人不得不接受 OpenAI 告诉他们的一切,但答案决定了出版商是否获得了良好的许可协议。
但 Cloudflare 的市场将于明年某个时候推出,旨在让小型出版商也能与 AI 模型提供商达成交易。
“让我们让你们所有人都能做到只有 Reddit、Quora 和世界大型出版商才能做到的事情,”普林斯说。“如果我们让你有效地设定访问和将你的内容纳入这些系统的价格,那会怎样呢?”
虽然这是一个大胆的想法,但 Cloudflare 并未透露其市场的完整构想。Prince 表示,网站可以根据 AI 模型提供商抓取单个网站的费率向其收费,但目前尚不清楚他们实际会支付多少费用。此外,他表示,网站可以收取抓取数据的金钱费用,或者只是要求 AI 实验室给予他们信用。具体细节尚不明确。
尽管人工智能公司最初可能并不热衷于为目前免费获得的内容付费,但 Cloudflare 的首席执行官表示,他认为这最终对人工智能生态系统有利。普林斯表示,目前一些人工智能公司从不为内容付费的现状是不可持续的。
原创文章,作者:王 浩然,如若转载,请注明出处:https://www.dian8dian.com/cloudflare-de-xin-shi-chang-jiang-yun-xu-wang-zhan-xiang-ai