DeepSeek 的 R1 和 OpenAI 的 Deep Research 重新定义了 AI——RAG、蒸馏和自定义模型将不再一样

DeepSeek 的 R1 和 OpenAI 的 Deep Research 重新定义了 AI——RAG、蒸馏和自定义模型将不再一样

人工智能发展迅速——如果你不跟上,就会落后。 

两项最新进展正在重塑开发者和企业的格局:DeepSeek 的 R1 模型发布和OpenAI 的新 Deep Research 产品。它们共同重新定义了强大推理模型的成本和可访问性,这一点已得到广泛报道。然而,较少被谈论的是它们将如何推动公司使用蒸馏、监督微调 (SFT)、强化学习 (RL) 和检索增强生成 (RAG) 等技术来构建更智能、更专业的 AI 应用程序。

在DeepSeek 的惊人成就所带来的最初兴奋逐渐消退后,开发者和企业决策者需要考虑这对他们意味着什么。从定价和性能到幻觉风险和干净数据的重要性,这些突破对于当今任何构建 AI 的人来说都意味着什么。

更便宜、更透明、行业领先的推理模型——但通过提炼

DeepSeek-R1 的标题很简单:它提供了业界领先的推理模型,而成本仅为 OpenAI o1 的一小部分。具体来说,它的运行成本大约低 30 倍,而且与许多封闭模型不同,DeepSeek 的推理步骤完全透明。对于开发人员来说,这意味着您现在可以构建高度定制的 AI 模型,而无需花费太多钱——无论是通过提炼、微调还是简单的 RAG 实现。

尤其是蒸馏,它正在成为一种强大的工具。通过使用 DeepSeek-R1 作为“教师模型”,公司可以创建更小、特定于任务的模型,这些模型继承了 R1 的卓越推理能力。事实上,这些较小的模型是大多数企业公司的未来。完整的 R1 推理模型可能超出了公司的需求——想得太多,没有采取公司针对其特定领域应用所需的果断行动。

“主流媒体很少谈论的一件事是,推理模型实际上对代理之类的东西来说效果并不好,”机器学习 (ML) 开发人员 Sam Witteveen 表示,他致力于开发越来越多地协调企业应用程序的 AI 代理。  

作为发布的一部分,DeepSeek 将自己的推理能力提炼到许多较小的模型上,包括 Meta 的 Llama 系列和阿里巴巴的 Qwen 系列的开源模型,如其论文中所述。这些较小的模型可以针对特定任务进行优化。这种使用更小、更快的模型来满足定制需求的趋势将会加速:最终将会有大量这样的模型。 

“我们现在开始进入一个人们使用多种模型的世界。他们不会一直只使用一种模型,”维特文说。这还包括谷歌和 OpenAI 的低成本、较小的闭源模型。“这意味着像 Gemini Flash、GPT-4o Mini 和这些非常便宜的模型实际上在 80% 的用例中效果非常好。”

如果您在一个鲜为人知的领域工作,并且拥有资源:使用 SFT… 

在提炼步骤之后,企业公司可以通过几种方式确保模型已准备好用于其特定应用。如果您的公司处于一个非常特定的领域,而网络上或书籍中没有详细信息(大型语言模型 (LLM) 通常在此领域进行训练),则可以使用 SFT 将您自己的特定领域数据集注入其中。一个例子是船舶集装箱建造行业,该行业的规范、协议和法规并不广泛。 

DeepSeek 表明,你可以用“数千”个问答数据集很好地做到这一点。作为其他人如何将其付诸实践的一个例子,IBM 工程师 Chris Hay 演示了如何使用他自己的数学专用数据集微调一个小模型,以实现闪电般的响应——在相同任务上的表现优于 OpenAI 的 o1

…还有一点现实生活

此外,如果公司希望训练模型以使其更符合特定偏好(例如,让客服聊天机器人听起来既有同理心又简洁),那么他们就需要进行一些强化学习。如果公司希望聊天机器人根据用户反馈调整语气和推荐,那么这也是不错的选择。沃顿商学院人工智能教授Ethan Mollick 在 X 上表示,随着每个模型都擅长所有事情,“个性”将变得越来越重要。

然而,这些 SFT 和 RL 步骤对于公司来说可能很难实施。将来自某个特定领域的数据输入到模型中,或将其调整为以某种方式运行,它就会突然变得无法执行该领域或风格之外的任务。

对于大多数公司来说,RAG 就足够了

然而,对于大多数公司来说,RAG 是最简单、最安全的前进道路。RAG 是一个相对简单的过程,允许组织使用其数据库中包含的专有数据来建立模型,从而确保输出准确且特定于领域。在这里,LLM 将用户的提示输入到矢量和图形数据库中,以搜索与该提示相关的信息。RAG 流程已经非常擅长仅查找最相关的内容。

根据帮助公司进行 RAG 流程的供应商 Vectara 所做的研究,这种方法还有助于抵消与 DeepSeek 相关的一些幻觉问题,目前 DeepSeek 产生幻觉的时间占 14%,而 OpenAI 的 o3 模型产生幻觉的时间占 8%。

这种模型提炼加上RAG 是大多数公司创造奇迹的地方。即使对于那些数据科学或编码专业知识有限的人而言,这也变得非常容易。我个人下载了 DeepSeek 提炼的 1.5b Qwen 模型,这是最小的一个,因此它可以很好地适合我的 Macbook Air。然后,我将一些求职者简历的 PDF 加载到矢量数据库中,然后让模型查看求职者,告诉我哪些人有资格获得工作。(总共,这花了我 74 行代码,这些代码基本上是从其他做同样事情的人那里借来的)。

我很喜欢 Deepseek 提炼模型,它展示了为什么推荐或不推荐每个申请人背后的思考过程——这种透明度在 Deepseek 发布之前是很难获得的。

在我最近关于 DeepSeek 和 RAG 的视频讨论中,我介绍了在实际应用中实施 RAG 是多么简单,即使对于非专家来说也是如此。Witteveen 还通过分析 RAG 管道的工作原理以及企业为何越来越依赖它们而不是完全微调模型,为讨论做出了贡献。

OpenAI Deep Research:扩展 RAG 的功能 — 但有注意事项

虽然 DeepSeek 正在使推理模型更便宜、更透明,但OpenAI 的 Deep Research代表着一种不同但互补的转变。它可以通过爬取网络来创建高度定制的研究,将 RAG 提升到一个新的水平。然后,可以将这项研究的结果作为输入插入到公司可以使用的 RAG 文档中,与他们自己的数据一起。
此功能通常称为代理 RAG,它允许 AI 系统自主地从互联网上寻找最佳上下文,为知识检索和基础带来新的维度。OpenAI 的 Deep Research 与 Google 的 Deep Research、Perplexity 和 You.com 等工具类似,但 OpenAI 试图通过表明其卓越的思路链推理使其更加准确来使其产品与众不同。这些工具的工作原理如下:公司研究人员要求 LLM 在一份经过充分研究和引用的报告中找到有关某个主题的所有可用信息。然后,LLM 要求研究人员回答另外 20 个子问题以确认所需内容。然后,研究法学硕士会进行 10 或 20 次网络搜索,以获取最相关的数据来回答所有子问题,然后提取知识并以有用的方式呈现它。

然而,这项创新并非没有挑战。Vectara 首席执行官 Amr Awadallah 警告称,过度依赖 Deep Research 等模型的输出存在风险。他质疑 Deep Research 是否真的更准确:“目前还不清楚这是否属实,”Awadallah 指出。“我们在各种论坛上看到文章和帖子说不是,他们仍然会产生很多幻觉,而且 Deep Research 只与市场上其他解决方案一样好。”

换句话说,尽管深度研究提供了有前景的功能,但企业在将其成果整合到知识库中时需要谨慎行事。Awadallah 表示,模型的基础知识应来自经过验证、人工认可的来源,以避免连锁错误。

成本曲线正在崩盘:这为何重要

DeepSeek 发布后最直接的影响是大幅降价。科技行业预计成本会随着时间的推移而下降,但很少有人预料到降价速度会如此之快。DeepSeek 已经证明,强大的开放模型既经济实惠又高效,为广泛实验和经济高效的部署创造了机会。

Awadallah 强调了这一点,并指出真正改变游戏规则的不仅仅是训练成本,而是推理成本,对于 DeepSeek 来说,推理成本约为 OpenAI 的每令牌推理成本 o1 或 o3 的 1/30。“OpenAI、Anthropic 和 Google Gemini 能够获得的利润现在必须被压缩至少 90%,因为他们无法在如此高的定价下保持竞争力,”Awadallah 说。

不仅如此,这些成本还将继续下降。Anthropic 首席执行官 Dario Amodei 最近表示,开发模型的成本每年以大约 4 倍的速度下降。因此,LLM 提供商收取的使用费也将继续下降。 

“我完全相信成本会降为零,”Intuit 首席数据官 Ashok Srivastava 表示,该公司一直在其 TurboTax 和 Quickbooks 等税务和会计软件产品中大力推广人工智能。“……并且延迟也会降为零。它们将成为我们能够使用的商品功能。”

成本降低不仅对开发者和企业用户来说是一件好事,还表明人工智能创新不再局限于拥有数十亿美元预算的大型实验室。准入门槛已经降低,这激励着小公司和个人开发者以以前无法想象的方式进行实验。最重要的是,这些模型非常容易获得,任何商业专业人士都可以使用它们,而不仅仅是人工智能专家,Srivastava 说。

DeepSeek 的颠覆:挑战“大型人工智能”在模型开发方面的堡垒

最重要的是,DeepSeek 打破了只有大型人工智能实验室才能创新的神话。多年来,OpenAI 和谷歌等公司将自己定位为高级人工智能的守门人,传播这样的信念:只有拥有大量资源的顶级博士才能建立具有竞争力的模型。

DeepSeek 颠覆了这一说法。通过使推理模型开放且价格合理,它使新一波开发人员和企业公司能够在无需数十亿美元资金的情况下进行实验和创新。这种民主化在后训练阶段(如强化学习和微调)尤为重要,最令人兴奋的发展正在发生。

DeepSeek 揭露了人工智能领域出现的一个谬论——只有大型人工智能实验室和公司才能真正创新。这种谬论迫使许多其他人工智能建设者退居二线。DeepSeek 阻止了这种情况。它给每个人带来了启发,让人们知道在这个领域有很多创新的方法。

数据势在必行:为什么清洁、整理的数据是企业下一步行动项目

虽然 DeepSeek 和 Deep Research 提供了强大的工具,但它们的有效性最终取决于一个关键因素:数据质量。多年来,整理数据一直是一个大主题,并且在 AI 时代的过去九年中加速发展。但对于生成式 AI 来说,这一点变得更加重要,而现在随着 DeepSeek 的颠覆,它绝对是关键。

美国运通首席技术官希拉里·帕克在接受采访时强调了这一点:“说实话,对我们来说,最让人惊喜的就是数据。你可以选择世界上最好的模型……但数据才是关键。验证和准确性是目前生成式人工智能的圣杯。”

这是企业必须集中精力的地方。虽然追逐最新的模型和技术很诱人,但任何成功的人工智能应用的基础都是干净、结构良好的数据。无论您使用的是 RAG、SFT 还是 RL,数据的质量都将决定模型的准确性和可靠性。

尽管许多公司都渴望完善其整个数据生态系统,但现实是,完美是难以实现的。相反,企业应该专注于清理和管理其数据中最关键的部分,以启用能够立即带来价值的点 AI 应用程序。

与此相关的是,许多问题都围绕着 DeepSeek 用于训练其模型的确切数据,而这反过来又引发了人们对其模型权重中存储的知识的固有偏见的质疑。但这与其他开源模型(如 Meta 的 Llama 模型系列)的问题没有什么不同。大多数企业用户已经找到了使用 RAG 对模型进行微调或打磨的方法,以便他们可以缓解此类偏见带来的任何问题。这足以在企业公司内部形成接受开源的强大势头,甚至引领开源。

同样,毫无疑问,许多公司都将使用 DeepSeek 模型,无论人们是否担心该公司来自中国。不过,金融或医疗保健等监管严格的行业中的许多公司确实会谨慎使用 DeepSeek 模型,至少在短期内不会。 

结论:企业 AI 的未来是开放、经济实惠且数据驱动的

DeepSeek 和 OpenAI 的深度研究不仅仅是人工智能武器库中的新工具,它们还预示着一场深刻的转变,企业将推出大量专用模型,这些模型极其经济实惠、性能卓越,并且以公司自己的数据和方法为基础。

对于企业来说,信息很明确:构建功能强大、特定领域的 AI 应用程序的工具触手可及。如果不利用这些工具,您就有落后的风险。但真正的成功将来自于您如何管理数据、利用 RAG 和蒸馏等技术以及在预训练阶段之外进行创新。

正如美国运通的帕克所说:那些能够正确处理数据的公司将引领下一波人工智能创新浪潮。

原创文章,作者:王 浩然,如若转载,请注明出处:https://www.dian8dian.com/deepseek-de-r1-he-openai-de-deep-research-chong-xin-ding-yi

Like (0)
王 浩然的头像王 浩然作者
Previous 2025年2月6日
Next 2025年2月7日

相关推荐

发表回复

Please Login to Comment