由于企业希望模型具有更高的定制化程度和准确性， AWS宣布了 Bedrock 的更多更新，旨在发现幻觉并更快地构建更小的模型。
AWS 在 re:Invent 2024 期间宣布，Amazon Bedrock 模型提炼和自动推理检查将为有兴趣训练较小模型和捕捉幻觉的企业客户提供预览。
Amazon Bedrock Model Distillation 将允许用户使用更大的 AI 模型来训练更小的模型，并为企业提供他们认为最适合其工作负载的模型。
较大的模型（例如Llama 3.1 405B）拥有更多知识，但速度较慢且笨重。较小的模型响应速度较快，但通常知识有限。
AWS 表示，Bedrock Model Distillation 可以将较大模型的知识转移到较小模型中，而不会牺牲响应时间。
用户可以选择自己想要的重量级模型，然后找到同一个系列中的小型模型，例如 Llama 或 Claude，它们在同一个系列中具有一系列模型尺寸，然后写出示例提示。Bedrock 将生成响应并微调较小的模型，并继续制作更多样本数据以完成较大模型知识的提炼。
目前，模型蒸馏适用于Anthropic、Amazon 和Meta模型。Bedrock 模型蒸馏目前处于预览阶段。
企业为何对模型蒸馏感兴趣
对于想要更快响应模式的企业（例如可以快速回答客户问题的企业），必须在了解大量信息和快速响应之间取得平衡。
虽然他们可以选择使用大型模型的较小版本，但 AWS 相信更多企业希望在他们想要使用的模型类型（包括大型和小型模型）上进行更多定制。
AWS 确实在 Bedrock 模型园中提供了多种模型选择，它希望企业能够选择任何模型系列并根据自己的需求训练较小的模型。
许多组织（主要是模型提供商）使用模型蒸馏来训练较小的模型。然而，AWS 表示，该过程通常需要大量的机器学习专业知识和手动微调。Meta 等模型提供商已使用模型蒸馏为较小的模型带来更广泛的知识库。Nvidia 利用蒸馏和修剪技术制作了Llama 3.1-Minitron 4B，这是一款小型语言模型，据称其性能优于类似大小的模型。
模型提炼对于亚马逊来说并不是什么新鲜事，自 2020 年以来它一直致力于模型提炼方法。
更快地发现事实错误
尽管企业已经创建了诸如微调和限制模型响应内容等变通方法，但幻觉仍然是 AI 模型的一个问题。然而，即使是最精细调整的模型，如果只使用数据集执行检索增强生成 (RAG) 任务，仍然会犯错误。
AWS 解决方案是 Bedrock 上的自动推理检查，它使用数学验证来证明响应是正确的。
AWS 表示：“自动推理检查是第一个也是唯一一个生成式人工智能保护措施，它使用逻辑准确且可验证的推理来帮助防止因幻觉而导致的事实错误。”“通过增加客户对模型响应的信任，自动推理检查为生成式人工智能开辟了新的用例，在这些用例中准确性至关重要。”
客户可以从 Amazon Bedrock Guardrails 访问自动推理检查，该产品为模型带来了负责任的 AI 和微调。研究人员和开发人员经常使用自动推理来处理复杂数学问题的精确答案。
用户必须上传他们的数据，Bedrock 将制定模型遵循的规则并指导客户确保模型适合他们。一旦检查完成，Bedrock 上的自动推理检查将验证模型的响应。如果返回的内容不正确，Bedrock 将建议一个新的答案。
AWS 首席执行官马特·加曼 (Matt Garman) 在主题演讲中表示，自动检查可确保企业的数据保持其差异化，而其 AI 模型可以准确反映这一点。
原创文章，作者：王 浩然，如若转载，请注明出处：https://www.dian8dian.com/aws-bedrock-sheng-ji-tian-jia-mo-xing-jiao-xue-huan-jue
