艾伦人工智能研究所 (Ai2)声称，随着其新模型训练系列 Tülu 3 的发布，闭源和开源后训练之间的差距已经缩小，并提出了开源模型将在企业领域蓬勃发展的论点。
Tülu 3 使开源模型与 OpenAI 的 GPT 模型、Anthropic 的 Claude 和谷歌的 Gemini 相媲美。它允许研究人员、开发人员和企业在不丢失模型数据和核心技能的情况下对开源模型进行微调，使其接近闭源模型的质量。
Ai2 表示，它发布了包含所有数据、数据组合、配方、代码、基础设施和评估框架的 Tülu 3。该公司需要创建新的数据集和训练方法来提高 Tülu 的性能，包括“使用强化学习直接针对可验证问题进行训练”。
Ai2 在一篇博文中表示：“我们的最佳模型源自复杂的训练过程，该过程将专有方法的部分细节与新技术和成熟的学术研究相结合。我们的成功源于精心的数据管理、严格的实验、创新的方法和改进的培训基础设施。”
Tülu 3 将提供多种尺寸。
企业开源
尽管有传闻称更多公司在项目中选择了更多开源大型语言模型 (LLM )， 但在企业采用方面，开源模型往往落后于闭源模型。
Ai2 的论点是，使用 Tülu 3 等开源模型改进微调将增加选择开源模型的企业和研究人员的数量，因为他们可以确信它的表现可以与 Claude 或 Gemini 一样好。
该公司指出，Tülu 3 和 Ai2 的其他模型都是完全开源的，并指出 Anthropic 和 Meta 等声称开源的大型模型训练器“其训练数据和训练配方对用户都不透明”。开放源代码倡议最近发布了其开源 AI 定义的第一个版本，但一些组织和模型提供商在其许可证中并未完全遵循该定义。
企业关心模型的透明度，但许多企业选择开源模型并不是为了研究或数据开放，而是因为它最适合他们的用例。
当企业寻找开源模型纳入其堆栈并使用其数据进行微调时，Tülu 3 为其提供了更多选择。
Ai2 的其他模型OLMoE和Molmo也是开源的，该公司表示，它们的表现已开始超越 GPT-4o 和 Claude 等其他领先模型。
Tülu 3 的其他功能
Ai2 表示，Tülu 3 允许公司在微调过程中混合和匹配他们的数据。
Ai2 表示：“这些配方可以帮助你平衡数据集，因此如果你想建立一个可以编码的模型，但也能精确遵循指令并使用多种语言，那么你只需选择特定的数据集并按照配方中的步骤进行操作即可。 ”
混合和匹配数据集可以让开发人员更轻松地从较小的模型转移到较大的加权模型，并保留其训练后设置。该公司表示，它与 Tülu 3 一起发布的基础设施代码允许企业在模型大小之间移动时构建该管道。
Ai2 的评估框架为开发人员提供了一种方法，让他们可以指定他们希望在模型中看到的设置。
原创文章，作者：王 浩然，如若转载，请注明出处：https://www.dian8dian.com/ai2-suo-xiao-le-bi-yuan-he-kai-yuan-hou-xun-lian-zhi-jian
