模型合并是一个基本的人工智能过程，使组织能够重复使用和组合现有的训练模型来实现特定目标。
如今，企业可以使用各种方法进行模型合并，但许多方法都很复杂。一种称为可微分自适应合并(DAM) 的新方法可能是答案，它为当前模型合并的挑战提供了解决方案。DAM 提供了一种创新的解决方案，可以合并 AI 模型，同时潜在地降低计算成本。
Arcee AI是一家专注于高效、专业化 小型语言模型的公司， 在 DAM 研究领域处于领先地位。该公司 于 2024 年 5 月获得融资 ，从提供模型训练工具发展成为一个成熟的模型交付平台，提供开源和商业产品。
DAM 如何为模型合并开辟新道路
合并可以帮助企业结合专门针对不同领域的模型，从而创建一个能够同时在两个领域发挥作用的新模型。
结构化数据和数据库的合并数据的基本概念很好理解。然而，合并模型比合并结构化数据更抽象，因为模型的内部表示不太容易解释。
Arcee AI 研究工程师、DAM 研究作者之一 Thomas Gauthier-Caron 向 VentureBeat 解释说，传统的模型合并通常依赖于进化算法。这种方法可能很慢且不可预测。DAM 通过利用成熟的机器学习 (ML) 优化技术采取了不同的方法。
Gauthier-Caron 解释说，DAM 旨在解决模型合并过程中的复杂性问题。该公司现有的库 MergeKit 对于合并不同的模型很有用，但由于涉及各种方法和参数，因此很复杂。
“我们在想，我们能否让这个过程变得更容易一些，能否让机器帮我们进行优化，而不是让我们费尽心思去调整所有这些参数？”Gauthier-Caron 说道。
DAM 不会直接混合模型，而是根据每个模型的贡献程度进行调整。DAM 对模型权重矩阵中的每一列使用缩放系数。它通过测试组合模型的表现、将输出与原始模型进行比较，然后调整系数以获得更好的结果，自动学习这些系数的最佳设置。
根据研究，DAM 的表现可与进化合并、DARE-TIES 和Model Soups等现有方法相媲美，甚至更胜一筹。Gauthier-Caron 表示，该技术与现有方法有很大不同。他将进化合并描述为一个缓慢的过程，在开始时并不完全清楚结果会有多好，或者合并过程应该持续多长时间。
合并不是专家混合的方法
数据科学家以多种不同的方式组合模型。其中一种越来越流行的方法是专家混合法 (MoE)。
Gauthier-Caron 强调，与 DAM 的模型融合与 MoE 截然不同。他解释说，MoE 是一种可用于训练语言模型的特定架构。
模型合并的基本概念是从组织已经训练好的模型开始。训练这些模型通常需要花费大量资金，因此工程师的目标是重复使用现有的训练模型。
DAM 对企业 AI 的实际应用和优势
DAM 的主要优势之一是它能够有效地组合专门的模型。
Gauthier-Caron 举的一个例子是，如果某个组织想将日语模型与数学模型结合起来。这种结合的目标是创建一个擅长日语数学的模型，而无需重新训练。这是 DAM 可能擅长的一个领域。
该技术对于企业采用生成式人工智能尤其重要，因为效率和成本考虑至关重要。帮助创造更高效、更低成本的运营方式是 Arcee 的总体目标。这就是为什么 DAM 研究对公司及其最终用户都很重要。
Arcee AI 联合创始人兼首席执行官马克·麦克奎德表示：“企业采用新一代人工智能归结为效率、可用性、可扩展性和成本。”
原创文章，作者：王 浩然，如若转载，请注明出处：https://www.dian8dian.com/ke-qu-fen-zi-shi-ying-he-bing-zheng-zai-jia-su-qi-ye-de-slm
