微软推出了一种突破性的人工智能模型GRIN-MoE（梯度知情混合专家模型），旨在提高编码和数学等复杂任务的可扩展性和性能。该模型有望通过一次选择性地激活一小部分参数来重塑企业应用程序，使其既高效又强大。
GRIN-MoE 在研究论文“ GRIN：基于梯度的 MoE ”中进行了详细介绍，它使用了一种新颖的混合专家 (MoE) 架构方法。通过将任务分配给模型中的专门“专家”，GRIN 实现了稀疏计算，使其能够利用更少的资源，同时提供高端性能。该模型的关键创新在于使用SparseMixer-v2来估计专家路由的梯度，这种方法大大改进了传统做法。
研究人员解释道：“该模型避开了 MoE 架构的主要挑战之一：由于专家路由的离散性，传统的基于梯度的优化非常困难。”GRIN MoE 的架构拥有 16×38 亿个参数，在推理过程中仅激活 66 亿个参数，从而实现了计算效率和任务性能之间的平衡。
GRIN-MoE 在 AI 基准测试中超越竞争对手
在基准测试中，微软的 GRIN MoE 表现出色，超越了类似或更大规模的模型。它在MMLU（大规模多任务语言理解）基准测试中获得了 79.4 分，在数学问题解决能力测试GSM-8K中获得了 90.4 分。值得注意的是，该模型在编码任务基准测试HumanEval中获得了 74.4 分，超过了GPT-3.5-turbo等热门模型。
GRIN MoE 的表现优于Mixtral (8x7B)和Phi-3.5-MoE (16×3.8B)等同类模型，后两者在 MMLU 上的得分分别为 70.5 和 78.9。论文指出：“GRIN MoE 的表现优于 7B 密集模型，并且可与在相同数据上训练的 14B 密集模型的性能相媲美。”
对于寻求在 AI 应用中平衡效率和功能的企业来说，这种性能水平尤为重要。GRIN 无需专家并行或令牌丢弃（两种用于管理大型模型的常用技术）即可扩展，这使其成为可能没有基础设施来支持更大模型（如 OpenAI 的GPT-4o或 Meta 的LLaMA 3.1）的组织更易于访问的选择。
企业 AI：GRIN-MoE 如何提高编码和数学效率
GRIN MoE 的多功能性使其非常适合需要强大推理能力的行业，例如金融服务、医疗保健和制造业。其架构旨在处理内存和计算限制，从而解决企业面临的一个关键挑战。
该模型能够“在不进行专家并行或丢弃令牌的情况下扩展 MoE 训练”，从而在数据中心容量受限的环境中更有效地利用资源。此外，它在编码任务上的表现也是一大亮点。GRIN MoE 在 HumanEval 编码基准测试中获得了 74.4 分，展示了其加速 AI 在企业工作流程中自动编码、代码审查和调试等任务中的应用的潜力。
GRIN-MoE 在多语言和对话式 AI 方面面临挑战
尽管 GRIN MoE 的表现令人印象深刻，但它也有局限性。该模型主要针对英语任务进行了优化，这意味着当应用于训练数据中代表性不足的其他语言或方言时，其有效性可能会降低。研究承认，“GRIN MoE 主要针对英语文本进行训练”，这可能会给在多语言环境中运营的组织带来挑战。
此外，虽然 GRIN MoE 在推理密集型任务中表现出色，但它在对话上下文或自然语言处理任务中可能表现不佳。研究人员承认，“我们观察到该模型在自然语言任务中的表现并不理想”，这归因于该模型的训练重点是推理和编码能力。
GRIN-MoE 转变企业 AI 应用的潜力
微软的 GRIN-MoE 代表着人工智能技术的重大进步，尤其是对于企业应用而言。它能够高效扩展，同时在编码和数学任务中保持卓越的性能，使其成为希望在不过度占用计算资源的情况下集成人工智能的企业的宝贵工具。
研究团队解释道：“该模型旨在加速语言和多模态模型的研究，以作为生成 AI 功能的基础。”随着 AI 在商业创新中发挥越来越重要的作用，GRIN MoE 等模型很可能在塑造企业 AI 应用的未来方面发挥重要作用。
随着微软不断突破人工智能研究的界限，GRIN-MoE 证明了该公司致力于提供满足各行业技术决策者不断变化的需求的尖端解决方案。
原创文章，作者：王 浩然，如若转载，请注明出处：https://www.dian8dian.com/wei-ruan-de-grinmoe-ai-mo-xing-cai-yong-bian-ma-he-shu-xue
