Meta AI 宣布开源MobileLLM，这是一套针对移动设备优化的语言模型，其模型检查点和代码现已在 Hugging Face 上提供。不过，目前它仅在 Creative Commons 4.0 非商业许可下提供，这意味着企业不能在商业产品上使用它。
MobileLLM最初在 2024 年 7 月发表的一篇研究论文中描述，现在已完全可用且具有开放权重，标志着高效的设备端 AI 的一个重要里程碑。
这些开放权重的发布使 MobileLLM 成为 Apple Intelligence 更直接（尽管是迂回）的竞争对手。Apple Intelligence 是 Apple 的设备/私有云混合 AI 解决方案，由多个模型组成，本周将向美国和欧盟以外的 iOS 18 操作系统用户发货。然而，由于仅限于研究使用，并且需要从 Hugging Face 下载和安装，因此目前它可能仍仅限于计算机科学和学术界。
提高移动设备的效率
MobileLLM 旨在解决在智能手机和其他资源受限的设备上部署 AI 模型的挑战。
这些模型的参数数量从 1.25 亿到 10 亿不等，旨在在移动硬件典型的有限内存和能量容量内运行。
Meta 的研究表明，通过强调架构而不是规模，精心设计的紧凑模型可以直接在设备上提供强大的 AI 性能。
解决扩展问题
MobileLLM 背后的设计理念偏离了强调宽度和大量参数的传统 AI 缩放定律。
Meta AI 的研究重点是深度、薄型架构，以最大限度地提高性能，改善模型捕捉抽象概念的方式。
Meta 首席人工智能科学家 Yann LeCun 强调了这些以深度为重点的策略对于在日常硬件上实现高级人工智能的重要性。
MobileLLM 采用了多项创新，旨在使较小的模型更有效：
•深度优于宽度：该模型采用深度架构，在小规模场景中表现出色，优于更宽但更浅的架构。
•嵌入共享技术：这些技术可以最大限度地提高权重效率，这对于维持紧凑的模型架构至关重要。
•分组查询注意力：受到 Ainslie 等人 (2023) 的研究启发，该方法优化了注意力机制。
•立即逐块权重共享：一种通过最小化内存移动来减少延迟的新策略，有助于保持移动设备上的执行效率。
性能指标和比较
尽管体积小，MobileLLM 模型在基准测试任务上却表现出色。1.25 亿和 3.5 亿参数版本在零样本任务中的准确率比之前最先进的 (SOTA) 模型分别提高了 2.7% 和 4.3%。
值得注意的是，350M 版本甚至与更大的 Meta Llama-2 7B 型号的 API 调用性能相匹配。
这些成果表明，结构良好的小型模型可以有效地处理复杂的任务。
专为智能手机和边缘计算而设计
MobileLLM 的发布与 Meta AI 为实现先进 AI 技术民主化所做的更广泛努力相一致。
由于云成本和隐私问题导致对设备上 AI 的需求不断增加，像 MobileLLM 这样的模型将发挥关键作用。
这些模型针对内存限制为 6-12 GB 的设备进行了优化，使其可以集成到 iPhone 和 Google Pixel 等流行智能手机中。
开放但不商业
Meta AI 决定开源 MobileLLM，反映出该公司对合作和透明度的承诺。遗憾的是，许可条款目前禁止商业使用，因此只有研究人员才能受益。
通过共享模型权重和预训练代码，他们邀请研究界来拓展和完善他们的工作。
这可以加速小型语言模型 (SLM) 领域的创新，使得无需依赖广泛的云基础设施即可获得高质量的人工智能。
有兴趣测试 MobileLLM 的开发者和研究人员现在可以访问 Hugging Face 上的模型，这些模型与 Transformers 库完全集成。随着这些紧凑模型的发展，它们有望重新定义高级 AI 在日常设备上的运行方式。
原创文章，作者：王 浩然，如若转载，请注明出处：https://www.dian8dian.com/meta-xiang-yan-jiu-ren-yuan-kai-fang-qi-mobilellm-bing-fa
