智能手机上有 AI?Hugging Face 的 SmolLM2 将强大的模型带到你的手掌上

智能手机上有 AI?Hugging Face 的 SmolLM2 将强大的模型带到你的手掌上

Hugging Face今天发布了SmolLM2,这是一组新的紧凑型语言模型,它实现了令人印象深刻的性能,同时所需的计算资源比大型模型少得多。

新模型采用 Apache 2.0 许可发布,有三种大小——135M 、 360M和1.7B参数——适合部署在智能手机和其他处理能力和内存有限的边缘设备上。最值得注意的是,1.7B 参数版本在几个关键基准测试中优于 Meta 的Llama 1B 模型。

智能手机上有 AI?Hugging Face 的 SmolLM2 将强大的模型带到你的手掌上

小型模型在人工智能性能测试中发挥强大作用

Hugging Face 的模型文档称:“SmolLM2 比其前身有了显著的进步,特别是在指令遵循、知识、推理和数学方面。”最大的变体在 11 万亿个 token 上进行了训练,使用了包括FineWeb-Edu和专门的数学和编码数据集在内的多样化数据集组合。

这一发展正值人工智能行业努力应对运行大型语言模型 (LLM) 的计算需求的关键时刻。虽然 OpenAI 和 Anthropic 等公司不断突破模型规模的界限,但人们越来越认识到需要能够在设备本地运行的高效、轻量级人工智能。

追求更大的 AI 模型的势头让许多潜在用户望尘莫及。运行这些模型需要昂贵的云计算服务,而云计算服务本身也存在问题:响应时间慢、数据隐私风险高以及小公司和独立开发者根本无法承受的高成本。SmolLM2 提供了一种不同的方法,将强大的 AI 功能直接带入个人设备,指向未来更多用户和公司可以使用先进的 AI 工具,而不仅仅是拥有庞大数据中心的科技巨头。

智能手机上有 AI?Hugging Face 的 SmolLM2 将强大的模型带到你的手掌上

随着人工智能转向移动设备,边缘计算得到推动

考虑到其规模,SmolLM2 的性能尤其值得关注。在衡量聊天功能的MT-Bench 评估中,1.7B 模型获得了 6.13 分,与更大的模型相媲美。它在数学推理任务中也表现出色,在GSM8K 基准测试中获得了 48.2 分。这些结果挑战了模型越大越好的传统观点,表明精心的架构设计和训练数据管理可能比原始参数计数更重要。

这些模型支持一系列应用,包括文本重写、摘要和函数调用。由于体积小巧,它们可以在隐私、延迟或连接限制使基于云的 AI 解决方案不切实际的场景中部署。这在医疗保健、金融服务和其他数据隐私不容置疑的行业中可能特别有价值。

业内专家认为,这是更高效的人工智能模型的广泛趋势的一部分。在设备本地运行复杂语言模型的能力可以为移动应用开发、物联网设备和数据隐私至关重要的企业解决方案等领域带来新的应用。

高效人工智能的竞争:小型模型挑战行业巨头

然而,这些较小的模型仍然存在局限性。根据 Hugging Face 的文档,它们“主要理解和生成英文内容”,并且可能并不总是产生事实准确或逻辑一致的输出。

SmolLM2 的发布表明,人工智能的未来可能不仅仅属于越来越大的模型,而是属于能够以更少的资源提供强大性能的更高效的架构。这可能对实现人工智能的民主化和减少人工智能部署对环境的影响具有重要意义。

这些模型可通过Hugging Face 的模型中心立即获得,每个尺寸变体都提供基础版本和指令调整版本。

原创文章,作者:王 浩然,如若转载,请注明出处:https://www.dian8dian.com/zhi-neng-shou-ji-shang-you-ai-hugging-face-de-smollm2-jiang

Like (0)
王 浩然的头像王 浩然作者
Previous 2024年11月3日
Next 2024年11月3日

相关推荐

发表回复

Please Login to Comment