Meta 生成 AI 副总裁 Ahmad Al-Dahle 今天在竞争对手社交网络 X 上宣布发布Llama 3.3，这是 Facebook、Instagram、WhatsApp 和 Quest VR 母公司推出的最新开源多语言大型语言模型 (LLM)。
正如他所写的：“Llama 3.3 以显著降低的成本提高了核心性能，使得整个开源社区更容易接受它。”
Llama 3.3 拥有 700 亿个参数（或控制模型行为的设置），其结果与夏季推出的Llama 3.1 中的 Meta 405B 参数模型相当，但成本和计算开销（例如，运行推理模型所需的 GPU 容量）仅为其一小部分。
它旨在提供顶级性能和可访问性，但体积却比以前的基础模型更小。
Meta 的 Llama 3.3 是根据Llama 3.3 社区许可协议提供的，该协议授予使用、复制、分发和修改模型及其输出的非独占、免版税许可。将 Llama 3.3 集成到产品或服务中的开发人员必须包含适当的归属，例如“使用 Llama 构建”，并遵守可接受使用政策，禁止生成有害内容、违反法律或发动网络攻击等活动。虽然许可证通常是免费的，但每月活跃用户超过 7 亿的组织必须直接从 Meta 获得商业许可。
Meta 团队的 AI 声明强调了这一愿景：“Llama 3.3 以极低的推理成本在基于文本的用例中提供了领先的性能和质量。”
我们到底在谈论节省多少钱？下面是一些简单的计算：
根据Substratus 博客（针对开源跨云基础）的说法，Llama 3.1-405B 需要 243 GB 到 1944 GB 的 GPU 内存。与此同时，根据同一博客的说法，较旧的 Llama 2-70B 需要 42-168 GB 的 GPU 内存，尽管他们声称最低只有 4 GB，或者如Exo Labs 所显示的那样，一些 Mac 电脑配备 M4 芯片，没有独立 GPU。
因此，如果在这种情况下低参数模型的 GPU 节省能够保持下去，那么那些希望部署 Meta 最强大的开源 Llama 模型的人可以期望节省高达近 1940 GB 的 GPU 内存，或者可能将标准80 GB Nvidia H100 GPU的 GPU 负载减少 24 倍。
按照每块 H100 GPU 约 25,000 美元的价格计算，这意味着前期 GPU 成本节省可能高达 600,000 美元，更不用说持续的电力成本了。
外形小巧，性能卓越
据Meta AI on X称，Llama 3.3 模型在多语言对话、推理和其他高级自然语言处理 (NLP) 任务等多个基准测试中，表现优于大小相同的 Llama 3.1-70B 以及亚马逊的新款 Nova Pro 模型（Nova 在 HumanEval 编码任务中表现更佳）。
根据 Meta 在其网站上发布的“模型卡”中提供的信息，Llama 3.3 已经对来自“公开可用”数据的 15 万亿个标记进行了预训练，并对超过 2500 万个合成生成的示例进行了微调。
该模型利用 H100-80GB 硬件上的 3930 万个 GPU 小时进行开发，彰显了 Meta 对能源效率和可持续性的承诺。
Llama 3.3 在多语言推理任务中领先，在 MGSM 上的准确率达到 91.1%，证明了其除了英语之外，还能有效支持德语、法语、意大利语、印地语、葡萄牙语、西班牙语和泰语等语言。
成本效益高且环保
Llama 3.3 专门针对经济高效的推理进行了优化，令牌生成成本低至每百万个令牌 0.01 美元。
这使得该模型与 GPT-4 和 Claude 3.5 等行业同行相比具有很强的竞争力，并且对于寻求部署复杂 AI 解决方案的开发人员来说具有更高的可承受性。
Meta 还强调了此次发布的环保责任。尽管培训过程十分密集，但该公司利用可再生能源来抵消温室气体排放，从而在培训阶段实现了净零排放。基于位置的排放总计 11,390 吨二氧化碳当量，但 Meta 的可再生能源计划确保了可持续性。
高级功能和部署选项
该模型引入了多项增强功能，包括 128k 个标记的更长上下文窗口（与 GPT-4o 相当，约 400 页书籍文本），使其适用于长篇内容生成和其他高级用例。
其架构采用了分组查询注意（GQA），提高了推理过程中的可扩展性和性能。
Llama 3.3 的设计旨在满足用户对安全性和实用性的偏好，它采用了带人工反馈的强化学习 (RLHF) 和监督微调 (SFT)。这种一致性确保了对不适当提示的坚决拒绝，以及针对实际应用优化的类似助手的行为。
Llama 3.3 已可通过Meta、Hugging Face、GitHub和其他平台下载，并为研究人员和开发人员提供集成选项。Meta 还提供 Llama Guard 3 和 Prompt Guard 等资源，帮助用户安全负责地部署模型。
原创文章，作者：王 浩然，如若转载，请注明出处：https://www.dian8dian.com/meta-tui-chu-kai-yuan-llama-3-3-jiang-qiang-da-de-da-mo
