名为Nous Research的人工智能研究团队目前正在快速发展的生成人工智能领域做一些独特的事情（至少据我所知）：Nous 正在使用分布在互联网和世界各地的机器对一个新的 150 亿参数大型语言模型 (LLM) 进行预训练，避免了需要集中在昂贵、耗电的人工智能数据中心和图形处理单元 (GPU)“超级集群”中进行模型开发，例如埃隆马斯克的 xAI 最近在田纳西州孟菲斯完成的超级集群。
此外，Nous 还在专门的网站distro.nousresearch.com上直播预训练过程，展示其在评估基准上的表现，以及演习背后训练硬件的各个位置的简单地图，包括美国和欧洲的几个地方。
截至本文发表时，预训练运行还剩下大约 57 个小时（2.3 天），已完成 75％ 以上。
预训练是 LLM 训练的两个方面中的第一个，可以说是最基础的方面，因为它涉及在大量文本数据上训练模型，以学习语言的统计特性和结构。该模型处理大量文本数据集，捕获模式、语法和单词之间的上下文关系。此阶段使模型对语言有了广泛的理解，使其能够生成连贯的文本并执行各种与语言相关的任务。
在预训练之后，模型会针对特定任务或领域的更具体的数据集进行微调。
如果成功，Nous 将证明，使用一种新颖的开源训练方法，无需昂贵的超级集群或低延迟传输，就可以训练前沿级的 LLM。它可能开启分布式 AI 训练的新时代，成为新 AI 模型的主要或潜在主导来源，并将新一代 AI 的力量平衡从资金雄厚的大型科技公司转移到规模较小的团体和非企业参与者。
Nous DisTrO：训练演习背后的技术
Nous 今年早些时候因发布其宽容且存在存在冲突的 Meta Llama 3.1 变体 Hermes 3以及其使 AI 开发个性化和不受限制的总体使命而成为头条新闻，它正在使用其名为 Nous DisTrO（互联网分布式训练）的开源分布式训练技术，Nous 最初于 2024 年 8 月在一篇研究论文中发表了这项技术。
根据 Nous Research 的最新报告，DisTrO 在预训练期间将 GPU 间通信带宽要求降低了多达 10,000 倍。这项创新允许在较慢且更实惠的互联网连接（可能低至 100Mbps 下载速度和 10Mbps 上传速度）下训练模型，同时保持具有竞争力的收敛速度和损失曲线。
DisTrO 的核心突破在于能够有效压缩 GPU 之间交换的数据，同时不牺牲模型性能。
根据2024 年 8 月一篇文章所述，该方法在使用 Llama 2 架构的测试中将通信需求从 74.4 GB 减少到仅 86.8 MB，效率提高了近 857 倍。这一显著的改进为去中心化、协作式 AI 研究的新时代铺平了道路。
DisTrO 建立在早期的解耦动量优化 (DeMo) 研究基础之上，该算法旨在将 GPU 间通信减少几个数量级，同时保持与传统方法相当的训练性能。
DeMo 算法和 DisTrO 堆栈都是 Nous Research 持续使命的一部分，即分散 AI 能力并将先进的 AI 开发带给更广泛的受众。
该团队还将 DeMo 算法作为开源代码发布在 GitHub 上，邀请世界各地的研究人员和开发人员进行实验并在其研究成果的基础上进行拓展。
硬件合作伙伴
Nous Research 的 150 亿参数语言模型的预训练涉及多个著名合作伙伴的贡献，包括 Oracle、Lambda Labs、Northern Data Group、Crusoe Cloud 和 Andromeda Cluster。
他们共同提供了在真实分布式环境中测试 DisTrO 功能所需的异构硬件。
对未来人工智能模型发展的深远影响
DisTrO 的意义不仅限于技术创新。通过减少对集中式数据中心和专用基础设施的依赖，DisTrO 为更加包容和协作的 AI 研究生态系统提供了一条道路。
规模较小的机构、独立研究人员，甚至是能够使用消费级互联网和 GPU 的业余爱好者都能够训练大型模型——这一壮举以前只有拥有大量资本和专业知识的公司才能实现。
该研究论文的合著者、Adam 优化器的共同发明人 Diederik P. Kingma 加入了 Nous Research，成为 DeMo 和 DisTrO 开发的合作者。Kingma 的贡献以及 Nous Research 联合创始人 Bowen Peng 和 Jeffrey Quesnelle 的贡献为该项目增添了可信度，并预示着该项目对更广泛的 AI 社区的潜在影响。
后续步骤Next steps
Nous Research 为未来打开了一扇大门，未来 AI 开发将不再由少数几家公司主导。他们在 DisTrO 上的工作表明，通过正确的优化，大规模 AI 模型可以以分散的方式高效地进行训练。
虽然当前的演示使用了 Nvidia H100 等尖端 GPU，但 DisTrO 对不太专业的硬件的可扩展性仍然是有待进一步探索的领域。
随着 Nous Research 不断改进其方法，这项技术的潜在应用——从分散的联邦学习到训练用于图像生成的扩散模型——可能会重新定义人工智能创新的界限。
原创文章，作者：王 浩然，如若转载，请注明出处：https://www.dian8dian.com/nous-research-zheng-zai-shi-yong-fen-bu-zai-hu-lian-wang
