随着人工智能系统在日益复杂的任务中实现超越人类的表现，业界正在努力解决是否有可能建立更大的模型，或者创新是否必须走不同的道路。
大型语言模型 (LLM) 开发的一般方法是规模越大越好，性能会随着数据和计算能力的增加而扩展。然而，最近媒体的讨论集中在 LLM 如何接近其极限。“人工智能是否遇到了瓶颈？ ” The Verge提出质疑，而路透社报道称“随着当前方法受到限制，OpenAI 和其他公司正在寻求通往更智能人工智能的新道路。”
令人担忧的是，多年来推动人工智能发展的可扩展性可能不会扩展到下一代模型。有报道称，GPT-5 等突破人工智能当前极限的前沿模型的开发可能会面临挑战，因为预训练期间的性能提升会逐渐减少。OpenAI和彭博社报道的这些挑战也报道了谷歌和 Anthropic 的类似新闻。
这个问题引发了人们的担忧，即这些系统可能受到收益递减规律的影响——每增加一个输入单位，收益就会逐渐减少。随着 LLM 规模的扩大，获取高质量训练数据和扩展基础设施的成本呈指数级增长，从而降低了新模型性能改进的回报。由于大量可访问信息已被纳入现有训练数据集，高质量新数据的可用性有限，这加剧了这一挑战。
这并不意味着人工智能性能提升的终结。它只是意味着，为了保持进步，需要通过模型架构、优化技术和数据使用方面的创新进行进一步的工程设计。
学习摩尔定律
半导体行业也出现了类似的收益递减模式。几十年来，该行业一直受益于摩尔定律，该定律预测晶体管的数量每 18 到 24 个月就会翻一番，通过更小、更高效的设计推动性能的大幅提升。该定律最终也遭遇了收益递减，从2005 年至 2007 年左右开始 ，原因是登纳德缩放定律（即缩小晶体管也会降低功耗的原理）已达到极限，这助长了摩尔定律消亡的预测。
我在 2012 年至 2022 年与 AMD 合作期间，对这个问题有过深入的了解。这个问题并不意味着半导体（以及计算机处理器）从一代到下一代都停止了性能改进。它确实意味着改进更多地来自芯片设计、高带宽内存、光开关、更多缓存和加速计算架构，而不是晶体管的缩小。
新的进步之路
目前的 LLM已经出现了类似的现象。GPT-4o、Claude 3.5 和 Gemini 1.5 等多模态 AI 模型已证明其整合文本和图像理解的强大功能，推动了视频分析和上下文图像字幕等复杂任务的进步。对训练和推理算法进行更多调整将进一步提高性能。代理技术使 LLM 能够自主执行任务并与其他系统无缝协调，很快就会大大扩展其实际应用。
未来的模型突破可能源自一种或多种将符号推理与神经网络相结合的混合 AI 架构设计。OpenAI 的 o1 推理模型已经展示了模型集成和性能扩展的潜力。量子计算虽然才刚刚开始发展，但有望通过解决当前的计算瓶颈来加速 AI 训练和推理。
感知到的扩展障碍不太可能终结未来的增长，因为人工智能研究界已经不断证明其在克服挑战和释放新功能和性能进步方面的独创性。
事实上，并非所有人都认为存在一堵墙。OpenAI 首席执行官 Sam Altman 简洁地表达了自己的观点：“没有墙。”
在“ CEO 日记” 播客节目中，前谷歌 CEO、 《创世纪》合著者埃里克·施密特 (Eric Schmidt) 基本上同意 Altman 的观点，他表示，他不相信存在扩展障碍——至少在未来五年内不会出现。“五年内，这些法学硕士的曲柄将再转动两到三次。这些曲柄中的每一个看起来都是能力的两倍、三倍、四倍，所以我们可以说，转动所有这些系统的曲柄将使能力提高 50 倍或 100 倍，”他说。
领先的人工智能创新者仍然对进步的速度以及新方法的潜力持乐观态度。这种乐观态度在最近与 OpenAI 首席产品官 Kevin Weil 和 Anthropic 首席产品官 Mike Krieger在“ Lenny’s Podcast ”上的对话中显而易见。
在此次讨论中，克里格表示，OpenAI 和 Anthropic 目前正在开展的工作“感觉就像魔术一样”，但他也承认，在短短 12 个月内，“我们就会回过头来说，你能相信我们曾经使用过那些垃圾吗？……这就是人工智能发展的速度。”
确实如此——感觉就像魔术一样，就像我最近使用 OpenAI 的高级语音模式时所体验到的那样。与“Juniper”交谈感觉非常自然和无缝，展示了人工智能如何发展以理解实时对话中的情感和细微差别并做出回应。
Krieger 还讨论了最近的 o1 模型，称其为“一种扩展智能的新方法，我们感觉我们才刚刚开始。”他补充道：“这些模型将以更快的速度变得更加智能。”
这些预期的进步表明，尽管传统的扩展方法在短期内可能会或可能不会面临收益递减，但人工智能领域有望通过新方法和创造性工程继续取得突破。
缩放真的重要吗？
尽管扩展挑战主导了当前围绕法学硕士的大部分讨论，但最近的研究表明，当前的模型已经能够取得非凡的成果，这引发了一个发人深省的问题：进一步的扩展是否重要。
最近的一项研究预测，ChatGPT 将帮助医生在面对复杂的患者病例时做出诊断。该研究使用 GPT-4 的早期版本进行，比较了 ChatGPT 的诊断能力与有无 AI 帮助的医生的诊断能力。令人惊讶的是，ChatGPT 单独表现明显优于两组医生，包括使用 AI 辅助的医生。造成这种情况的原因有很多，从医生不了解如何最好地使用机器人到他们相信自己的知识、经验和直觉天生就更胜一筹。
这并不是第一项显示机器人比专业人士取得更好结果的研究。今年早些时候报道了一项研究，该研究表明，法学硕士可以进行财务报表分析，其准确度可与专业分析师相媲美，甚至超过专业分析师。使用 GPT-4 的另一个目标是预测未来的收益增长。GPT-4 在预测未来收益方向方面的准确率达到了 60%，明显高于人类分析师预测的 53% 至 57% 的范围。
值得注意的是，这两个例子都基于已经过时的模型。这些结果强调，即使没有新的扩展突破，现有的 LLM 也已经能够在复杂任务中超越专家，挑战了关于进一步扩展以实现有影响力结果的必要性的假设。
规模化、技能化或两者兼而有之
这些例子表明，目前的法学硕士已经非常强大，但单靠扩展可能并不是未来创新的唯一途径。但随着更多扩展的可能性和其他新兴技术有望提高性能，施密特的乐观态度反映了人工智能发展的快速步伐，这表明在短短五年内，模型就可以发展成为通才，无缝回答多个领域的复杂问题。
无论是通过扩展、技能培训还是全新的方法，人工智能的下一个前沿领域都有望改变的不仅仅是技术本身，还有它在我们生活中的作用。未来的挑战是确保进步对每个人都是负责任、公平和有影响力的。
原创文章，作者：王 浩然，如若转载，请注明出处：https://www.dian8dian.com/ren-gong-zhi-neng-gui-mo-kuo-zhang-de-zhong-jie-ke-neng
