随着人工智能 (AI) 的不断发展，处理和理解长序列信息的能力变得越来越重要。人工智能系统现在用于执行复杂的任务，例如分析长文档、跟上长时间的对话以及处理大量数据。然而，许多当前模型在长上下文推理方面存在困难。随着输入越来越长，它们通常会丢失重要细节，导致结果不太准确或连贯。
这一问题在医疗保健、法律服务和金融行业尤其严重，因为这些行业的 AI 工具必须处理详细的文档或冗长的讨论，同时提供准确的、上下文感知的响应。一个常见的挑战是上下文漂移，即模型在处理新输入时会忽略先前的信息，从而导致结果相关性降低。
为了解决这些限制，DeepMind 开发了米开朗基罗基准。该工具严格测试 AI 模型管理长上下文推理的能力。受艺术家米开朗基罗（以从大理石块中揭示复杂雕塑而闻名）的启发，该基准有助于发现 AI 模型从大型数据集中提取有意义模式的能力。通过识别当前模型的不足之处，米开朗基罗基准将为未来 AI 在长上下文推理能力方面的改进提供参考。
理解人工智能中的长上下文推理
长上下文推理是指 AI 模型在处理长文本、代码或对话序列时保持连贯性和准确性的能力。GPT-4 和 PaLM-2 等模型在处理短或中等长度的输入时表现良好。但是，它们需要处理较长的上下文。随着输入长度的增加，这些模型通常会丢失早期部分的重要细节。这会导致理解、总结或决策时出现错误。此问题称为上下文窗口限制。随着上下文变长，模型保留和处理信息的能力会下降。
这个问题在实际应用中非常重要。例如，在法律服务领域，AI 模型会分析长达数百页的合同、案例研究或法规。如果这些模型无法有效地保留和推理如此长的文件，它们可能会遗漏重要条款或误解法律术语。这可能会导致不准确的建议或分析。在医疗保健领域，AI 系统需要综合数年甚至数十年的患者记录、病史和治疗计划。如果模型无法准确地回忆起早期记录中的关键信息，它可能会推荐不适当的治疗方法或误诊患者。
尽管人们已经努力改进模型的标记限制（例如 GPT-4 最多可以处理32,000 个标记，约 50 页文本），但长上下文推理仍然是一个挑战。上下文窗口问题限制了模型可以处理的输入量，并影响了其在整个输入序列中保持准确理解的能力。这会导致上下文漂移，即随着新信息的引入，模型逐渐忘记早期的细节。这降低了其生成连贯且相关输出的能力。
米开朗基罗基准：概念和方法
米开朗基罗基准测试通过测试 LLM 在需要它们保留和处理扩展序列信息的任务上的表现来解决长上下文推理的挑战。与早期的基准测试不同，早期的基准测试侧重于短上下文任务，例如句子完成或基本问答，而米开朗基罗基准测试则侧重于挑战模型在长数据序列中进行推理的任务，这些任务通常包括干扰或不相关的信息。
米开朗基罗基准测试使用潜在结构查询 (LSQ) 框架来挑战 AI 模型。此方法要求模型在大型数据集中找到有意义的模式，同时过滤掉不相关的信息，类似于人类筛选复杂数据以专注于重要信息的方式。基准测试主要关注两个领域：自然语言和代码，引入了不仅仅是数据检索的测试任务。
一项重要任务是潜在列表任务。在此任务中，模型将获得一系列 Python 列表操作，例如附加、删除或排序元素，然后它需要生成正确的最终列表。为了增加难度，任务包括不相关的操作，例如反转列表或取消先前的步骤。这测试了模型专注于关键操作的能力，模拟了 AI 系统必须如何处理具有混合相关性的大型数据集。
另一项关键任务是多轮共指解析 (MRCR)。此任务衡量模型在主题重叠或不清楚的长对话中跟踪引用的能力。模型面临的挑战是将对话后期的引用与早期要点联系起来，即使这些引用隐藏在无关的细节之下。此任务反映了现实世界中的讨论，其中主题经常发生变化，AI 必须准确跟踪和解析引用以保持连贯的沟通。
此外，Michelangelo 还提供了 IDK 任务，该任务测试模型识别何时没有足够的信息来回答问题的能力。在此任务中，向模型呈现可能不包含相关信息来回答特定查询的文本。挑战在于模型要识别正确答案是“我不知道”的情况，而不是提供合理但不正确的答案。这项任务反映了 AI 可靠性的一个关键方面——识别不确定性。
通过此类任务，Michelangelo 超越了简单的检索，测试了模型推理、综合和管理长上下文输入的能力。它为长上下文推理引入了一个可扩展、综合且无泄漏的基准，从而更精确地衡量了 LLM 的当前状态和未来潜力。
对人工智能研究和开发的影响
米开朗基罗基准测试的结果对于我们如何开发人工智能具有重要意义。基准测试表明，当前的 LLM 需要更好的架构，尤其是在注意力机制和记忆系统方面。目前，大多数 LLM 都依赖于自我注意力机制。这些机制对于短期任务很有效，但当上下文变得更大时就会变得困难。这就是我们看到的上下文漂移问题，模型会忘记或混淆早期的细节。为了解决这个问题，研究人员正在探索记忆增强模型。这些模型可以存储对话或文档早期部分的重要信息，让人工智能在需要时回忆和使用这些信息。
另一种有前途的方法是分层处理。这种方法使人工智能能够将长输入分解为更小、更易于管理的部分，这有助于它在每个步骤中专注于最相关的细节。这样，模型就可以更好地处理复杂的任务，而不会被太多的信息淹没。
改进长上下文推理将产生重大影响。在医疗保健领域，这可能意味着更好地分析患者记录，其中人工智能可以跟踪患者的长期病史并提供更准确的治疗建议。在法律服务领域，这些进步可能导致人工智能系统能够更准确地分析长期合同或判例法，为律师和法律专业人士提供更可靠的见解。
然而，这些进步也带来了严重的道德问题。随着人工智能在长期记忆和推理方面的能力越来越强，敏感或私人信息也存在泄露的风险。这对医疗保健和客户服务等保密性至关重要的行业来说是一个真正的问题。
如果人工智能模型保留了太多来自之前互动的信息，它们可能会在未来的对话中无意中泄露个人信息。此外，随着人工智能越来越擅长生成令人信服的长篇内容，它有可能被用来制造更高级的虚假信息或造谣，这进一步加剧了人工智能监管面临的挑战。
底线
米开朗基罗基准揭示了人工智能模型如何管理复杂的长上下文任务，突出了它们的优势和局限性。随着人工智能的发展，这一基准推动了创新，鼓励更好的模型架构和改进的记忆系统。医疗保健和法律服务等行业的转型潜力令人兴奋，但也伴随着道德责任。
随着人工智能越来越擅长处理大量信息，隐私、错误信息和公平问题必须得到解决。人工智能的发展必须继续以深思熟虑和负责任的方式造福社会。
原创文章，作者：点点，如若转载，请注明出处：https://www.dian8dian.com/deepmind-de-mi-kai-lang-ji-luo-ji-zhun-jie-shi-zhang-shang
