随着自动驾驶汽车 (AV) 逐渐普及，一个重大挑战仍然存在：弥合人类乘客和机器人司机之间的沟通鸿沟。尽管自动驾驶汽车在复杂道路环境中的导航方面取得了显著进步，但它们往往难以理解人类驾驶员可以轻松理解的细微自然语言命令。
普渡大学莱尔斯土木与建筑工程学院开展了一项创新研究。在助理教授王自然的带领下，一个工程师团队开创了一种创新方法，利用人工智能增强 AV 与人类的互动。他们的解决方案是将 ChatGPT 等大型语言模型 (LLM) 集成到自动驾驶系统中。’
自然语言在自动驾驶汽车中的力量
LLM 代表了人工智能在理解和生成类似人类的文本方面的能力的飞跃。这些复杂的人工智能系统经过大量文本数据的训练，能够以传统程序化响应无法做到的方式掌握上下文、细微差别和隐含含义。
在自动驾驶汽车领域，LLM 具有变革性的功能。与依赖特定语音命令或按钮输入的传统 AV 界面不同，LLM 可以解释各种自然语言指令。这意味着乘客可以像与人类驾驶员交流一样与车辆交流。
自动驾驶汽车通信能力的增强意义重大。想象一下，告诉您的汽车“我要迟到了”，它会自动计算出最有效的路线，调整驾驶方式以安全地缩短行程时间。或者想象一下，说“我有点晕车”，汽车就会调整其运动曲线，让行驶更平稳。这些细微的交互是人类驾驶员可以直观理解的，而通过集成 LLM，自动驾驶汽车就可以实现这些细微的交互。
普渡大学助理教授王子然站在一辆测试自动驾驶汽车旁边，他和他的学生使用 ChatGPT 或其他大型语言模型为这辆汽车配备了解释乘客指令的设备。（普渡大学照片/约翰·安德伍德）
普渡大学研究：方法论和结果
为了测试法学硕士在自动驾驶汽车领域的潜力，普渡大学团队使用四级自动驾驶汽车进行了一系列实验——距离 SAE International 定义的完全自动驾驶仅一步之遥。
研究人员首先训练 ChatGPT 响应一系列命令，从“请开快点”这样的直接指令到“我现在感觉有点晕车”这样的间接请求。然后，他们将这个经过训练的模型与车辆现有的系统整合在一起，让它在解释命令时考虑交通规则、道路状况、天气和传感器数据等因素。
实验设置非常严格。大多数测试都在印第安纳州哥伦布市的试验场进行，这是一条前机场跑道，可以进行安全的高速测试。在普渡大学的 Ross-Ade 体育场的停车场进行了额外的停车测试。在整个实验过程中，由 LLM 辅助的 AV 响应了乘客预先学习的和新指令。
结果令人鼓舞。与没有 LLM 帮助的四级自动驾驶汽车相比，参与者报告的不适感明显降低。即使在响应未经明确训练的命令时，该车辆的表现也始终优于基准安全性和舒适度指标。
也许最令人印象深刻的是，该系统展示了在乘车过程中学习和适应个人乘客偏好的能力，展示了真正个性化的自动交通的潜力。
普渡大学博士生崔灿坐在测试自动驾驶汽车上。控制台上的麦克风接收他的命令，云端的大型语言模型对其进行解释。汽车根据大型语言模型生成的指令行驶。（普渡大学照片/约翰·安德伍德）
对未来交通运输的影响
对于用户来说，好处是多方面的。能够与自动驾驶汽车自然交流可以缩短新技术的学习时间，让更广泛的人群能够接触到自动驾驶汽车，包括那些可能害怕复杂界面的人。此外，普渡大学研究中展示的个性化功能表明，未来自动驾驶汽车可以适应个人喜好，为每位乘客提供量身定制的体验。
这种改进的交互方式还可以提高安全性。通过更好地理解乘客的意图和状态（例如识别乘客是否着急或身体不适），自动驾驶汽车可以相应地调整其驾驶行为，从而有可能减少因沟通不畅或乘客不适而导致的事故。
从行业角度来看，这项技术可能是竞争激烈的 AV 市场中的关键差异化因素。能够提供更直观、响应更快的用户体验的制造商可能会获得显著优势。
挑战与未来方向
尽管结果令人鼓舞，但在 LLM 集成式 AV 在公共道路上实现之前，仍存在一些挑战。一个关键问题是处理时间。当前系统平均需要 1.6 秒来解释和响应命令——对于非关键场景来说可以接受，但在需要快速响应的情况下可能会出现问题。
另一个值得关注的问题是 LLM 可能会“产生幻觉”或误解命令。虽然该研究采用了安全机制来降低这种风险，但全面解决这个问题对于现实世界的实施至关重要。
展望未来，王的团队正在探索进一步研究的几种途径。他们正在评估其他 LLM，包括谷歌的 Gemini 和 Meta 的 Llama AI 助手，以比较性能。初步结果表明，ChatGPT 目前在安全性和效率指标方面优于其他产品，不过研究结果即将公布。
一个有趣的未来方向是使用 LLM 进行车辆间通信的潜力。这可以实现更复杂的交通管理，例如 AV 在交叉路口协商通行权。
此外，该团队正在开展一个项目，研究大型视觉模型（以图像而非文本为训练基础的人工智能系统），以帮助自动驾驶汽车应对中西部常见的极端冬季天气条件。这项由互联和自动化交通中心支持的研究可以进一步提高自动驾驶汽车的适应性和安全性。
底线
普渡大学在将大型语言模型与自动驾驶汽车相结合方面的开创性研究标志着交通技术的一个关键时刻。通过实现更直观、响应更灵敏的人机交互，这项创新解决了自动驾驶汽车应用中的一个关键挑战。虽然处理速度和潜在误解等障碍仍然存在，但这项研究的良好结果为未来与汽车的交流铺平了道路，未来与汽车的交流将像与人类司机交谈一样自然。随着这项技术的发展，它不仅有可能彻底改变我们的出行方式，还可能彻底改变我们在日常生活中感知和与人工智能互动的方式。
原创文章，作者：点点，如若转载，请注明出处：https://www.dian8dian.com/llm-qi-che-ren-ji-tong-xin-ling-yu-de-tu-po
