OpenAI 的 ChatGPT 开始与您计算机上的其他应用程序协同工作。
周四，这家初创公司宣布，适用于 macOS 的 ChatGPT 桌面应用程序现在可以读取一些以开发人员为中心的编码应用程序中的代码，例如 VS Code、Xcode、TextEdit、Terminal 和 iTerm2。
这意味着开发人员不再需要将代码复制粘贴到 ChatGPT 中，这已成为使用聊天机器人的常见方式。现在，当启用该功能时，OpenAI 会自动通过其聊天机器人发送您正在处理的代码部分作为上下文，以及您的提示。
然而，与 Cursor 或 GitHub Copilot 等流行的 AI 编码工具不同，ChatGPT 目前无法代表您将代码直接写入开发者应用程序。
这项名为“与应用协同工作”的功能与 AI 代理相去甚远，但 OpenAI 表示，让 ChatGPT 理解其他应用是构建代理系统的“关键基石”。如今，AI 代理面临的最大挑战之一是让它们理解计算机屏幕的其余部分，而不是提示或它们自己的响应。
OpenAI 表示，它首先将重点关注编码应用程序；这可能是因为人工智能编码助手已成为法学硕士 (LLM) 最受欢迎的用例之一。该功能现已向 Plus 和 Teams 用户推出，并将在未来几周内向 Enterprise 和 Edu 推出。OpenAI 表示，ChatGPT 将来将能够与其他类型的应用程序配合使用，特别是可用于写作任务的基于文本的应用程序。
在 TechCrunch 的演示中，OpenAI 的一名员工打开了 ChatGPT 应用程序和一个 Xcode 环境，其中包含一个模拟太阳系的简单项目——尽管缺少地球。该员工在 ChatGPT 中选择了一个 Xcode 选项卡，该选项卡告诉 AI 聊天机器人查看该应用程序，并提示聊天机器人“添加缺失的行星”。聊天机器人能够完成任务，编写一行代码来表示地球，与项目其余部分的格式相匹配。不过，他们仍然必须将 ChatGPT 的答案粘贴回他们的环境中。
OpenAI 桌面产品负责人 Alexander Embiricos 表示，为了读取不同的应用程序，OpenAI 主要依靠 macOS 辅助功能 API 来读取文本并将其翻译成 ChatGPT。macOS 上的屏幕阅读器已经存在近二十年了，它可以帮助Apple 的 VoiceOver 功能正常工作。它通常被认为对大多数常见应用程序都非常可靠，但并不是所有应用程序都如此。
对于某些应用，例如微软的 VS Code，Work with Apps 要求用户安装特殊扩展程序来查询内容。而且，顾名思义，苹果的屏幕阅读器只能读取文本，因此无法帮助 ChatGPT 理解视觉元素，例如照片、物体的方向或视频。
Work with Apps 会通过 ChatGPT 发送最后 200 行代码，以及针对某些应用程序的每个提示。对于其他应用程序，最前面窗口中的所有代码都将用作聊天机器人的输入。您可以突出显示代码或文本的某些部分，以帮助 ChatGPT 专注于项目的正确部分，但 ChatGPT 还会包含其周围的文本。这一切听起来会使用很多输入令牌。
目前尚不清楚 OpenAI 计划如何将此功能扩展到与 Apple 屏幕阅读器不兼容的其他应用程序。OpenAI 的竞争对手之一 Anthropic 发布了一款AI 系统，该系统可以分析用户桌面的屏幕截图，以理解和使用其他应用程序。坦率地说，Anthropic 的方法目前还有很多不足之处。它速度很慢，而且会犯很多错误。然而，它是一个更通用的 AI 代理版本，不依赖 API，而且可以做的不仅仅是在另一个窗口中阅读文本。
“这并不是要成为一个代理；它是一种与编码工具协作的方式，很快会有更多的工具推出，”Embiricos 在接受 TechCrunch 的简报时说。“在代理方面，我认为这是一个非常关键的构建模块。ChatGPT 可以理解或处理你拥有的所有内容，从而为你提供帮助。”
据彭博社报道，OpenAI 即将发布代号为“Operator”的通用 AI 代理，因此迈向代理的这一步尤其引人注目。该工具预计将于 2025 年初问世，并将与其他早期的通用 AI 代理相媲美，例如 Anthropic 的计算机应用或谷歌报道的“Jarvis”代理。
OpenAI 首次在 macOS 上发布这些功能，不久后苹果将于 12 月推出与 ChatGPT 的集成。目前尚不清楚 Work with Apps 何时会登陆 Windows，Windows 是由 OpenAI 最大的支持者微软创建的操作系统。
原创文章，作者：王 浩然，如若转载，请注明出处：https://www.dian8dian.com/chatgpt-xian-zai-ke-yi-du-qu-mac-shang-de-bu-fen-zhuo-mian
