据TechCrunch本周一报道，MemGPT团队首次官宣创业。由该团队创立的Letta公司，推出了一个同名的AI上下文内存管理平台Letta。
最近2年，大语言模型快速发展，但受到上下文窗口长度的限制，导致它在多轮对话和文档分析等任务中的适用性较差。
针对这个问题，Letta提出了虚拟上下文管理，这是一个可用在Agent产品中的内存管理平台，可让大语言模型能在有限上下文窗口之外使用更多的上下文。
此外，它还通过将大模型的计算和用户的数据分离，让开发者可以灵活地在不同模型提供商之间切换。
Letta平台的前身是加州大学伯克利分校的一个研究项目MemGPT。早在去年10月，MemGPT项目在正式发布论文和代码之前，仅凭一份白皮书就迅速走红。该项目正式发布在GitHub上后，很快就收到11000个星标和1200个Fork。这说明大语言模型上下文内存管理一直是AI领域中的痛点问题。
Letta公司由加州大学伯克利分校的实验室Sky Computing Lab孵化而成，由伯克利的博士生Sarah Wooders和Charles Packer于今年创立。该公司目前已经获得了1000万美元的种子资金，估值达7000万美元，投资人包括硅谷大佬Jeff Dean。
官网地址：https://www.letta.com/
一、为大语言模型构建更长的上下文，并让开发者自由切换基础模型
在过去的一年中，AI Agent成为了AI领域的新趋势。这些AI Agent不仅能为用户规划任务、进行推理，还能执行复杂的多步骤任务。
同时，基于大语言模型构建的应用程序正在变得越来越复杂。它们不再仅限于生成聊天消息，还能够调用工具、连接外部数据源、与其他AI Agent通信，甚至进行多步骤推理。
然而，传统的AI应用程序通常缺乏强大的情景记忆和多次交互的连续性。这就像是和只有8秒记忆的金鱼聊天：你问它答，但进行了几轮对话后，它就把最开始的对话内容全忘光了，不能根据之前的对话内容来给你更连贯的回答。
这种“短暂的记忆”限制了AI在进行复杂连续推理时的能力。这种短期记忆的局限，使得模型在处理需要长期上下文的任务时显得力不从心。
这正是Letta平台致力于解决的问题，它提供了一个用于大语言模型的上下文内存管理平台。
它将大模型的上下文分为主上下文（Main Context）和外部上下文（External Context），其中，主上下文模型可以直接访问和操作，外部上下文则用于存储不立即需要但可能在将来需要的信息。
Letta通过特定的内存管理算法，确定什么时候以及通过什么方式在主上下文和外部上下文之间移动信息。
此外，Letta平台可以与任何AI模型兼容，保证开发者能够在数据不丢失的前提下自由更换模型服务，比如OpenAI、Anthropic、Mistral的模型，以及他们自家的模型。
更重要的是，Letta坚持将项目开源，并称开源是AI应用程序开发者的更佳选择。闭源模型的API将阻止开发者看到与其推理步骤相关的任何模型输出。
“我们将自己定位为开源版的‘OpenAI’，”Packer说，“我认为，如果开发人员看不到AI模型内部发生了什么，尤其是面临AI幻觉问题的时候；对他们来说，要构建出非常好的AI应用，是非常困难的。”
二、脱胎于高校实验室项目，走红仅凭白皮书，正式发布时再次受到瞩目
加州大学伯克利分校的实验室Sky Computing Lab（以下简称为“Sky Lab”）由著名教授Ion Stoica领导。该实验室是RISELab和AMPLab的延续。RISELab和AMPLab曾经孵化了云计算公司Databricks、分布式计算公司Anyscale和半导体公司SiFive等。
Sky Lab孵化了许多大语言模型项目，如Gorilla LLM、vLLM和SGLang。
“在短短一年时间内，实验室就涌现了大量项目。而这些项目的负责人就坐在我们旁边，”Letta公司的创始人之一Wooders说道，“所以这一年真的是不可思议。”
MemGPT就是这批项目中的其中一个。它在正式发布前仅凭借一份白皮书，就在互联网上引起了广泛关注。
该项目的创始人之一Packer在接受TechCrunch采访时透露道，他们在2023年10月12日发布了该项目的白皮书，并计划在下周一将更详尽的论文和代码发布到GitHub上。但是，不知道是谁在周日就将白皮书发布到了Hacker News上，导致MemGPT立马在Hacker News上迅速走红。
发布白皮书的帖子的热度保持了整整48小时，Packer回忆道。在接下来的几天里，他一直在Hacker News上回答网友问题，同时抽时间准备发布代码。
后来，MemGPT在GitHub上正式发布没多久，它的链接再次在Hacker News上病毒式传播。YouTube上的访谈和教程、Medium上的帖子……以及GitHub上的11000个星标和1200个Fork纷至沓来。
来自风投公司Felicis的Myers也是通过阅读关于MemGPT的文章发现了Wooders和Packer，并立即认识到这项技术的商业潜力。
她告诉TechCrunch，她看完MemGPT的论文就立马联系了创始人。
“我们有一个围绕AI Agent基础设施的投资主题，并认识到数据和内存管理是使这些会话聊天机器人和AI Agent有效的重要组成部分。”
同时，Sky Lab的教授Stoica也为Wooders和Packer引荐了谷歌的Jeff Dean、Hugging Face的Clem Delangue、Runway的Cristóbal Valenzuela以及Anyscale的Robert Nishihara等硅谷知名的天使投资人。
“伯克利的许多教授因为身处伯克利，彼此关系密切，”关于获得投资的顺利过程，Packer回忆道，“这些教授时刻关注着实验室里有可能商业化的项目。”
GitHub项目地址：https://github.com/cpacker/MemGPT
结语：Letta虽受追捧，面临的竞争也很大
虽然Letta项目从一开始就受到了极大的关注，并吸引了如Jeff Dean这样的硅谷AI大佬注资，不过，它面临的竞争也不小。
比如，LangChain就在做类似的事情，而且已经开始赚钱了。
此外，OpenAI推出的最新模型o1，可能会让AI上下文“失忆”的问题变得无关紧要。作为一个多步骤推理模型，o1在回复前本就需要保持一定的状态，以便于进行“思考”和事实核查。
原创文章，作者：点点，如若转载，请注明出处：https://www.dian8dian.com/memgpt-tuan-dui-guan-xuan-chuang-ye-rong-zi-1000-wan-mei
