新年伊始，MIT CSAIL 的一纸论文在学术圈引发了不小的讨论。Alex L． Zhang 、 Tim Kraska 与 Omar Khattab 三位研究者在 arXiv 上发布了一篇题为《Recursive Language ...

随着大模型开始被用于长时程任务，比如深度研究、代码仓库理解、跨文档信息整合，模型一次性需要面对的输入，已经不再是几十万 token，而是数千万甚至上亿 token。

新年伊始，MIT CSAIL 的一纸论文在学术圈引发了不小的讨论。Alex L． Zhang 、 Tim Kraska 与 Omar Khattab 三位研究者在 arXiv 上发布了一篇题为《Recursive Language ...

你有没有发现，你让AI读一篇长文章，结果它读着读着就忘了前面的内容？ 你让它处理一份超长的文档，结果它给出来的答案，牛头不对马嘴？ 这个现象，学术界有个专门的名词，叫做上下文腐化。 这也是目前AI的通病：大模型的记忆力太差了，文章越长，模型越傻！