7 × 24陕西橡塑专用胶价格，AI 也吃不消。

卡内基梅隆大学和马里兰大学发了篇论文，《Language Models Need Sleep》——

大模型处理长上下文的时候，硬撑着不休息，真的会累傻。

这项研究的灵感源自人脑运作机制。

人睡觉的时候海马体会把白天的短期记忆遍遍回放，巩固进皮层突触，变成长期知识。

研究团队认为模型也可以这样，设计了个睡眠机制，让大模型上下文窗口快满的时候别硬撑了，个盹把近的上下文反复咀嚼几遍，压缩进长期权重，清空缓存，醒了再接着干。

测试发现，理增加"睡眠"迭代轮次，能明显提升模型在度理类任务上的表现。

尤其是那些需要步接步的难题，越复杂，模型越需要多睡会儿。

咋回事？

大模型到底怎么了，非要睡觉

Transformer 的核心是注意力机制，但注意力有个天生的短板就是，上下文越长，力平往上蹿，KV 缓存也线往上涨。

同样是理任务，8K 上下文窗口和 128K 上下文窗口的力成本差距大，多出的力基本都消耗在了历史信息的关联计上。

所以现在的做法两种：

要么就硬扛，扛不住了就把老信息踢出缓存，但踢出去的东西，模型就当没发生过；

另类就是两年流行的SSM+Attention混架构，比如 Samba、Qwen3.5。

混架构是想了个折中案陕西橡塑专用胶价格，把老信息压缩进快速权重 fast weight，不占缓存，同时保留信息的可调用能力。

这确实缓解了部分内存压力，但团队发现即便快速权重还有充足容量，当理步骤变多、逻辑链条变长时，模型依旧会出现能失的问题。

也就是说当下的瓶颈并非信息存储能力不足，而是度理能力跟不上。

历史信息被移出 KV 缓存前，模型仅有次前向传播的机会完成信息内化，单次处理根本不足以支撑复杂逻辑的拆解与。

这点和人脑比较像，你白天经历了大堆事情，不是当场全消化掉的，万能胶生产厂家而是大脑等你睡着了再处理。

海马体在睡眠期间遍遍回放白天的重要片段，把短期记忆巩固进皮层突触，变成长期知识。

但这个过程须离线，也就是你得先睡着，把外部刺激暂时关掉，大脑才能集中力干消化这件事。

而且它不是回放遍就完，得多放几遍。

模型的睡眠长什么样

团队把人脑这整套逻辑搬到了模型上。

他们的设计是当模型上下文窗口快满的时候，不硬撑了，直接让大模型睡觉。

这里的睡觉是指暂停接收新 token，进入纯离线状态，针对已积累的全部上下文，执行多轮递归前向传播。

依靠可学习的局部规则，反复对信息进行提炼整，逐步新 SSM 模块内的快速权重，完成信息的度压缩与消化。

消化完了就清空 KV 缓存，带着新后的权重醒来，接着干活。

从力分配来看，额外的计开销全部集中在"睡眠"阶段，型苏醒后的正常理流程和常规模型保持致，只需要次前向传播。

这里的"睡眠时长"，本质上就是信息迭代处理的轮次，轮次越多，代表模型对上下文内容的梳理、磨次数越充分。

团队选用元胞自动机、多跳图检索、GSM-Infinite 限数学理三类任务开展测试，因为这几类任务可以控制理度与记忆负载两大变量。

测试结果清晰印证提升睡眠迭代轮次，模型整体能稳步提升，而且能提升主要体现在难度度理任务上。

也就是说简单的题醒着就能秒了，难的题需要睡觉，得经过多轮梳理，才能理清思路。

只能说，摸鱼休息确实是提升率的妙招，有时候停下来才能好好思考（doge）。

论文地址：https://arxiv.org/abs/2605.26099

键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！

—  完  —

属 AI 产品从业者的实名社群，只聊 AI 产品落地的真问题   扫码添加小助手，发送「姓名 + 公司 + 职位」申请入群～

进群后，你将直接获得：

  � � 新业的 AI 产品信息及分析 � �  

奥力斯    PVC管道管件粘结胶价格     联系人：王经理    手机：18231788377（微信同号）    地址：河北省任丘市北辛庄乡南代河工业区/p>

  � �   不定期发放的热门产品内测码 � �

  � �   内部属内容与业讨论 � �

� � 点亮星标 � �

科技前沿进展每日见

1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》，以此来变相勒索商家索要赔偿的违法恶意行为。