英伟达新研究实锤:上下文不是越长越好
2026-11-07 09:26:10来源:学术头条
长程任务需要执行许多步骤,长输入任务需要处理大量材料,但这是否意味着模型必须始终保留长上下文?
英伟达新研究发现,完成所谓的长上下文任务,并不需要长上下文。
(相关资料图)
论文链接:https://arxiv.org/abs/2611.05306
研究团队通过频繁压缩历史和选择性读取输入,检验模型能否在短上下文中完成长程与长输入任务,并据此提出语义状态空间模型(Semantic State Space Models,SSSMs)的概念。根据他们给出的结果,在所测试的多种任务中,保持短上下文带来的准确率损失很小,或者没有损失。即使每段上下文最多执行一次动作,模型在长程软件工程任务中的表现也没有崩溃。
他们关注的首先是长上下文的实际开销。对于研究讨论的主流注意力架构,生成一个 token 所需的计算量随其在上下文中的位置增加而增长,位置靠后的 token 比位置靠前的 token 生成成本更高。在前沿开放权重模型上,这种成本差异最高可达 7 倍。所以,上下文越长,输出 token 的生成开销越高。不过,云端服务通常按固定的每百万 token 单价收费,用户未必能够直接察觉这种成本差异。
一方面,长上下文会增加生成开销。另一方面,模型的上下文窗口持续扩大,能够容纳的文本规模已经超过许多长篇作品。这促使他们追问,完成通常被归入长上下文的任务,是否确实需要长上下文?
他们将上下文变长的原因分为两类。一类是长程任务,模型需要采取多次动作才能完成目标,交互历史随着任务推进不断积累。另一类是长输入任务,任务本身附带大量信息,直接输入便会形成长上下文。
但执行过程长,不代表模型每一步都必须重新考虑全部历史。输入材料多,也不代表模型必须始终读取全部内容。他们指出,如果将长输入保存为资源,再为模型提供选择性读取工具,长输入任务就可以转化为需要多次行动的长程任务。
围绕这两类任务,他们提出三个研究问题,RQ1 考察长程任务能否在没有长上下文的情况下完成。RQ2 考察长输入任务能否在没有长上下文的情况下完成。RQ3 则进一步考察,当每段上下文最多执行一次动作时,模型能否完成长程任务。
图|本研究考察的三种上下文管理策略
针对 RQ1,他们采用对话末尾压缩,比较压缩历史与保留完整历史时的任务准确率。他们发现,即使采用这种简单的压缩方式,准确率通常也能达到或略高于完整历史基线。在其余设置中,准确率损失较小。这表明,在这些测试中,模型无须持续保留全部交互记录,也能维持接近原有水平的任务表现。
图|长程任务结果随总上下文上限的变化
RQ2 将考察对象转向长输入。模型面对的材料总量并未减少,改变的是访问方式。他们采用选择性读取,并在需要时使用上下文压缩作为后备措施,使模型能够处理长材料,同时保持较短的实时上下文。这种方式在几乎所有测试情形中都能达到或超过一次性输入完整材料的基线,部分情形下改善幅度较大。对于这些任务,输入材料很长,并不要求模型始终将全部内容放在当前上下文中。
图|长输入任务结果随总上下文上限的变化
前两组问题分别考察了历史压缩与选择性读取,RQ3 则进一步考察动作之间需要传递多少历史。他们测试单动作压缩,每段上下文最多执行一次动作,动作之间只传递紧凑的语义状态。单动作压缩能够大致保持基线准确率,或者取得更高的准确率。在这一条件下,模型在长程软件工程任务中的表现没有崩溃。
图|SAC 与 FHA、EoCC 的比较
SSSMs 正是基于这些发现提出的模型概念。通过紧凑的语义状态衔接连续动作,是他们在单动作压缩实验中考察的执行方式,也是这一概念的出发点。
由此,长程任务可以通过压缩减少历史积累,长输入任务可以通过选择性读取控制当前上下文,单动作压缩则进一步检验了紧凑状态能否支持连续执行。
三个研究问题最终回到同一个核心问题,任务很长,是否就意味着上下文必须很长?他们据此认为,在所测试的设置中,长输入和长交互过程本身,都不足以构成长上下文必不可少的理由。通过有组织的状态维护与选择性访问,模型能够保持较短的上下文,同时维持接近或更高的任务准确率。
更多技术细节,详见原论文。
作者:张佳怡
如需转载或投稿,请直接在本文章评论区内留言
责任编辑:hnmd003
精彩推送
- 英伟达新研究实锤:上下文不是越长越好
- 江西远坤陶瓷材料有限公司成立 注册资本500万人民币
- 欣旺达11月6日回应动力电池话题:四季度关联销售预计较高系行业旺季
- 【ETF观察】11月6日股票指数ETF净流入110.04亿元
- 赣锋锂业(01772.HK):公司实际控制人、董事长提议回购公司A股股份
- 比亚迪股份-R(81211.HK)11月6日收盘跌2.25% 热推荐
- 焦点速看:克拉夫特:自由身后多家俱乐部联系我,不会排除任何可能性
- 今日快看!每体:西蒙尼演练战巴萨阵容,科克和李刚仁有望进入首发名单
- 每日快报!FC埃因霍温vs阿贾克斯二队:范德里特、贝苏延首发,蒙塞拉特、纳什出战
- 视点!摩尔线程完成3万亿级参数Kimi-K3.1 Pro适配 支持文本与图片推理
- 锦欣生殖(01951)11月6日耗资约359.62万港元回购153.8万股
- 锦欣生殖(01951.HK)11月6日耗资359.6万港元回购153.8万股|今日热讯
- 焦点热门:盛弘股份(300693.SZ):首次回购8.89万股
- 【播资讯】阿斯:卡西利亚斯两子将离开皇马青训,决定来自两个孩子本人
- 阿尔比奥尔:穆帅进化了,他已经适应了如今社会和足球的现实|要闻速递
- 今热点:生意社黑钨精矿11月6日均差为18783.33元/吨 由正向扩大转为缩小
- 海天味业(03288.HK)11月6日耗资722.95万港元回购27.5万股
- 每日短讯:友宝在线(02429.HK)11月6日耗资1.1万港元回购8000股
- 汇宇制药:公司未向剑桥大学进行过捐赠或设立奖助学金 独家焦点
- 【独家】东瑞制药(02348)11月6日斥资18.25万港元回购20万股
- 中国中化进博会与30余家合作伙伴签署采购协议 金额超128亿美元|实时
- 即时看!39.32万亿元!9月权益基金份额稳定净值缩水,债基规模大增6661亿元
- 11月6日红太阳涨停:草铵膦,虫害防治,长寿药NMN概念热股
- 每日快讯!11月6日港股收盘:恒指跌1.27% 恒生科技指数跌1.83%
- 康希通信(688653.SH):公司尚未对前期回购股份进行出售
- 11月6日换手率排行:N森峰以93.89%居首,紧随其后的是C皇冠、东方海洋、贝特利
- 每日焦点!港股异动 | 谢瑞麟(00417)尾盘涨超5% 预期中期股东应占溢利不少于9000万港元 同比扭亏为盈
- 2030年我国充电基础设施将超4000万个 焦点热门
- 微动态丨南京银行业务部门负责人:下阶段将保持合理的计提水平,继续维持拨备覆盖率基本稳定
- 2027年上海春考1月9日至11日举行,27所招生院校名单公布→_焦点报道
- 每日短讯:大摩:中国中车目标价上调至5.6港元 维持“减持”评级
- 黄河实现连续27年不断流_焦点速讯
- 新消息丨NBA明天11月7日赛程:雷霆VS灰熊,CCTV5直播湖人VS开拓者
- 本周菜籽油现货价格下跌基差上涨 每日快讯
- 每日焦点!光伏股继续活跃,截至发稿,钧达股份(02865.HK)涨7.1%,报14.91港元
- 【热闻】11月6日其他养殖板块涨幅达2%
- Coze企业版将下线 独立开发工具生存空间被AI办公挤占 快消息
- 滚动:首秀来临?明日对阵爵士 阿尔达马被列为可能出战
- 伯纳乌点石成金!穆里尼奥慧眼识人!皇马隐形王牌大翻身
- 贝索斯旗下蓝色起源将关键火箭发射推迟至明年1月-新动态
- 苹果首款触屏MacBook Pro今日开售
- 登顶联盟第一,76人五人保持不败,老詹有点尴尬了……
- 观热点:复刻1979年初代Walkman耳机:索尼推出全新MDR-3R加入USB-C接口,售价59.99美元
- 11月5日科创创业50ETF鹏扬基金份额增加200万份,重仓股新易盛、中际旭创、宁德时代
- 11月5日科创创业人工智能ETF工银基金份额增加400万份,重仓股澜起科技、海光信息、寒武纪
- 太阳报:埃梅里更习惯以“主帅”身份执教,可能并不适合曼联_当前焦点
- 创想三维:拟回购H股 总金额最高5000万美元 今日热门
- 成都蓉城好消息!大连英博主力德尔加多官宣追加停赛4场 最新快讯
- C罗退出国家队原因:不肯向热苏斯低头!宁愿骄傲地离开! 时讯
- 中基协:截至2026年9月底公募基金资产净值合计39.32万亿元
- 重点聚焦!极智嘉(02590.HK)斥资35.84万港元回购5.54万股
- 微资讯!健康元披露总额1亿元的对外担保,被担保方为深圳市海滨制药有限公司
- 曹操出行:11月5日斥资20万港元回购2万股-每日视讯
- 全民临时工的时代,已经到来了。
- 每日时讯!大连决战之前,迎重大利好,主力伤愈回归+天津残阵出战,就等成都再掉链子
- 诺禾致源:对美国国防部提起诉讼 请求撤销将公司列为“中国军工企业”决定
- 水晶光电:拟1亿元至2亿元回购公司股份_焦点热文
- 华依科技(688071.SH)大宗交易成交合计10万股 成交金额432.1万元
- 上港集团:10月份预计完成母港集装箱吞吐量498.1万标准箱
- 今日热门!佛光普照!克莱三分绝杀!30+5+3赛季最强一战
- 帕金斯:东契奇是我见过最像科比的人
- 米体:罗马1月追吉滕斯,再补后腰_快看点
- 国家算力互联互通区域(湖北)节点即将启动
- 跟腱撕裂!掘金放弃了,浪费1首轮+3次轮!
- 微软官宣:AMD FSR 4.1.2超分辨率技术首次登陆微软XBOX Series X|S
- 焦点消息!比亚迪与vivo达成深度战略合作
- 奥迪创新技术中心正式开业:由奥迪与上汽共同组建,联合开发AUDI品牌车型|最新资讯
- 极兔速递-W(01519)盘中涨超7% 成交额超5.7亿港元
- 远光软件:远光智算盒已在国网的部分网省公司试点应用
- 打起来了!东部榜首大战,布朗盖帽准绝杀! 头条
- 焦点关注:工行贵州铜仁分行金融赋能绿色制造 助力产业低碳升级
- 中广核技向特定对象发行股票申请获深交所审核通过_每日快看
- 苏盐井神:正在推进盐穴储氢实验井的建设 最新资讯
- 每日观察!桂林三金录得6天5板
- 惠州市星火聚创科技有限公司成立 注册资本3万人民币
- 猫猫头网络科技(广东)有限公司成立 注册资本1000万人民币 新消息
- 每日速递:荆州市荆州区成香风干鸡食品店(个体工商户)成立 注册资本3万人民币
- 欧联杯:皇家社会vs里昂,马塔拉佐表示“要保持高度的专注度” 报资讯
- 加比亚丨养伤期间来到米兰内洛支持球队 当前热议
- 今日热议:大幅缩水!WTA总决赛奖金公布:不败夺冠比去年少拿近200万美元
- 惹怒皇马球迷!1.3亿巨星连续3轮欧冠被换下 拿5000万年薪却10场0球
- Goal:非洲年度最佳球员候选出炉,萨拉赫落选引争议_滚动
- 26投12中砍28分14板5助2断2帽,巴恩斯填满数据栏_今日聚焦
- 足坛一夜动态:皇马欧冠3-2绝杀!利物浦2-3遭逆转 科莫9-1
- 焦点消息!努萨:英超顶尖球队水平确实高,面对曼城必须90分钟高度专注
- 巴基斯坦驻华使馆公使 曼苏尔·阿里·梅蒙:积极合作互利共赢
- 正味集团(02147)按“1供6”基准进行供股而发行4.03亿股 新要闻
- 时讯:罕王黄金(03788)报告Rustlers Roost金矿床历史废石堆区域近期钻探样本的选矿冶金试验结果
- 每日观察!慧源同创科技(01116.HK):戴耀权辞任行政总裁
- 北上资金累计成交额突破265万亿元
- 这个双11,AI当主角?
- 微速讯:交运ESG评级升级 绿色低碳 数智安全成新价值锚点
- 隐形老大还是第四选择,詹姆斯在费城76人,到底该算几当家
- 美德乐Q3利润承压但订单饱满 27年增长确定性高 每日视点
- 心泰医疗(02291.HK)11月4日耗资48.9万港元回购3.5万股
- 今日为何大涨?多家公募共识:前期调整已较为充分_焦点简讯
- 滚动:长春高新:子公司GenSci117吸入用粉末境内生产药品注册临床试验申请获受理
- 每日资讯:主力动向:11月4日特大单净流入496.23亿元
- 汇聚科技:11月4日发行新股9.5万股|每日短讯
- Needham下调迈威尔科技和Lumentum目标价_今日播报


