做科研越来越像炒股:4万篇ICLR论文回测,追热点是对的

· 2026-09-10 13:41 · 5 阅读

原创 鸭基米德 2026-09-10 13:41 北京

选方向,别只看热不热

图片

十年 ICLR 数据里,热点会持续升温,录用红利却未必一直都在。

©作者 |鸭基米德

单位 | 新加坡国立大学

炒股有一个很出名的因子叫 momentum:过去几个月涨得好的股票,接下来一段时间大概率还会继续涨。

原因也不神秘,一部分人先看到了信息,价格慢慢反应,后面的人看到价格在涨就跟进来,趋势就自我强化。

科研现在完全是这个样子。一个方向开始涨,先是几篇有影响力的论文,然后审稿人熟悉这个方向了,接受率就变高。

组里师兄靠它发了顶会,师弟自然跟着做;大厂放出 benchmark 和开源模型,等于给这只股票加了成交量。

等到大家都知道 agent、RL 后训练是热点的时候,它已经涨了两年了。

问题在于 momentum 不是免费的午餐,它有 crash。2009 年 3 月美股反弹,之前跌得最惨的股票涨得最猛,做 momentum 的策略几个月亏掉几年的利润。

学术圈也一样,prompt engineering 在 2023 年是个新领域,2024 年再投这类论文,审稿人的第一句话就是“incremental”。

一个方向越拥挤,alpha 衰减得越快,因为同一个 idea 同时有五个组在做,比的就是谁先挂 arXiv。

那反着来行不行,去做没人做的方向,等它均值回归?金融里这叫 value,长期看也是有效的,但它有一个致命前提:你得持有得够久。

博士只有四五年,中间还要过资格考、发满毕业要求的论文数,这个持有期是被合同写死的。一个冷门方向可能十年后回归,可你在第四年就被强制平仓了。 

想明白这一点之后,我对追热点的同学反而没那么多 judgment 了。在一个持有期很短、只能做多、不能加杠杆的账户里,追 momentum 是理性选择,甚至是唯一能算得过来的选择。

真正能做 value 的,是拿了 tenure 的老师,他们才有资格等十年。

不过到这里,这还只是一个从机制和个人约束推出来的判断。

所以我把 ICLR 过去十年的论文拉出来,真的回测了一遍。

先说数据,和三个指标。

数据是 ICLR 2017 到 2026 年公开的录用和拒稿记录,一共 42,123 篇已经有结果的论文

按题目摘要里的固定词组分成 28 个方向,比如出现 graph neural network 就算 GNN 方向。一篇论文可以同时属于几个方向。

1. 份额

这个方向的论文数,除以当年大会所有论文数。LLM 在 2026 年占 34%,意思是 ICLR 2026 每三篇就有一篇在做 LLM。

2. 份额的年度变化

今年份额减去去年份额。这就是科研圈的 momentum,正数升温,负数退潮。

3. 相对录用率差

做这个方向的论文录用率,减去同一年不做这个方向的论文录用率。不直接看录用率,是因为大会整体录用率每年在变,只有跟同年其他论文比才有意义。

正 19,意思是做这个方向比不做的录用率高 19 个百分点。这个数衡量的是:选这个方向到底有没有录用红利。

后面所有的图,都只用这三个数。

趋势自我强化,数据上完全成立

LLM 在 2023 年只有 78 篇,占大会 2%。2024 年 863 篇,2025 年 2,357 篇,2026 年 4,716 篇,占 34%。三年六十倍。

前文讲的机制:先有几篇有影响力的论文,审稿人熟悉了,师兄发了顶会师弟跟着做,大厂放 benchmark 加成交量。这张图里全都能看到。

〓 口径:ICLR 2017–2026 已观测 accept/reject 论文,题目摘要固定词组匹配,一篇可属多个方向。历史关联,不是因果。数据整理:2026-09-07。

但录用红利在热度最高的时候消失了

2023 年做 LLM,录用率比不做 LLM 的论文高 19 个百分点,那年只有 78 篇,审稿人觉得新鲜。

2024 年溢价掉到 7。2025 年掉到 0。2026 年是 0.13,竖线横跨零,意思是这个差在统计上跟零分不开:做不做 LLM,录用率一样。

会不会是碰巧?一次比 28 个方向,总有几个碰巧显著。把 45 个比较放一起做多重比较校正,LLM 这个下降仍然显著。

放回 momentum 的语言:趋势还在,alpha 已经被吃完了。

〓 口径:ICLR 2017–2026 已观测 accept/reject 论文,题目摘要固定词组匹配,一篇可属多个方向。历史关联,不是因果。数据整理:2026-09-07。

Agent一年四倍, prompt engineering红利变折价

Agent 是 LLM 的浓缩版。2025 年 128 篇,2026 年 533 篇,录用率 38%,相对其他方向差负 1,区间跨零,没有任何优势。

前文写"2024 年再投 prompt engineering,审稿人第一句就是 incremental",那是凭审稿经验说的。

回测查了一下:2023 年 21 篇,录用差正 16;2024 年掉到正 2;2025 年负 11,做这个方向比不做的录用率低 11 个点;2026 年负 6。

论文翻六倍,红利变成折价。

2023 年样本小区间宽,但方向跟我审稿的感觉一样。

〓 口径:ICLR 2017–2026 已观测 accept/reject 论文,题目摘要固定词组匹配,一篇可属多个方向。历史关联,不是因果。数据整理:2026-09-07。

被甩下的方向:增长全落在了拒稿里

GNN 2023 年 210 篇,2026 年 347 篇,多了 65%。但录用只从 83 篇涨
到 93 篇,拒稿从 127 翻到 254。论文多了 137 篇,录用多了 10 篇,录
用率从 40% 掉到 27%。

这就是前文说的 alpha 衰减:同一个 idea 同时有五个组在做,比的是谁先挂 arXiv,后到的都变成拒稿。

GNN 这个下降在多重比较校正后不显著,所以我只当描述性事实讲,不上升成机制。但数字本身是准的。

〓 口径:ICLR 2017–2026 已观测 accept/reject 论文,题目摘要固定词组匹配,一篇可属多个方向。历史关联,不是因果。数据整理:2026-09-07。

最反直觉的一条:冷门未必人少

背景是 ICLR 本身在膨胀:2023 到 2026 年,已决论文从 3,792 篇涨到
 13,704 篇,三年 3.6 倍。所以一个方向论文翻倍,在大会里反而显得更小。

2023 年至少 30 篇的 20 个方向里,18 个论文数在涨,只有 GAN 和 NAS 在跌。但只有 LLM,扩散模型,可解释性三个跑赢了 3.6 倍,其余 17 个份额都在缩。15 个方向同时数量涨、份额跌。

因果推断、持续学习、公平性,论文数都是 2023 年的两倍以上,但在大会里越来越边缘。你以为的冷门,只是跑输了大盘。

〓 口径:ICLR 2017–2026 已观测 accept/reject 论文,题目摘要固定词组匹配,一篇可属多个方向。历史关联,不是因果。数据整理:2026-09-07。

图片

"这个方向凉了",其实是三种完全不同的事

第一种,份额退潮但人数还在涨。扩散模型 2025 到 2026 年论文从 642 篇涨到 898 篇,份额却从 7.5% 掉到 6.6%。人还在进,只是没有 LLM 快。大部分方向都是这种。

第二种,人数真的在减少。GAN 2019 年 128 篇,2026 年 58 篇,一届博士的时间腰斩。整个 28 个方向里只有它和 NAS 是这样。

第三种,人数在涨但增长全落在拒稿里,就是上一张的 GNN。

三种处境对博士生完全不同,从外面看都叫凉了。

〓 口径:ICLR 2017–2026 已观测 accept/reject 论文,题目摘要固定词组匹配,一篇可属多个方向。历史关联,不是因果。数据整理:2026-09-07。

图片

那追热点到底吃不吃亏

千问的核心判断:持有期短、只能做多、不能加杠杆的账户里,追 momentum 是理性选择。能不能被数据推翻?

做法:站在每一年年底,只用当年和之前的数据,把份额增长最快的四分之一方向标成 hot,其余不 hot。再看两组在接下来三年的相对录用率差平均值,hot 减不 hot。不用任何事后信息。

2020 到 2023 每个起点,hot 组都更高,2023 年起点高 3 个点。2019 年是负的,但只有 3 个合格方向,不能当数。追热点不是错的。

但两组各自的平均值都是负数:进入一个已经成型的方向,录用率平均都比大会其他论文略低。hot 组只是低得少一点。热门方向给你的是少亏一点,不是保送。

〓 口径:ICLR 2017–2026 已观测 accept/reject 论文,题目摘要固定词组匹配,一篇可属多个方向。历史关联,不是因果。数据整理:2026-09-07。

图片

28个方向全部放出来

不只挑好看的 case 讲。全部 28 个方向十年的份额年度变化,绿升温红退潮,按 2026 年论文数排序。找找你的方向在哪一行。格子里是份额变化,不是录用率,也不是科学价值。

图片

能推出什么,不能推出什么

数据是 ICLR 已观测 accept 和 reject 的论文,按固定词组匹配题目摘要,一篇可属多个方向,不是互斥分类,也不是全部投稿。

2025 年缺 217 篇文本,前面的关键数字不依赖这个缺失。

以上全是历史关联。

❌不能推出"晚进场的人被割":没有个人进入时间的数据。

❌不能推出"拥挤导致拒稿":没有识别因果。

不能推出"GAN没价值":没有长期贡献和产业数据。

能推出的只有一句:

博士生选方向,比"热不热"更该问的是:这个方向的增长,落在录用里,还是落在拒稿里。

 关于作者 

 鸭基米德 

新加坡国立大学计算机在读博士。研究兴趣包括金融大模型、多智能体系统与图学习。

小红书主页:

https://xhslink.cn/o/4GGBT9LDgHP

本文经作者授权转载,由两篇笔记合并整理,点击文末“阅读原文”,查看作者原帖。

更多阅读

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。

总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学术热点剖析科研心得竞赛经验讲解等。我们的目的只有一个,让知识真正流动起来。

📝 稿件基本要求:

• 文章确系个人原创作品,未曾在公开渠道发表,如为其他平台已发表或待发表的文章,请明确标注 

• 稿件建议以 markdown 格式撰写,文中配图以附件形式发送,要求图片清晰,无版权问题

• PaperWeekly 尊重原作者署名权,并将为每篇被采纳的原创首发稿件,提供业内具有竞争力稿酬,具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道:

• 投稿邮箱:hr@paperweekly.site 

• 来稿请备注即时联系方式(微信),以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信(pwbot02)快速投稿,备注:姓名-投稿

△长按添加PaperWeekly小编

🔍

现在,在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

阅读原文

跳转微信打开