Transformer 之后，AI 到底在进步什么？

最近看到一张很有意思的梗图，大意如下：

这当然是一张梗图，但它之所以好笑，是因为确实抓住了过去几年 AI 发展的一个特点：

如果讨论的是大语言模型的主干架构，这张图的讽刺相当准确；但如果因此得出“AI 已经没有新的底层技术”，又有些过头。

最关键的一点是：2017 年 Transformer 出来以后，到现在确实没有再出现一次类似 “RNN/CNN → Transformer” 这种统治级的架构替换。

Transformer / Self-Attention 是什么

Transformer 是一种神经网络架构。Self-Attention 是它的核心机制之一，可以让模型直接判断一段内容中不同位置之间的关系。现在绝大多数主流大语言模型仍然建立在 Transformer 体系上。

此后的前沿大语言模型，大体可以理解成：

Transformer

• 更多、更好的数据
• 更大的计算量
• 更好的训练方法
• 更高效的模型结构
• 更多推理阶段的计算
• 工具调用

而不是“Transformer → 一个完全不同的新理论 → 下一代 AI”。

这张图“对”在哪里

如果回头看 2000 年前后的机器学习，会看到很多差异非常大的技术路线：

• SVM / Kernel Method
• Gaussian Process
• Bayesian Network
• HMM
• Decision Tree
• Boosting
• Graphical Model
• Neural Network

它们的建模假设、数学形式，甚至训练方法都可能完全不同。

而今天看很多公开的大模型，会发现主干非常相似。

以 DeepSeek-V3 为例，它当然有很多创新，但仍然建立在 Transformer 体系上，主要变化可以概括成：

Transformer + MoE + MLA + Multi-Token Prediction + 训练工程优化

MoE (Mixture of Experts)

可以理解成一个模型内部有很多“专家模块”，但每次处理一个 token 时，只调用其中一部分。这样可以把模型做得很大，又不必每次把全部参数都计算一遍。

MLA (Multi-head Latent Attention)

DeepSeek 使用的一种 Attention 改进方法，主要目标是压缩推理时需要保存的中间信息，从而减少显存和计算开销。

所以，如果把 2017 年之后的技术路线画出来，更接近下面这样：

Transformer
    │
    ├── Scaling
    ├── MoE
    ├── RoPE / GQA / MLA
    ├── FlashAttention
    ├── Better Data
    ├── RLHF / DPO / RL
    ├── Long Context
    ├── Test-time Compute
    └── Tool Use

这比假设 2020、2023、2026 年各自出现了一个全新主干架构更符合实际。

“Scale”本身，可能就是这一轮 AI 最大的发现之一

这一点反而经常被低估。

也就是说，不一定要先发明一种新的算法，仅仅把已有方法按正确的比例扩大，性能就可能比较稳定地继续提高。 与此同时，后训练方法也取得了很大进展。

Scaling Laws

研究模型规模、训练数据、计算量和模型效果之间的关系。它最重要的意义不是“模型越大越好”，而是说明这些投入和最终效果之间存在一定规律，可以被估计，而不是完全靠试错。

后来 Chinchilla 又发现，很多大模型的问题不是参数不够，而是训练数据不够。

于是重点从“模型越大越好”，慢慢变成了“模型大小 × 数据量 × 训练计算量需要合理配比”。

这其实非常反直觉。

过去更习惯的一条路线是：

发明一个更聪明的算法 → 提升性能

到了大语言模型时代，开始出现另一种路线：

找到一个足够通用的架构 → 把数据和算力扩大几个数量级 → 能力继续增长

所以那张图里的 it worked somehow 虽然是调侃，但确实说中了一个很特别的现象。

“只是把 Transformer 变大”也不完全准确

过去几年出现了不少很重要的技术，只是它们没有改变主干架构。

FlashAttention

一种更高效地计算 Attention 的方法。它主要减少 GPU 在显存和高速缓存之间来回搬运数据的次数，因此可以提高速度、减少显存占用。

它更像是“把同一个公式算得更聪明”，而不是发明一个新的公式。

它没有改变 Attention 最终要计算的数学结果，而是重新设计了 GPU 处理 Attention 时的数据读取和计算过程。

简单来说：

Mathematics: Attention is still Attention
Implementation: redesign how the computation moves and processes data

这类技术非常重要，但它属于计算机系统层面的底层优化，而不是机器学习理论层面的架构替换。

MoE 也是类似的情况。

普通 Transformer：

token
  ↓
entire FFN

MoE:

token
  ↓
Router
 ├→ Expert 3
 └→ Expert 17

于是就可能出现“总参数 600B，实际激活 30B”：模型可以拥有很大的总参数量，但每个 token 不需要跑完整个模型。

如果按“有没有改变基础范式”来判断，这类技术更接近对 Transformer 的重大改造，而不是新的 AI 基础范式。

所以说 AI 这些年“没有创新”显然不对。

更准确的说法应该是：

创新很多，但很长时间没有出现一次能够替代 Transformer 主干地位的架构革命。

真正值得注意的变化，是推理阶段也开始 Scaling

2024 年以后，一个越来越明显的变化，是 Scaling 不再只发生在训练阶段。

以前的路线是“更多 GPU → 训练更大的模型 → 模型更强”。现在又增加了一条：“同一个模型 → 回答问题时计算更久 → 进行更多搜索、验证和推导 → 答案更好”。

Test-time Compute / 推理阶段计算

指模型已经训练完成以后，在真正回答一个问题时愿意投入多少计算资源。

过去通常更重视“把模型训练得更大”，现在则开始重视“同一个模型面对难题时，能不能多算一会儿”。

因此，现在的 Scaling 大致可以分成四层：参数规模、训练数据、训练计算量和推理计算量。

这个变化可能比单纯把模型从 70B 做到 700B 更重要。

但如果问题是“这算新的底层神经网络理论吗？”，答案仍然是：不太算。

它更像是训练方法和模型使用方式发生了变化，而不是神经网络的基本结构被重新发明。

也有人真的在尝试替换 Transformer

State Space Model / Mamba

一类不同于标准 Transformer Attention 的序列模型。它通过内部状态逐步保存和传递信息，一个重要优势是处理超长序列时，计算成本可以比标准 Attention 更低。

它不是对 Attention 做一点修改，而是真的采用了另一种处理序列的方式：

Transformer: token ↔ token through Attention
Mamba: token → hidden state → hidden state

Mamba 的一个重要目标，就是降低 Attention 在长序列上的计算成本，使计算量可以随着序列长度近似线性增长。

如果按“是否真正更换模型骨架”来判断，Mamba 更接近真正的底层架构创新。

问题是，它目前还没有像 Transformer 在 2017 年以后那样，把整个行业的主流路线替换掉。

所以至少到现在，Transformer 的主导地位依然非常强。

怎么评价这个梗图

如果简单打个分：

更准确的描述应该是：

过去 8～9 年真正特别的地方，不是 AI 没有创新，而是 Transformer 这个基础架构异常耐用。大量最重要的进步发生在规模、数据、训练、推理和计算系统上，而不是不断更换神经网络的基础架构。

这也带来了一个更值得继续追问的问题：

我们现在到底是在接近 Transformer 的上限，还是无意中找到了一种可以沿用很多年的通用架构？

这件事现在还没有答案。

如果以后真的再出现一次 Transformer 级别的突破，它可能不会只是把 Attention 的公式改一改。

更大的变化，可能来自对现在几个基本假设的改变：

• 固定参数模型：模型训练结束以后，核心参数基本不再变化。未来的模型是否仍然必须如此？
• Context Window：现在模型主要依赖一次输入中的上下文来获得临时信息。未来是否会有更自然、更长期的记忆机制？
• Token-by-token 推理：现在绝大多数语言模型仍然是一个 token 接一个 token 地生成结果。未来是否一定还要这样？

如果这些基本假设中的某一个被真正改掉，也许才会再次出现一次类似 2017 年的变化。

到那个时候，“AI then / AI now” 这张图，可能就真的要重新画了。