站在中国肩膀上的成就？美初创公司声称突破阻碍大模型发展的瓶颈

十大品牌 2026年06月21日 21:00 0 admin

迈阿密的人工智能初创公司Subquadratic在2026年5月正式结束隐身模式，抛出了一个让整个人工智能行业坐不住的说法。

它宣称，自己已经解决了困扰大型语言模型近十年的一个数学瓶颈，也就是Transformer架构里那个所谓的二次方注意力问题。

最初公开的细节并不多，所以很多人持怀疑态度。

但根据《麻省理工科技评论》6月19日的最新报道，这家公司开始拿出第三方的独立评估结果，部分数据看起来确实值得严肃对待。

这家公司是在2026年5月5日带着2900万美元种子轮融资走到台前的。

创始人兼CEO是连续创业者Justin Dangel，联合创始人兼CTO是前Meta工程师Alexander Whedon。

投资方包括Tinder联合创始人Justin Mateen，以及曾投资过Anthropic和OpenAI的几位早期投资人。

二次方瓶颈到底是什么

要理解Subquadratic的说法为什么有分量，得先讲清楚现在的大语言模型是怎么算账的。

今天几乎所有主流的大模型，无论是OpenAI的GPT，谷歌DeepMind的Gemini，还是Anthropic的Claude，底层都用着同一种叫Transformer的神经网络架构。

Transformer的核心机制叫稠密注意力，它会把输入文本里的每一个词跟其他所有词都做一次比较。

这种比较方式很彻底，但代价很重。

输入文本一旦翻倍，计算量大致就会变成原来的四倍，这就是所谓的"二次方扩展"。

正是这个特性，让长文本处理一直是大语言模型最烧钱、最耗电的环节。

Subquadratic的核心思路，是用一种叫"次二次方选择性注意力"的稀疏注意力机制取代稠密注意力。

简单说，模型不再比对所有词对，而是根据内容动态挑选出真正相关的词对来计算。

这个思路并不新，业界已经有不少团队尝试过稀疏注意力，但此前没有人能在质量上追上稠密注意力。

公布的数据和遗留的疑点

Subquadratic公布的几个关键数字相当抢眼。

公司声称，SubQ模型支持高达1200万token的上下文窗口，大约相当于900万个英文单词，或者120本书的体量。

在1百万token的速度测试中，SubQ的注意力机制据称比谷歌DeepMind的FlashAttention快52倍。

在RULER 128K这一长文本基准测试中，SubQ拿到95%的准确率，与Claude Opus 4.6的94.8%几乎打平。

但真正引发议论的是成本数字。

公司告诉SiliconANGLE，跑同样的RULER 128K测试，SubQ的成本是8美元，而Claude Opus 4.6需要约2600美元。

在编码任务上，SubQ在LiveCodeBench上据称拿到89.7%，在SWE-Bench Verified上拿到81.8%，跟Opus 4.6的80.8%基本持平。

公司还请了第三方评估机构Appen来复核基准成绩，Appen生成式人工智能研究总监Jeanine Sinanan-Singh形容这些结果"可能是游戏规则的改变者"。

不过，质疑声同样密集。

最核心的一个问题是：SubQ并不是从零开始训练的。

Whedon在X平台上确认，公司是在中国开源模型Qwen的权重基础上，替换了自己的稀疏注意力机制，再做的训练。

这种做法本身在业内很常见，但和"完全重新定义LLM架构"这种宣传口径放在一起，就显得有些尴尬。

曾在OpenAI工作的独立研究员Will Depue评论说，公司可能真的做出了实用的东西，但目前公开的证据还不足以支撑"已经解决二次方注意力瓶颈"这种更强的论断。

另一个被指出的疑点是研究模型和生产模型之间的差距。

在MRCR v2这一多文档检索基准上，研究版的SubQ得分83，而经第三方验证的生产版本只有65.9。

这17分的落差至今没有得到完整解释，让人不得不怀疑：从实验室搬到实际产品中，到底牺牲了多少精度。

人工智能评论员Dan McAteer在社交平台上的话流传很广，他写道：SubQ要么是Transformer之后最大的突破，要么就是人工智能版的Theranos。

为什么这件事值得关注

抛开数字的争议不谈，Subquadratic所瞄准的方向其实是整个人工智能行业最迫切的问题之一。

随着AI Agent类应用兴起，长上下文处理的需求暴涨，而二次方扩展带来的算力和能耗成本，正在变成所有大模型公司的共同枷锁。

如果稀疏注意力真的能在保持质量的前提下，把长文本处理的成本压低一两个数量级，那意味着代码库级别的编码代理、整套合同的法律分析、海量文档的科学综述，都将从"理论可行"变成"经济上划得来"。

这也是Justin Dangel在采访中那句话的底气，他说Subquadratic希望开启一个效率新时代，他不认为几年后还会有人在Transformer之上继续搭建系统。

不过谨慎的观察者更愿意等等看。

SubQ目前只对500多家企业开放私有测试版，没有公开技术论文，权重也不开源，API定价也未对外公开。

正如一位开发者在社交平台上的犀利发问：如果SubQ真的把算力减少1000倍，成本只有Opus的不到5%，公司为什么还要靠"早期访问计划"控制流量？

接下来几个月里，社区基准测试一旦放开，独立研究者跑出来的数据将决定这家公司究竟是写下了Transformer之后的新一章，还是给2026年的AI炒作史又添上一笔注脚。

无论结果如何，Subquadratic已经把整个行业的目光，重新拉回了那个被大家暂时搁置的老问题：注意力机制，真的非要这么算账吗？

华为WiFi 7专利费只收0.5美元，但这件事的意义远不止3块5

实测辅助“微信三公辅助软件下载”（详细透视教程）-哔哩哔哩

发表评论