导语：据悉，今朝阿里千问已经开源300多款模子，涵盖全模态、全尺寸，全世界下载量冲破7亿次，衍生模子跨越18万个，位居全世界第一。

11月28日动静，人工智能范畴顶级集会NeurIPS 2025宣布了论文奖，阿里通义千问团队最新研究结果从全世界2万多篇投稿论文中脱颖而出，被评为最好论文，是独一得到该奖项的中国团队。该论文初次于业内揭秘了留意力门控机制对于年夜模子机能及练习的影响，业内子士遍及认为该研究是冲破当下年夜模子练习瓶颈的主要一步，将有力鞭策AI年夜模子技能的成长。

阿里通义千问研究结果被评为NeurIPS 2025最好论文

NeurIPS是人工智能范畴影响力最年夜的顶会之一，该集会降生了Transformer、AlexNet等里程碑式研究结果。本年，google、微软、OpenAI、阿里巴巴和麻省理工学院等全世界顶尖科技公司及机构共有2万多篇论文投稿，仅有约25%的论文被吸收，而最好论文仅有4篇，入选几率不和万分之二，代表了今朝全世界人工智能范畴最有价值及影响力的研究。

2017年，google于NeurIPS发表的论文初次提出Transformer模子架谈判‌自留意力机制，这一研究让AI像人类同样具有有选择性地存眷要害信息的能力，是当下年夜模子研究的基础。只管此刻年夜模子于许多范畴已经经取患上靠近甚至逾越人类的体现，但现有留意力机制仍存于诸多局限，例如当下年夜模子会由于过分存眷特定信息而致使对于其它主要信息的纰漏或者处置惩罚误差，这些局限性极年夜地影响了模子机能及练习不变性，为此业界最先摸索对于留意力举行优化的新方案。

门控机制被认为是模子的“智能阀门”，可以帮忙模子过滤无效信息并晋升模子机能。最近几年来，AlphaFold二、Forgetting Transformer等学术界及工业界模子最先测验考试将门控及留意力机制联合。但业界还没有破解门控于留意力中阐扬作用的内涵缘故原由，也缺乏年夜范围实践的经验。

这次，通义千问研究团队经由过程于1.7B浓厚模子（Dense）与15B混淆专家模子（MoE）长进行了数十组试验，单组试验练习至多跨越 3.5 万亿 tokens，初次清楚揭秘了门控留意力暗地里的作用道理，并周全展示利用该方案的最好方式。

试验成果显示，对于各留意力头的输出举行门控，是晋升模子机能最有用的方式。利用该方式，于引入分外1%参数的环境下，可实现0.2以上的困惑度降落、MMLU基准评测2个点的晋升。研究还有发明，该技能还有能于更年夜范围的模子练习上实现更好的机能。

利用论文要领，于引入分外1%参数的环境下，可以实现0.2以上的困惑度降落、MMLU基准评测2个点的晋升

今朝，该研究结果已经运用在Qwen3-Next模子，并显著晋升模子的机能与鲁棒性，相干技能方案、试验模子和产物级模子均已经开源。NeurIPS评审委员会指出：“这项事情将被广泛运用，并极年夜鞭策AI研究职员对于年夜语言模子中留意力机制的理解。”

通义千问团队暗示：“对于门控留意力机制的深切理解，不仅为年夜语言模子架构设计提供了新思绪，也为构建更不变、更高效、更可控的年夜模子奠基了基础。”据悉，今朝阿里千问已经开源300多款模子，涵盖全模态、全尺寸，全世界下载量冲破7亿次，衍生模子跨越18万个，位居全世界第一。

雷峰网版权文章，未经授权禁止转载。详情见转载须知。