大语言模型参数规模、架构范式与用户数量估算方法研究

1. 引言：研究背景与目标

自 2017 年 Transformer 架构提出以来，大语言模型（LLM）经历了指数级发展。模型参数从 BERT 的 1.1 亿增长到最新模型的数万亿级别，架构从单一的编码器-解码器演化为多种范式并存，用户规模从学术研究走向数亿级大众市场。在这一背景下，如何准确评估模型的真实能力、架构特点与用户规模，成为产品决策、投资判断和学术研究的核心问题。

本报告围绕三个核心维度展开调研：

1. 模型参数规模：主流模型的参数量级、披露策略与间接估算方法
2. 模型架构：Transformer 三大范式（Encoder-only / Decoder-only / Encoder-Decoder）、MoE 稀疏架构、注意力机制变体（MHA/MQA/GQA/MLA）、FFN 变体（SwiGLU/GeGLU）、归一化与位置编码方法，以及 RWKV、Mamba 等新型结构
3. 用户数量估算：在缺乏官方披露的情况下，如何通过多源数据交叉验证来间接推断日活用户数与调用量

2. 模型参数规模：现状、对比与估算方法

2.1 主流模型参数对比

大语言模型的参数规模在过去三年中持续增长。以下为截至 2026 年 8 月主流模型的参数规模对比：

2.2 参数估算方法论

当公司选择不公开参数规模时，研究者发展出了多种间接估算方法：

方法一：API 定价回归法

模型 API 的输入/输出定价与参数规模存在近似正相关关系。通过收集多个已知参数模型的定价数据，建立回归模型，可对未公开模型进行参数估算。该方法的精度受市场策略影响较大，置信区间通常较宽。

方法二：IKP（Incompressible Knowledge Probes）

通过向模型输入精心设计的"不可压缩知识探针"（如特定事实性问题），测量模型的回答质量。参数量更大的模型通常能记忆更多事实，在特定探针测试上表现更好。该方法由 Epoch AI 等研究机构推动，常用于估算 GPT-5.5 等未公开模型的活跃参数规模。

方法三：内存与推理速度反推

通过分析模型在特定硬件上的推理速度、显存占用和上下文长度，结合已知的架构假设（如层数、隐藏维度），反向推算参数规模。该方法需要对模型架构有较强的假设，适用于开源或半开源模型。

2.3 MoE 架构的参数特殊性

混合专家（Mixture of Experts, MoE）架构的兴起使得"总参数量"与"活跃参数量"之间出现了显著差异。以 DeepSeek V4-Pro 为例，其总参数量约 1.6T，但每个 token 只激活约 49B 参数，实际计算量远小于总参数量所暗示的规模。这种设计在保持模型容量的同时大幅降低了推理成本，但也使得不同模型之间的参数量对比失去了直接意义。

3. 模型架构：Transformer 范式、变体与新兴结构

3.1 Transformer 基础架构回顾

2017 年，Google 在论文《Attention Is All You Need》中提出 Transformer 架构，核心组件为自注意力机制（Self-Attention）与前馈神经网络（FFN）。经过近十年发展，Transformer 衍生出多种变体。以下从四个核心维度——注意力机制、前馈网络、归一化方法和位置编码——深入剖析现代 LLM 的架构细节。

3.1.1 注意力机制详解：从 MHA 到 MLA

自注意力机制是 Transformer 的核心算子。其基本形式为：将输入序列映射为 Query（Q）、Key（K）、Value（V）三个矩阵，通过计算 Q 与 K 的相似度得到注意力权重，再对 V 加权求和。不同注意力变体的核心差异在于多头的 Q/K/V 投影方式以及由此产生的 KV Cache 显存开销差异。

四种注意力变体对比

MLA 的数学原理

MLA 的核心思想是将 K 和 V 投影矩阵进行低秩分解。传统 MHA 中，K = W_K · x，V = W_V · x，其中 W_K 和 W_V 的维度为 d × d。MLA 将其分解为：K = W_K^D · W_K^U · x，V = W_V^D · W_V^U · x，其中 W_K^D 和 W_V^D 是共享的低维投影矩阵。这样，KV Cache 只需要存储低维的压缩表示，而非完整的 K 和 V 向量。

2025 年的 TransMLA 论文（arxiv 2502.07864）进一步证明了 GQA 可以被表示为 MLA 的一种特例，统一了二者的数学框架。

3.1.2 前馈网络（FFN）变体：从标准 FFN 到 SwiGLU

Transformer 中的 FFN 层通常由两个线性变换和一个非线性激活函数组成，是模型容量的主要来源。标准 FFN 的形式为：

不同 FFN 变体的核心差异在于激活函数和是否引入门控机制：

其中 SwiGLU 的核心优势在于：在相同计算量下，门控机制允许模型更有效地选择性激活神经元，从而在相同 FLOPs 下获得更好的性能。实验表明，SwiGLU 相比 Standard FFN 在相同模型规模下 perplexity 降低约 5-10%。

3.1.3 归一化方法：RMSNorm、DeepNorm 与 QK-Norm

归一化层在 Transformer 的稳定训练中扮演关键角色。不同归一化方法的计算开销和训练稳定性各有差异：

当前趋势：RMSNorm 已成为现代 LLM 的事实标准，几乎所有主流 decoder-only 模型（Llama、DeepSeek、Mistral、Gemma）都采用 RMSNorm 替代 LayerNorm，以减少约 15-20% 的归一化计算开销。QK-Norm 则在训练稳定性要求较高的场景中被采用。

3.1.4 位置编码方法：RoPE、ALiBi、YaRN 与 NoPE

由于 Transformer 的自注意力机制本身不感知序列顺序，位置编码是注入序列顺序信息的关键组件。以下是主流位置编码方法的对比：

当前趋势：RoPE 是 2024-2025 年 decoder-only 模型的绝对主流，几乎所有主流模型（Llama、Qwen、DeepSeek、Mistral）都采用 RoPE。其优势在于相对位置编码的自然性——两个 token 之间的注意力只取决于它们的相对距离，与绝对位置无关。YaRN 进一步通过 NTK 感知的频率缩放，使 RoPE 可以外推到远超训练长度的上下文（例如从 4K 训练扩展到 128K 推理）。

3.2 三大 Transformer 范式

根据编码器-解码器的使用方式，Transformer 架构可分为三大范式：

3.3 MoE（混合专家） vs Dense（稠密架构）

除编码器-解码器范式外，模型的另一关键架构差异在于 FFN 层的设计：

3.4 新型架构：RWKV、Mamba、Hyena 与混合结构

除 Transformer 及其变体外，研究者提出了多种新型架构，试图解决 Transformer 的二次复杂度问题：

混合架构：后 Transformer 时代的方向

纯 SSM/RNN 架构在某些场景下仍有局限性（如精确的上下文检索）。因此，将 Transformer 注意力层与 SSM/RNN 层交替堆叠的混合架构成为新的研究热点：

3.5 主要模型家族版本演进与参数对比

了解各大公司模型家族的版本演进路径，有助于理解技术竞争格局和架构选型趋势。本节梳理了 2023-2026 年间 8 个主要模型家族的版本历史、参数规模变化和架构演进路线。

3.5.1 模型家族概览

截至 2026 年 8 月，主要商业/开源模型家族呈现以下发展态势：

3.5.2 各家族版本演进详情

GPT 家族（OpenAI）

作为行业标杆，GPT 系列经历了从 117M 到估计 1.76T 参数的跨越，始终引领技术潮流：

Claude 家族（Anthropic）

Anthropic 坚持 Dense Transformer 路线，不采用 MoE 架构，以安全对齐和长上下文见长：

Gemini 家族（Google DeepMind）

以原生多模态和超长上下文为核心竞争力，从 1.0 到 3.7 持续迭代：

Llama 家族（Meta）

从完全开源到引入 MoE 架构，Llama 系列是开源生态的基石：

Qwen 家族（Alibaba）

迭代最密集的开源家族，从文本到全模态，从 Dense 到 MoE 混合架构：

DeepSeek 家族

以 MLA 注意力机制和极致性价比著称，开源 MoE 模型的标杆：

Mistral 家族（Mistral AI）

欧洲 AI 独角兽，以架构创新著称——Sliding Window Attention 和 MoE 的早期采用者：

Grok 家族（xAI）

Elon Musk 入局 AI 的载体，以超大上下文和 X 平台深度整合为特色：

3.5.3 模型家族参数演进图表

3.5.4 关键洞察

4. 用户数量估算：间接方法与数据源 Triangulation

4.1 核心问题：为什么需要间接估算？

大多数 AI 公司选择不公开其模型的准确日活用户数（DAU）或月活用户数（MAU），原因包括：商业竞争、监管敏感、以及用户定义的模糊性（如何定义"用户"？API 调用算吗？）。因此，行业研究者和产品经理需要掌握一套间接估算方法，通过多源数据交叉验证来推断真实用户规模。

4.2 主要间接估算方法

4.3 各数据源详细分析

方法一：SimilarWeb / 网页流量监测

通过第三方网页流量监测平台（如 SimilarWeb、Alexa）获取模型的网页端访问量，结合行业平均的访问-to-DAU 转换率进行估算。例如，ChatGPT 网页端月访问量约 30 亿次，假设 30% 的访问来自独立用户且用户月均访问 10 次，可估算 DAU 约 3000 万。

优点：数据公开可获取，时间序列完整；局限：仅覆盖网页端，遗漏移动端和 API 用户，且第三方监测数据存在偏差。

方法二：Sensor Tower / 移动端数据

通过 Sensor Tower 等移动应用监测平台获取 App Store 和 Google Play 的下载量与活跃用户数据。例如，ChatGPT App 在 2025 年底的月下载量约 5000 万，结合用户留存曲线可估算 DAU。

优点：移动端数据相对准确；局限：仅覆盖移动端用户，且 Sensor Tower 数据为付费服务。

方法三：OpenRouter / API 平台数据

OpenRouter 是一个模型 API 聚合平台，其周处理 token 量（2025 年约 25T tokens/周）是衡量模型调用量的重要指标。通过分析各模型在 OpenRouter 上的市场份额变化，可以间接推断不同模型的相对用户规模和增长趋势。

优点：直接反映 API 调用量；局限：仅覆盖通过 OpenRouter 的调用，不包含直接调用。

方法四：GitHub 生态指标

对于开源模型，GitHub Stars、Forks、下载量是衡量开发者采用程度的直接指标。HuggingFace 的模型下载量也是重要参考。例如，DeepSeek 模型的 HuggingFace 月下载量在 2025 年 12 月达到 2000 万次。

优点：数据公开透明；局限：仅反映开发者社区规模，不直接等于终端用户数。

方法五：WAU-to-DAU 转换率模型

基于行业基准建立周活-to-日活转换模型。对于强粘性的生产力工具，WAU/DAU 比率通常在 2-4 之间；对于低频使用的工具，比率可能超过 10。通过获取月活或周活数据后，可结合产品类型估算日活规模。

方法六：云计算平台流量分析

通过 Cloudflare、Akamai 等 CDN/边缘计算平台的公开数据，或通过分析模型的 API 响应延迟和带宽使用，间接推断调用量。Amazon Bedrock、Google Vertex AI 等平台偶尔会发布使用量统计。

4.4 估算方法对比

4.5 综合估算框架

在实际操作中，单一数据源的估算结果往往存在较大偏差。行业最佳实践是采用三角验证法（Triangulation），即同时使用至少三种独立数据源进行交叉验证：

1. 获取至少三个独立数据源的原始数据
2. 分别建立估算模型，得出三个独立的用户数量区间
3. 分析区间重叠部分，取其交集作为最可能的真实值范围
4. 对不重叠的部分，分析各数据源的系统性偏差来源

5. 总结与展望

5.1 核心发现

• 参数规模进入"万亿时代"：主流模型总参数量已普遍达到数百亿至数万亿级别，但 MoE 架构使得实际计算量远小于总参数量，单一参数对比的意义下降。
• 注意力机制持续演化：从 MHA 到 MQA、GQA、MLA，KV Cache 优化是核心驱动力。GQA 是当前主流，MLA 是前沿方向。
• Decoder-only 架构占据主导：GPT 范式凭借简洁性和生成能力成为通用 AI 的主流选择，但 Encoder-only 和 Encoder-Decoder 在特定任务中仍具优势。
• 架构组件趋于标准化：SwiGLU + RMSNorm + RoPE 已成为现代 LLM 的"黄金组合"。
• 新型架构崭露头角：RWKV、Mamba 等线性复杂度架构正在挑战 Transformer 的统治地位，混合架构可能是未来的演进方向。
• 用户估算需要三角验证：单一数据源无法准确反映用户规模，多源交叉验证是当前最可靠的方法论。

5.2 对产品经理的启示

• 评估模型时不应仅关注参数量，应结合 benchmark、推理成本、API 稳定性等综合维度。
• 理解架构差异有助于技术选型：GQA vs MLA 影响推理成本，RoPE vs ALiBi 影响长文本能力，SwiGLU vs Standard FFN 影响模型效率。
• 在选择模型架构时，应根据业务场景（理解 vs 生成 vs 翻译）选择合适范式，而非盲目跟风 Decoder-only。
• 用户规模评估应建立多源数据监测体系，避免过度依赖单一指标。

5.3 未来研究方向

• 更精确的参数估算方法（如基于知识探针的在线测量）
• 后 Transformer 时代架构的系统性对比基准
• 注意力机制的进一步优化（如动态路由注意力、稀疏注意力）
• 用户估算的自动化数据管道建设