评测方法

AI 网络连接评测方法

「适合 AI」是一个容易被滥用的说法。本页说明我们如何把它拆成可测量的指标:测什么、什么时候测、怎样换算成分数,以及这些数据不能说明什么。

编辑:机场博客编辑部更新:评测方法:AI 网络连接评测

核心结论

  • AI 适用性评分由流式完成率、长任务完成率、晚高峰衰减、地区与出口四部分组成。
  • 测试分为全天时段与晚高峰时段,晚高峰结果权重更高。
  • 只有标注为「实测数据」的数值来自我们的测试;「示例数据」「示意数据」用于说明方法或展示数据结构。
  • 任何评测都受测试地点和运营商影响,结果只代表测试环境下的表现。

评分构成

组成部分 权重 测量方式
流式完成率 35% 发起需要较长流式输出的请求,统计完整接收的比例
长任务完成率 30% 运行固定脚本模拟编程代理的多轮请求,统计一次完成的比例
晚高峰衰减 20% 晚高峰与全天结果的差值,差值越小得分越高
地区与出口 15% 支持地区落地节点数量、测试期间出口 IP 的一致性

四个 AI 产品分别计算,得到 Claude、Codex、ChatGPT、Gemini 四个单项分;「AI 适用性」为四项平均值。

测试场景设计

流式输出测试

向 AI 服务的 API 发起请求,要求生成一段较长的文本,记录:

  • 首字时间(TTFT):从发出请求到收到第一段内容的时间;
  • 是否完整接收:连接是否在结束标记之前被断开;
  • 中途停顿:两段内容之间超过阈值的间隔次数。

长任务测试

用脚本模拟编程代理的行为:连续发起多轮请求,每一轮携带逐渐增长的上下文。只要任意一轮失败且重试后仍失败,即记为一次「任务中断」。

时段安排

  • 全天采样:每天均匀分布的多个时间点;
  • 晚高峰采样:20:00–23:00 加密采样。

晚高峰是国际出口最拥堵的时段,也是大多数用户下班后使用 AI 工具的时间,因此在评分中权重更高。

分数换算

完成率与分数之间不是线性关系。例如流式完成率从 90% 提高到 95%,对用户体验的改善远大于从 50% 提高到 55%。因此我们使用分段换算:

流式完成率与得分的换算关系(示意)示意数据
项目数值
完成率 99% 以上10 分
97% – 99%9 分
94% – 97%8 分
90% – 94%7 分
80% – 90%5.5 分
80% 以下4 分

示意数据:展示换算思路,具体分段会随测试样本量调整并在此页更新。

数据性质标注

站内所有图表和数据都会标注性质:

  • 实测数据:来自本页方法的实际测试;
  • 编辑评估:编辑依据品牌公开资料、线路类型与套餐做出的评分,尚未经过本页方法实测;
  • 示例数据:用于演示数据结构的占位数据,不代表真实服务;
  • 示意数据:用于解释概念或量级差异的说明性数值;
  • 公开资料:来自服务商官网或官方文档。

局限性

  1. 测试地点有限:结果反映的是测试节点所在城市和运营商的情况。
  2. 服务会变化:机场的线路和负载经常调整,评分只代表测试期间。
  3. 不覆盖账号问题:账号受限、地区政策等问题不在网络测试范围内。
  4. 不测内容质量:只评价网络连接,不评价 AI 模型。

更多通用评价维度见 机场品牌评测方法。

常见问题

你们会测试 AI 回复的质量吗?

不会。我们只测试网络连接层面的表现,例如连接是否中断、请求是否超时。回复质量取决于模型本身,与网络服务无关。

为什么不直接用测速数字评分?

客户端测速通常只测一次短连接延迟,无法反映长连接保持、晚高峰丢包和出口变化,而这些恰恰是影响 AI 工具体验的主要因素。

测试结果适用于我的网络吗?

只能作为参考。不同城市、运营商和宽带类型的表现可能差异很大,建议用月付套餐在自己的环境中验证。

资料来源与数据性质