服务

评测与基准

独立的高棉语测试集和人工评分,在客户发现问题之前,告诉您语音、OCR、语音合成或聊天模型的真实表现。

已是客户?打开互动演示 →

服务内容

  • 语音识别 WER / CER 测试集
  • 高棉语文档和招牌的 OCR 准确率
  • 人工评估聊天回答的准确性、流畅度和安全性
  • 按地区、年龄、性别和设备进行偏差检查
  • 供应商和模型并排对比

交付样例

基准测试摘要示例(数字仅供说明)。

示例仅供说明。免费试点时提供真实样本。

Khmer ASR benchmark · conversational test set (6.2 h, 140 speakers)

model            WER      CER     noisy WER
vendor_a        18.4%    9.1%      27.9%
vendor_b        14.2%    7.3%      21.6%
your_model_v3   11.7%    5.8%      16.4%

weakest region: Ratanakiri (+6.1 pts)
weakest device: feature phone (+4.8 pts)

服务流程

  1. 1

    定义

    明确对您的产品而言什么是“好”,以及哪些指标重要。

  2. 2

    构建

    构建模型从未见过的独立测试集。

  3. 3

    评分

    自动指标加高棉语母语人工评审。

  4. 4

    报告

    清晰的结果、错误示例和建议。

常见问题

测试集会保密吗?

会。测试集保持独立,结果才可信;定制项目的测试集归您所有。

可以比较多个供应商吗?

可以。我们用同一测试集测试每个模型,并并排报告结果。

多久应该重新测试一次?

每次模型更新后,或每季度一次。很多客户保留固定基准来跟踪进展。