Qwen2.5 72B: Complete Benchmark Performance Guide

alibaba 2.5-72b 2024-09-19 Qwen License

In-depth analysis of Qwen2.5 72B performance on MMLU, HumanEval, GSM8K, MATH, BBH benchmarks, including pricing and use cases.

Key Specifications

Vendoralibaba
Version2.5-72b
Release Date2024-09-19
Context Window131072 tokens
Input Modalitiestext
Output Modalitiestext
LicenseQwen License
Documentationhttps://qwenlm.github.io/

Benchmark Performance

BenchmarkScoreUnitEvaluated AtNotesSource
MMLU86.1%2024-09-195-shotview
HUMANEVAL86.6pass@12024-09-19—view
GSM8K88.4%2024-09-190-shot CoTview
MATH83.1%2024-09-190-shot CoTview
BBH82.4%2024-09-193-shot CoTview

Pricing

TierPriceCurrency
Input$0.5 / MtokUSD
Output$0.8 / MtokUSD
Cache Read$0 / MtokUSD
Cache Write$0 / MtokUSD

Source: https://help.aliyun.com/zh/model-studio/getting-started/models · as of 2024-09-19

Compliance

  • Data Residency: CN
  • SOC2: ✗
  • HIPAA: ✗
  • GDPR: ✗
  • ISO 27001: ✗

Qwen2.5 72B

Tổng quan mô hình

阿里巴巴通义千问 Qwen2.5 72B 开源模型，131K 上下文窗口，在中文理解、代码生成与数学推理上表现突出，是当前最强的中文开源模型之一。

Thông số kỹ thuật cốt lõi

Nhà cung cấpPhiên bảnNgày phát hànhCửa sổ ngữ cảnhPhương thức đầu vàoPhương thức đầu raGiấy phép
Alibaba2.5-72b2024-09-19131KtexttextQwen License

Hiệu suất benchmark

BenchmarkĐiểmĐơn vịGhi chú
MMLU (Massive Multitask Language Understanding)86.1%5-shot
HumanEval86.6pass@1—
GSM8K (Grade School Math 8K)88.4%0-shot CoT
MATH83.1%0-shot CoT
BBH (BIG-Bench Hard)82.4%3-shot CoT

Giá

Đầu vàoĐầu raĐọc bộ nhớ đệmGhi bộ nhớ đệm
————

mỗi triệu token

Điểm mạnh

  • MMLU score 86.1, strong knowledge reasoning.
  • HumanEval 86.6, excellent code generation.
  • GSM8K 88.4, robust math reasoning.

Điểm yếu

  • 闭源专有模型，不支持自托管。

Trường hợp sử dụng

  • 代码生成与调试

Tham chiếu