Qwen2.5 14B: Complete Benchmark Performance Guide

alibaba 2.5-14b 2024-09-19 Qwen License

In-depth analysis of Qwen2.5 14B performance on MMLU, HumanEval, GSM8K, MATH, BBH benchmarks, including pricing and use cases.

Key Specifications

Vendoralibaba
Version2.5-14b
Release Date2024-09-19
Context Window131072 tokens
Input Modalitiestext
Output Modalitiestext
LicenseQwen License
Documentationhttps://qwenlm.github.io/

Benchmark Performance

BenchmarkScoreUnitEvaluated AtNotesSource
MMLU75.4%2024-09-195-shotview
HUMANEVAL72pass@12024-09-19—view
GSM8K84%2024-09-190-shot CoTview
MATH38.8%2024-09-190-shot CoTview
BBH72.2%2024-09-193-shot CoTview
GPQA44.5%2024-09-190-shotview
IFEVAL74.1%2024-09-19prompt_strictview
ARC94.2%2024-09-19challengeview
MUSR50.5%2024-09-190-shotview
WINOGRANDE84.7%2024-09-190-shotview

Pricing

TierPriceCurrency
Input$0.25 / MtokUSD
Output$0.35 / MtokUSD
Cache Read$0 / MtokUSD
Cache Write$0 / MtokUSD

Source: https://help.aliyun.com/zh/model-studio/getting-started/models · as of 2024-09-19

Compliance

  • Data Residency: CN
  • SOC2: ✗
  • HIPAA: ✗
  • GDPR: ✗
  • ISO 27001: ✗

Qwen2.5 14B

Tổng quan mô hình

阿里巴巴 Qwen2.5 14B 开源中型模型, 131K 上下文, 平衡性能与资源, 适合企业级部署。

Thông số kỹ thuật cốt lõi

Nhà cung cấpPhiên bảnNgày phát hànhCửa sổ ngữ cảnhPhương thức đầu vàoPhương thức đầu raGiấy phép
Alibaba2.5-14b2024-09-19131KtexttextQwen License

Hiệu suất benchmark

BenchmarkĐiểmĐơn vịGhi chú
MMLU (Massive Multitask Language Understanding)75.4%5-shot
HumanEval72.0pass@1—
GSM8K (Grade School Math 8K)84.0%0-shot CoT
MATH38.8%0-shot CoT
BBH (BIG-Bench Hard)72.2%3-shot CoT
GPQA44.5%0-shot
IFEval74.1%prompt_strict
ARC94.2%challenge
MUSR50.5%0-shot
WinoGrande84.7%0-shot

Giá

Đầu vàoĐầu raĐọc bộ nhớ đệmGhi bộ nhớ đệm
————

mỗi triệu token

Điểm mạnh

  • 可靠的通用模型。

Điểm yếu

  • 闭源专有模型，不支持自托管。

Trường hợp sử dụng

  • 代码生成与调试

Tham chiếu