Yi Large Turbo: Complete Benchmark Performance Guide

other yi-large-turbo 2024-07-24 Proprietary

In-depth analysis of Yi Large Turbo performance on MMLU, HumanEval, GSM8K, MATH, BBH benchmarks, including pricing and use cases.

Key Specifications

Vendorother
Versionyi-large-turbo
Release Date2024-07-24
Context Window16384 tokens
Input Modalitiestext
Output Modalitiestext
LicenseProprietary
Documentationhttps://huggingface.co/models

Benchmark Performance

BenchmarkScoreUnitEvaluated AtNotesSource
MMLU84.4%2024-07-245-shotview
HUMANEVAL72.4pass@12024-07-24—view
GSM8K81%2024-07-240-shot CoTview
MATH42.2%2024-07-240-shot CoTview
BBH76.4%2024-07-243-shot CoTview
GPQA38.2%2024-07-240-shotview
IFEVAL70.7%2024-07-24prompt_strictview
ARC95.6%2024-07-24challengeview
MUSR63.7%2024-07-240-shotview
WINOGRANDE82.3%2024-07-240-shotview

Pricing

TierPriceCurrency
Input$2 / MtokUSD
Output$2 / MtokUSD
Cache Read$0 / MtokUSD
Cache Write$0 / MtokUSD

Source: https://huggingface.co/models · as of 2024-07-24

Compliance

  • Data Residency: self-host
  • SOC2: ✗
  • HIPAA: ✗
  • GDPR: ✗
  • ISO 27001: ✗

Yi Large Turbo

Tổng quan mô hình

01.AI Yi Large Turbo 经济型旗舰, 16K 上下文, 速度快成本低, 性能接近 Yi Large。

Thông số kỹ thuật cốt lõi

Nhà cung cấpPhiên bảnNgày phát hànhCửa sổ ngữ cảnhPhương thức đầu vàoPhương thức đầu raGiấy phép
Otheryi-large-turbo2024-07-2416KtexttextProprietary

Hiệu suất benchmark

BenchmarkĐiểmĐơn vịGhi chú
MMLU (Massive Multitask Language Understanding)84.4%5-shot
HumanEval72.4pass@1—
GSM8K (Grade School Math 8K)81.0%0-shot CoT
MATH42.2%0-shot CoT
BBH (BIG-Bench Hard)76.4%3-shot CoT
GPQA38.2%0-shot
IFEval70.7%prompt_strict
ARC95.6%challenge
MUSR63.7%0-shot
WinoGrande82.3%0-shot

Giá

Đầu vàoĐầu raĐọc bộ nhớ đệmGhi bộ nhớ đệm
————

mỗi triệu token

Điểm mạnh

  • MMLU score 84.4, strong knowledge reasoning.

Điểm yếu

  • 闭源专有模型，不支持自托管。
  • 上下文窗口 16K 偏小。

Trường hợp sử dụng

  • 代码生成与调试
  • Agent 工作流与工具调用

Tham chiếu