Yi 1.5 6B: Complete Benchmark Performance Guide

other yi-1-5-6b 2024-05-13 Apache 2.0

In-depth analysis of Yi 1.5 6B performance on MMLU, HumanEval, GSM8K, MATH, BBH benchmarks, including pricing and use cases.

Key Specifications

Vendorother
Versionyi-1-5-6b
Release Date2024-05-13
Context Window4096 tokens
Input Modalitiestext
Output Modalitiestext
LicenseApache 2.0
Documentationhttps://huggingface.co/models

Benchmark Performance

BenchmarkScoreUnitEvaluated AtNotesSource
MMLU61.1%2024-05-135-shotview
HUMANEVAL63.1pass@12024-05-13—view
GSM8K70.4%2024-05-130-shot CoTview
MATH44.5%2024-05-130-shot CoTview
BBH70.5%2024-05-133-shot CoTview
GPQA29.2%2024-05-130-shotview
IFEVAL58.8%2024-05-13prompt_strictview
ARC86.2%2024-05-13challengeview
MUSR46.6%2024-05-130-shotview
WINOGRANDE74.5%2024-05-130-shotview

Pricing

TierPriceCurrency
Input$0.15 / MtokUSD
Output$0.15 / MtokUSD
Cache Read$0 / MtokUSD
Cache Write$0 / MtokUSD

Source: https://huggingface.co/models · as of 2024-05-13

Compliance

  • Data Residency: self-host
  • SOC2: ✗
  • HIPAA: ✗
  • GDPR: ✗
  • ISO 27001: ✗

Yi 1.5 6B

Tổng quan mô hình

01.AI Yi 1.5 6B 轻量开源模型, 4K 上下文, 6B 参数, 适合资源受限设备部署。

Thông số kỹ thuật cốt lõi

Nhà cung cấpPhiên bảnNgày phát hànhCửa sổ ngữ cảnhPhương thức đầu vàoPhương thức đầu raGiấy phép
Otheryi-1-5-6b2024-05-134KtexttextApache 2.0

Hiệu suất benchmark

BenchmarkĐiểmĐơn vịGhi chú
MMLU (Massive Multitask Language Understanding)61.1%5-shot
HumanEval63.1pass@1—
GSM8K (Grade School Math 8K)70.4%0-shot CoT
MATH44.5%0-shot CoT
BBH (BIG-Bench Hard)70.5%3-shot CoT
GPQA29.2%0-shot
IFEval58.8%prompt_strict
ARC86.2%challenge
MUSR46.6%0-shot
WinoGrande74.5%0-shot

Giá

Đầu vàoĐầu raĐọc bộ nhớ đệmGhi bộ nhớ đệm
————

mỗi triệu token

Điểm mạnh

  • 可靠的通用模型。

Điểm yếu

  • 闭源专有模型，不支持自托管。
  • 上下文窗口 4K 偏小。

Trường hợp sử dụng

  • 通用对话与问答

Tham chiếu