Baichuan2 13B Chat: Complete Benchmark Performance Guide

other baichuan2-13b-chat 2023-09-06 Baichuan 2 License

In-depth analysis of Baichuan2 13B Chat performance on MMLU, HumanEval, GSM8K, MATH, BBH benchmarks, including pricing and use cases.

Key Specifications

Vendorother
Versionbaichuan2-13b-chat
Release Date2023-09-06
Context Window4096 tokens
Input Modalitiestext
Output Modalitiestext
LicenseBaichuan 2 License
Documentationhttps://huggingface.co/models

Benchmark Performance

BenchmarkScoreUnitEvaluated AtNotesSource
MMLU58.6%2023-09-065-shotview
HUMANEVAL49.6pass@12023-09-06—view
GSM8K41%2023-09-060-shot CoTview
MATH23.4%2023-09-060-shot CoTview
BBH64.2%2023-09-063-shot CoTview
GPQA34.7%2023-09-060-shotview
IFEVAL48.5%2023-09-06prompt_strictview
ARC83.2%2023-09-06challengeview
MUSR37.9%2023-09-060-shotview
WINOGRANDE69.5%2023-09-060-shotview

Pricing

TierPriceCurrency
Input$0.3 / MtokUSD
Output$0.3 / MtokUSD
Cache Read$0 / MtokUSD
Cache Write$0 / MtokUSD

Source: https://huggingface.co/models · as of 2023-09-06

Compliance

  • Data Residency: self-host
  • SOC2: ✗
  • HIPAA: ✗
  • GDPR: ✗
  • ISO 27001: ✗

Baichuan2 13B Chat

Tổng quan mô hình

百川智能 Baichuan2 13B Chat 对话模型, 4K 上下文, 中英双语能力突出, 适合中文场景部署。

Thông số kỹ thuật cốt lõi

Nhà cung cấpPhiên bảnNgày phát hànhCửa sổ ngữ cảnhPhương thức đầu vàoPhương thức đầu raGiấy phép
Otherbaichuan2-13b-chat2023-09-064KtexttextBaichuan 2 License

Hiệu suất benchmark

BenchmarkĐiểmĐơn vịGhi chú
MMLU (Massive Multitask Language Understanding)58.6%5-shot
HumanEval49.6pass@1—
GSM8K (Grade School Math 8K)41.0%0-shot CoT
MATH23.4%0-shot CoT
BBH (BIG-Bench Hard)64.2%3-shot CoT
GPQA34.7%0-shot
IFEval48.5%prompt_strict
ARC83.2%challenge
MUSR37.9%0-shot
WinoGrande69.5%0-shot

Giá

Đầu vàoĐầu raĐọc bộ nhớ đệmGhi bộ nhớ đệm
————

mỗi triệu token

Điểm mạnh

  • 可靠的通用模型。

Điểm yếu

  • MMLU 仅 58.6，知识推理偏弱。
  • HumanEval 49.6，代码能力较弱。
  • 闭源专有模型，不支持自托管。
  • 上下文窗口 4K 偏小。

Trường hợp sử dụng

  • 通用对话与问答

Tham chiếu