Microsoft WizardCoder Python 34B: Complete Benchmark Performance Guide

other wizardcoder-python-34b 2023-08-17 Llama 2 Community License

In-depth analysis of Microsoft WizardCoder Python 34B performance on MMLU, HumanEval, GSM8K, MATH, BBH benchmarks, including pricing and use cases.

Key Specifications

Vendorother
Versionwizardcoder-python-34b
Release Date2023-08-17
Context Window16384 tokens
Input Modalitiestext
Output Modalitiestext
LicenseLlama 2 Community License
Documentationhttps://huggingface.co/models

Benchmark Performance

BenchmarkScoreUnitEvaluated AtNotesSource
MMLU60%2023-08-175-shotview
HUMANEVAL79.8pass@12023-08-17—view
GSM8K46.7%2023-08-170-shot CoTview
MATH40.6%2023-08-170-shot CoTview
BBH67.2%2023-08-173-shot CoTview
GPQA36.6%2023-08-170-shotview
IFEVAL53.8%2023-08-17prompt_strictview
ARC91.2%2023-08-17challengeview
MUSR53.1%2023-08-170-shotview
WINOGRANDE70.4%2023-08-170-shotview

Pricing

TierPriceCurrency
Input$0.5 / MtokUSD
Output$0.5 / MtokUSD
Cache Read$0 / MtokUSD
Cache Write$0 / MtokUSD

Source: https://huggingface.co/models · as of 2023-08-17

Compliance

  • Data Residency: self-host
  • SOC2: ✗
  • HIPAA: ✗
  • GDPR: ✗
  • ISO 27001: ✗

Microsoft WizardCoder Python 34B

Tổng quan mô hình

Microsoft WizardCoder Python 34B 代码模型, 16K 上下文, 基于 Code Llama 34B, Python 代码生成突出。

Thông số kỹ thuật cốt lõi

Nhà cung cấpPhiên bảnNgày phát hànhCửa sổ ngữ cảnhPhương thức đầu vàoPhương thức đầu raGiấy phép
Otherwizardcoder-python-34b2023-08-1716KtexttextLlama 2 Community License

Hiệu suất benchmark

BenchmarkĐiểmĐơn vịGhi chú
MMLU (Massive Multitask Language Understanding)60.0%5-shot
HumanEval79.8pass@1—
GSM8K (Grade School Math 8K)46.7%0-shot CoT
MATH40.6%0-shot CoT
BBH (BIG-Bench Hard)67.2%3-shot CoT
GPQA36.6%0-shot
IFEval53.8%prompt_strict
ARC91.2%challenge
MUSR53.1%0-shot
WinoGrande70.4%0-shot

Giá

Đầu vàoĐầu raĐọc bộ nhớ đệmGhi bộ nhớ đệm
————

mỗi triệu token

Điểm mạnh

  • 可靠的通用模型。

Điểm yếu

  • 闭源专有模型，不支持自托管。
  • 上下文窗口 16K 偏小。

Trường hợp sử dụng

  • 代码生成与调试

Tham chiếu