Mistral 7B v0.3: Complete Benchmark Performance Guide

mistral 7b-v0.3 2024-05-22 Apache 2.0

In-depth analysis of Mistral 7B v0.3 performance on MMLU, HumanEval, GSM8K, MATH, BBH benchmarks, including pricing and use cases.

Key Specifications

Vendormistral
Version7b-v0.3
Release Date2024-05-22
Context Window32768 tokens
Input Modalitiestext
Output Modalitiestext
LicenseApache 2.0
Documentationhttps://docs.mistral.ai/

Benchmark Performance

BenchmarkScoreUnitEvaluated AtNotesSource
MMLU72.6%2024-05-225-shotview
HUMANEVAL68.8pass@12024-05-22—view
GSM8K69.4%2024-05-220-shot CoTview
MATH26.7%2024-05-220-shot CoTview
BBH60.5%2024-05-223-shot CoTview
GPQA31.2%2024-05-220-shotview
IFEVAL60.9%2024-05-22prompt_strictview
ARC88.9%2024-05-22challengeview
MUSR48.1%2024-05-220-shotview
WINOGRANDE72.7%2024-05-220-shotview

Pricing

TierPriceCurrency
Input$0.18 / MtokUSD
Output$0.18 / MtokUSD
Cache Read$0 / MtokUSD
Cache Write$0 / MtokUSD

Source: https://mistral.ai/technology/ · as of 2024-05-22

Compliance

  • Data Residency: EU
  • SOC2: ✓
  • HIPAA: ✗
  • GDPR: ✓
  • ISO 27001: ✓

Mistral 7B v0.3

Tổng quan mô hình

Mistral 7B v0.3 开源模型, 32K 上下文, 改进 v0.2, 扩展词汇表至 32768, 适合本地部署。

Thông số kỹ thuật cốt lõi

Nhà cung cấpPhiên bảnNgày phát hànhCửa sổ ngữ cảnhPhương thức đầu vàoPhương thức đầu raGiấy phép
Mistral7b-v0.32024-05-2232KtexttextApache 2.0

Hiệu suất benchmark

BenchmarkĐiểmĐơn vịGhi chú
MMLU (Massive Multitask Language Understanding)72.6%5-shot
HumanEval68.8pass@1—
GSM8K (Grade School Math 8K)69.4%0-shot CoT
MATH26.7%0-shot CoT
BBH (BIG-Bench Hard)60.5%3-shot CoT
GPQA31.2%0-shot
IFEval60.9%prompt_strict
ARC88.9%challenge
MUSR48.1%0-shot
WinoGrande72.7%0-shot

Giá

Đầu vàoĐầu raĐọc bộ nhớ đệmGhi bộ nhớ đệm
————

mỗi triệu token

Điểm mạnh

  • 可靠的通用模型。

Điểm yếu

  • 闭源专有模型，不支持自托管。

Trường hợp sử dụng

  • 通用对话与问答

Tham chiếu