Key Specifications

Benchmark Performance

Benchmark	Score	Unit	Evaluated At	Notes	Source
MMLU	64.4	%	2024-03-23	5-shot	view
HUMANEVAL	59.7	pass@1	2024-03-23	—	view
GSM8K	56.2	%	2024-03-23	0-shot CoT	view
MATH	25.9	%	2024-03-23	0-shot CoT	view
BBH	71.3	%	2024-03-23	3-shot CoT	view
GPQA	33.9	%	2024-03-23	0-shot	view
IFEVAL	59.2	%	2024-03-23	prompt_strict	view
ARC	85.5	%	2024-03-23	challenge	view
MUSR	36.7	%	2024-03-23	0-shot	view
WINOGRANDE	71.7	%	2024-03-23	0-shot	view

Name: Mistral 7B v0.2
Brand: mistral

Mistral 7B v0.2 开源模型, 32K 上下文, 扩展上下文窗口, 改进推理, 适合通用任务。

Nhà cung cấp	Phiên bản	Ngày phát hành	Cửa sổ ngữ cảnh	Phương thức đầu vào	Phương thức đầu ra	Giấy phép
Mistral	7b-v0.2	2024-03-23	32K	text	text	Apache 2.0

Benchmark	Điểm	Đơn vị	Ghi chú
MMLU (Massive Multitask Language Understanding)	64.4	%	5-shot
HumanEval	59.7	pass@1	—
GSM8K (Grade School Math 8K)	56.2	%	0-shot CoT
MATH	25.9	%	0-shot CoT
BBH (BIG-Bench Hard)	71.3	%	3-shot CoT
GPQA	33.9	%	0-shot
IFEval	59.2	%	prompt_strict
ARC	85.5	%	challenge
MUSR	36.7	%	0-shot
WinoGrande	71.7	%	0-shot

Đầu vào	Đầu ra	Đọc bộ nhớ đệm	Ghi bộ nhớ đệm
—	—	—	—

mỗi triệu token