Key Specifications

Benchmark Performance

Benchmark	Score	Unit	Evaluated At	Notes	Source
MMLU	73	%	2024-07-23	5-shot	view
HUMANEVAL	63.4	pass@1	2024-07-23	—	view
GSM8K	58.8	%	2024-07-23	0-shot CoT	view
MATH	31.1	%	2024-07-23	0-shot CoT	view
BBH	67.1	%	2024-07-23	3-shot CoT	view
GPQA	34.8	%	2024-07-23	0-shot	view
IFEVAL	62.1	%	2024-07-23	prompt_strict	view
ARC	87.4	%	2024-07-23	challenge	view
MUSR	41.7	%	2024-07-23	0-shot	view
WINOGRANDE	77.6	%	2024-07-23	0-shot	view

Source: https://ai.meta.com/blog/ · as of 2024-07-23

Name: Llama 3.1 8B
Brand: meta

Meta Llama 3.1 8B 经济型开源模型, 128K 上下文, 8B 参数, 适合边缘部署与高吞吐量场景。

Nhà cung cấp	Phiên bản	Ngày phát hành	Cửa sổ ngữ cảnh	Phương thức đầu vào	Phương thức đầu ra	Giấy phép
Meta	3.1-8b	2024-07-23	128K	text	text	Llama 3 Community License

Benchmark	Điểm	Đơn vị	Ghi chú
MMLU (Massive Multitask Language Understanding)	73.0	%	5-shot
HumanEval	63.4	pass@1	—
GSM8K (Grade School Math 8K)	58.8	%	0-shot CoT
MATH	31.1	%	0-shot CoT
BBH (BIG-Bench Hard)	67.1	%	3-shot CoT
GPQA	34.8	%	0-shot
IFEval	62.1	%	prompt_strict
ARC	87.4	%	challenge
MUSR	41.7	%	0-shot
WinoGrande	77.6	%	0-shot

Đầu vào	Đầu ra	Đọc bộ nhớ đệm	Ghi bộ nhớ đệm
—	—	—	—

mỗi triệu token