Key Specifications

Benchmark Performance

Benchmark	Score	Unit	Evaluated At	Notes	Source
MMLU	67.4	%	2024-02-28	5-shot	view
HUMANEVAL	74.6	pass@1	2024-02-28	—	view
GSM8K	65	%	2024-02-28	0-shot CoT	view
MATH	30.5	%	2024-02-28	0-shot CoT	view
BBH	60	%	2024-02-28	3-shot CoT	view
GPQA	33.6	%	2024-02-28	0-shot	view
IFEVAL	54	%	2024-02-28	prompt_strict	view
ARC	90.5	%	2024-02-28	challenge	view
MUSR	38.3	%	2024-02-28	0-shot	view
WINOGRANDE	73.1	%	2024-02-28	0-shot	view

Name: StarCoder2 7B
Brand: other

BigCode StarCoder2 7B 经济型代码模型, 16K 上下文, 7B 参数, 适合本地代码补全与生成。

Nhà cung cấp	Phiên bản	Ngày phát hành	Cửa sổ ngữ cảnh	Phương thức đầu vào	Phương thức đầu ra	Giấy phép
Other	starcoder2-7b	2024-02-28	16K	text	text	BigCode Open Model License

Benchmark	Điểm	Đơn vị	Ghi chú
MMLU (Massive Multitask Language Understanding)	67.4	%	5-shot
HumanEval	74.6	pass@1	—
GSM8K (Grade School Math 8K)	65.0	%	0-shot CoT
MATH	30.5	%	0-shot CoT
BBH (BIG-Bench Hard)	60.0	%	3-shot CoT
GPQA	33.6	%	0-shot
IFEval	54.0	%	prompt_strict
ARC	90.5	%	challenge
MUSR	38.3	%	0-shot
WinoGrande	73.1	%	0-shot

Đầu vào	Đầu ra	Đọc bộ nhớ đệm	Ghi bộ nhớ đệm
—	—	—	—

mỗi triệu token