Key Specifications

Benchmark Performance

Benchmark	Score	Unit	Evaluated At	Notes	Source
MMLU	69.2	%	2024-12-12	5-shot	view
HUMANEVAL	62.8	pass@1	2024-12-12	—	view
GSM8K	71.1	%	2024-12-12	0-shot CoT	view
MATH	39.6	%	2024-12-12	0-shot CoT	view
BBH	66.9	%	2024-12-12	3-shot CoT	view
GPQA	30.1	%	2024-12-12	0-shot	view
IFEVAL	59.6	%	2024-12-12	prompt_strict	view
ARC	85.1	%	2024-12-12	challenge	view
MUSR	38.6	%	2024-12-12	0-shot	view
WINOGRANDE	78.3	%	2024-12-12	0-shot	view

Name: Phi-4
Brand: other

Microsoft Phi-4 14B 模型, 16K 上下文, 改进推理与数学能力, 在 14B 规模上接近 GPT-4o-mini。

Nhà cung cấp	Phiên bản	Ngày phát hành	Cửa sổ ngữ cảnh	Phương thức đầu vào	Phương thức đầu ra	Giấy phép
Other	phi-4	2024-12-12	16K	text	text	MIT

Benchmark	Điểm	Đơn vị	Ghi chú
MMLU (Massive Multitask Language Understanding)	69.2	%	5-shot
HumanEval	62.8	pass@1	—
GSM8K (Grade School Math 8K)	71.1	%	0-shot CoT
MATH	39.6	%	0-shot CoT
BBH (BIG-Bench Hard)	66.9	%	3-shot CoT
GPQA	30.1	%	0-shot
IFEval	59.6	%	prompt_strict
ARC	85.1	%	challenge
MUSR	38.6	%	0-shot
WinoGrande	78.3	%	0-shot

Đầu vào	Đầu ra	Đọc bộ nhớ đệm	Ghi bộ nhớ đệm
—	—	—	—

mỗi triệu token