Key Specifications

Benchmark Performance

Benchmark	Score	Unit	Evaluated At	Notes	Source
MMLU	76.7	%	2023-09-06	5-shot	view
HUMANEVAL	68.9	pass@1	2023-09-06	—	view
GSM8K	77.5	%	2023-09-06	0-shot CoT	view
MATH	44.8	%	2023-09-06	0-shot CoT	view
BBH	76.4	%	2023-09-06	3-shot CoT	view
GPQA	43.2	%	2023-09-06	0-shot	view
IFEVAL	70.5	%	2023-09-06	prompt_strict	view
ARC	91.6	%	2023-09-06	challenge	view
MUSR	59.1	%	2023-09-06	0-shot	view
WINOGRANDE	80	%	2023-09-06	0-shot	view

Name: Falcon 180B
Brand: other

TII Falcon 180B 大型开源模型, 2K 上下文, 1800 亿参数, 在开源模型中曾排名第一, 排在 GPT-4 之后。

Nhà cung cấp	Phiên bản	Ngày phát hành	Cửa sổ ngữ cảnh	Phương thức đầu vào	Phương thức đầu ra	Giấy phép
Other	falcon-180b	2023-09-06	2K	text	text	TII Falcon LLM License

Benchmark	Điểm	Đơn vị	Ghi chú
MMLU (Massive Multitask Language Understanding)	76.7	%	5-shot
HumanEval	68.9	pass@1	—
GSM8K (Grade School Math 8K)	77.5	%	0-shot CoT
MATH	44.8	%	0-shot CoT
BBH (BIG-Bench Hard)	76.4	%	3-shot CoT
GPQA	43.2	%	0-shot
IFEval	70.5	%	prompt_strict
ARC	91.6	%	challenge
MUSR	59.1	%	0-shot
WinoGrande	80.0	%	0-shot

Đầu vào	Đầu ra	Đọc bộ nhớ đệm	Ghi bộ nhớ đệm
—	—	—	—

mỗi triệu token