Key Specifications

Benchmark Performance

Benchmark	Score	Unit	Evaluated At	Notes	Source
MMLU	62.5	%	2023-01-12	5-shot	view
HUMANEVAL	50.9	pass@1	2023-01-12	—	view
GSM8K	30.3	%	2023-01-12	0-shot CoT	view
MATH	27.5	%	2023-01-12	0-shot CoT	view
BBH	52.9	%	2023-01-12	3-shot CoT	view
GPQA	28.7	%	2023-01-12	0-shot	view
IFEVAL	47.9	%	2023-01-12	prompt_strict	view
ARC	82.1	%	2023-01-12	challenge	view
MUSR	42.9	%	2023-01-12	0-shot	view
WINOGRANDE	74.4	%	2023-01-12	0-shot	view

Name: Jurassic-2 Ultra
Brand: other

AI21 Labs Jurassic-2 Ultra 旗舰模型, 8K 上下文, 在 J2 系列中性能最强, 适合复杂推理任务。

Nhà cung cấp	Phiên bản	Ngày phát hành	Cửa sổ ngữ cảnh	Phương thức đầu vào	Phương thức đầu ra	Giấy phép
Other	j2-ultra	2023-01-12	8K	text	text	Proprietary

Benchmark	Điểm	Đơn vị	Ghi chú
MMLU (Massive Multitask Language Understanding)	62.5	%	5-shot
HumanEval	50.9	pass@1	—
GSM8K (Grade School Math 8K)	30.3	%	0-shot CoT
MATH	27.5	%	0-shot CoT
BBH (BIG-Bench Hard)	52.9	%	3-shot CoT
GPQA	28.7	%	0-shot
IFEval	47.9	%	prompt_strict
ARC	82.1	%	challenge
MUSR	42.9	%	0-shot
WinoGrande	74.4	%	0-shot

Đầu vào	Đầu ra	Đọc bộ nhớ đệm	Ghi bộ nhớ đệm
—	—	—	—

mỗi triệu token