Key Specifications

Benchmark Performance

Benchmark	Score	Unit	Evaluated At	Notes	Source
MMLU	77.8	%	2024-08-13	5-shot	view
HUMANEVAL	73.6	pass@1	2024-08-13	—	view
GSM8K	83.7	%	2024-08-13	0-shot CoT	view
MATH	47.1	%	2024-08-13	0-shot CoT	view
BBH	78.8	%	2024-08-13	3-shot CoT	view
GPQA	44.6	%	2024-08-13	0-shot	view
IFEVAL	70.3	%	2024-08-13	prompt_strict	view
ARC	94.4	%	2024-08-13	challenge	view
MUSR	49.1	%	2024-08-13	0-shot	view
WINOGRANDE	79.3	%	2024-08-13	0-shot	view

Source: https://cohere.com/pricing · as of 2024-08-13

Name: Command R (08-2024)
Brand: cohere

Cohere Command R 08-2024 版本, 128K 上下文, 改进 RAG 与工具调用能力, 支持结构化输出。

Nhà cung cấp	Phiên bản	Ngày phát hành	Cửa sổ ngữ cảnh	Phương thức đầu vào	Phương thức đầu ra	Giấy phép
Cohere	r08-2024	2024-08-13	128K	text	text	CC-BY-NC-4.0

Benchmark	Điểm	Đơn vị	Ghi chú
MMLU (Massive Multitask Language Understanding)	77.8	%	5-shot
HumanEval	73.6	pass@1	—
GSM8K (Grade School Math 8K)	83.7	%	0-shot CoT
MATH	47.1	%	0-shot CoT
BBH (BIG-Bench Hard)	78.8	%	3-shot CoT
GPQA	44.6	%	0-shot
IFEval	70.3	%	prompt_strict
ARC	94.4	%	challenge
MUSR	49.1	%	0-shot
WinoGrande	79.3	%	0-shot

Đầu vào	Đầu ra	Đọc bộ nhớ đệm	Ghi bộ nhớ đệm
—	—	—	—

mỗi triệu token