Key Specifications

Benchmark Performance

Benchmark	Score	Unit	Evaluated At	Notes	Source
MMLU	58	%	2023-10-27	5-shot	view
HUMANEVAL	51	pass@1	2023-10-27	—	view
GSM8K	37.9	%	2023-10-27	0-shot CoT	view
MATH	31.8	%	2023-10-27	0-shot CoT	view
BBH	55.7	%	2023-10-27	3-shot CoT	view
GPQA	20.1	%	2023-10-27	0-shot	view
IFEVAL	42.5	%	2023-10-27	prompt_strict	view
ARC	88.9	%	2023-10-27	challenge	view
MUSR	42.9	%	2023-10-27	0-shot	view
WINOGRANDE	67.7	%	2023-10-27	0-shot	view

Name: ChatGLM3 6B
Brand: other

清华智谱 ChatGLM3 6B 第三代开源模型, 32K 上下文, 6B 参数, 中英双语对话能力突出, 适合本地部署。

Nhà cung cấp	Phiên bản	Ngày phát hành	Cửa sổ ngữ cảnh	Phương thức đầu vào	Phương thức đầu ra	Giấy phép
Other	chatglm3-6b	2023-10-27	32K	text	text	GLM-3 License

Benchmark	Điểm	Đơn vị	Ghi chú
MMLU (Massive Multitask Language Understanding)	58.0	%	5-shot
HumanEval	51.0	pass@1	—
GSM8K (Grade School Math 8K)	37.9	%	0-shot CoT
MATH	31.8	%	0-shot CoT
BBH (BIG-Bench Hard)	55.7	%	3-shot CoT
GPQA	20.1	%	0-shot
IFEval	42.5	%	prompt_strict
ARC	88.9	%	challenge
MUSR	42.9	%	0-shot
WinoGrande	67.7	%	0-shot

Đầu vào	Đầu ra	Đọc bộ nhớ đệm	Ghi bộ nhớ đệm
—	—	—	—

mỗi triệu token