GLM-4 9B Chat: Complete Benchmark Performance Guide

other glm-4-9b-chat 2024-06-05 GLM-4 License

In-depth analysis of GLM-4 9B Chat performance on MMLU, HumanEval, GSM8K, MATH, BBH benchmarks, including pricing and use cases.

Key Specifications

Vendorother
Versionglm-4-9b-chat
Release Date2024-06-05
Context Window131072 tokens
Input Modalitiestext, image
Output Modalitiestext
LicenseGLM-4 License
Documentationhttps://huggingface.co/models

Benchmark Performance

BenchmarkScoreUnitEvaluated AtNotesSource
MMLU70.7%2024-06-055-shotview
HUMANEVAL62.9pass@12024-06-05—view
GSM8K58%2024-06-050-shot CoTview
MATH26.6%2024-06-050-shot CoTview
BBH67.2%2024-06-053-shot CoTview
GPQA37.2%2024-06-050-shotview
IFEVAL59.9%2024-06-05prompt_strictview
ARC88.6%2024-06-05challengeview
MUSR49.5%2024-06-050-shotview
WINOGRANDE79.4%2024-06-050-shotview

Pricing

TierPriceCurrency
Input$0.18 / MtokUSD
Output$0.18 / MtokUSD
Cache Read$0 / MtokUSD
Cache Write$0 / MtokUSD

Source: https://huggingface.co/models · as of 2024-06-05

Compliance

  • Data Residency: self-host
  • SOC2: ✗
  • HIPAA: ✗
  • GDPR: ✗
  • ISO 27001: ✗

GLM-4 9B Chat

Tổng quan mô hình

清华智谱 GLM-4 9B Chat 开源对话模型, 131K 上下文, 9B 参数, 支持图像理解, 中英双语突出。

Thông số kỹ thuật cốt lõi

Nhà cung cấpPhiên bảnNgày phát hànhCửa sổ ngữ cảnhPhương thức đầu vàoPhương thức đầu raGiấy phép
Otherglm-4-9b-chat2024-06-05131Ktext, imagetextGLM-4 License

Hiệu suất benchmark

BenchmarkĐiểmĐơn vịGhi chú
MMLU (Massive Multitask Language Understanding)70.7%5-shot
HumanEval62.9pass@1—
GSM8K (Grade School Math 8K)58.0%0-shot CoT
MATH26.6%0-shot CoT
BBH (BIG-Bench Hard)67.2%3-shot CoT
GPQA37.2%0-shot
IFEval59.9%prompt_strict
ARC88.6%challenge
MUSR49.5%0-shot
WinoGrande79.4%0-shot

Giá

Đầu vàoĐầu raĐọc bộ nhớ đệmGhi bộ nhớ đệm
————

mỗi triệu token

Điểm mạnh

  • 支持文本、图像、音频多模态输入。

Điểm yếu

  • 闭源专有模型，不支持自托管。

Trường hợp sử dụng

  • 视觉与图像理解

Tham chiếu