Command Light: Complete Benchmark Performance Guide

cohere light 2023-09-14 CC-BY-NC-4.0

In-depth analysis of Command Light performance on MMLU, HumanEval, GSM8K, MATH, BBH benchmarks, including pricing and use cases.

Key Specifications

Vendorcohere
Versionlight
Release Date2023-09-14
Context Window4000 tokens
Input Modalitiestext
Output Modalitiestext
LicenseCC-BY-NC-4.0
Documentationhttps://docs.cohere.com/docs

Benchmark Performance

BenchmarkScoreUnitEvaluated AtNotesSource
MMLU52.8%2023-09-145-shotview
HUMANEVAL51.2pass@12023-09-14—view
GSM8K39.8%2023-09-140-shot CoTview
MATH24.1%2023-09-140-shot CoTview
BBH55.5%2023-09-143-shot CoTview
GPQA30.1%2023-09-140-shotview
IFEVAL53.9%2023-09-14prompt_strictview
ARC85.9%2023-09-14challengeview
MUSR40.7%2023-09-140-shotview
WINOGRANDE74.7%2023-09-140-shotview

Pricing

TierPriceCurrency
Input$0.5 / MtokUSD
Output$0.5 / MtokUSD
Cache Read$0 / MtokUSD
Cache Write$0 / MtokUSD

Source: https://cohere.com/pricing · as of 2023-09-14

Compliance

  • Data Residency: US
  • SOC2: ✓
  • HIPAA: ✗
  • GDPR: ✓
  • ISO 27001: ✓

Command Light

Tổng quan mô hình

Cohere Command Light 经济型模型, 4K 上下文, 速度快成本低, 适合简单任务与高吞吐场景。

Thông số kỹ thuật cốt lõi

Nhà cung cấpPhiên bảnNgày phát hànhCửa sổ ngữ cảnhPhương thức đầu vàoPhương thức đầu raGiấy phép
Coherelight2023-09-144KtexttextCC-BY-NC-4.0

Hiệu suất benchmark

BenchmarkĐiểmĐơn vịGhi chú
MMLU (Massive Multitask Language Understanding)52.8%5-shot
HumanEval51.2pass@1—
GSM8K (Grade School Math 8K)39.8%0-shot CoT
MATH24.1%0-shot CoT
BBH (BIG-Bench Hard)55.5%3-shot CoT
GPQA30.1%0-shot
IFEval53.9%prompt_strict
ARC85.9%challenge
MUSR40.7%0-shot
WinoGrande74.7%0-shot

Giá

Đầu vàoĐầu raĐọc bộ nhớ đệmGhi bộ nhớ đệm
————

mỗi triệu token

Điểm mạnh

  • 可靠的通用模型。

Điểm yếu

  • MMLU 仅 52.8，知识推理偏弱。
  • 闭源专有模型，不支持自托管。
  • 上下文窗口 4K 偏小。

Trường hợp sử dụng

  • 通用对话与问答

Tham chiếu