Capybara 1.5B: Complete Benchmark Performance Guide

other capybara-1-5b 2023-11-15 Apache 2.0

In-depth analysis of Capybara 1.5B performance on MMLU, HumanEval, GSM8K, MATH, BBH benchmarks, including pricing and use cases.

Key Specifications

Vendorother
Versioncapybara-1-5b
Release Date2023-11-15
Context Window4096 tokens
Input Modalitiestext
Output Modalitiestext
LicenseApache 2.0
Documentationhttps://huggingface.co/models

Benchmark Performance

BenchmarkScoreUnitEvaluated AtNotesSource
MMLU51.7%2023-11-155-shotview
HUMANEVAL30.1pass@12023-11-15—view
GSM8K28.5%2023-11-150-shot CoTview
MATH25.6%2023-11-150-shot CoTview
BBH48.3%2023-11-153-shot CoTview
GPQA18.1%2023-11-150-shotview
IFEVAL52.4%2023-11-15prompt_strictview
ARC80.1%2023-11-15challengeview
MUSR34%2023-11-150-shotview
WINOGRANDE68.9%2023-11-150-shotview

Pricing

TierPriceCurrency
Input$0.08 / MtokUSD
Output$0.08 / MtokUSD
Cache Read$0 / MtokUSD
Cache Write$0 / MtokUSD

Source: https://huggingface.co/models · as of 2023-11-15

Compliance

  • Data Residency: self-host
  • SOC2: ✗
  • HIPAA: ✗
  • GDPR: ✗
  • ISO 27001: ✗

Capybara 1.5B

Tổng quan mô hình

IntrinsicaAI Capybara 1.5B 轻量对话模型, 4K 上下文, 1.5B 参数, 适合边缘设备对话场景。

Thông số kỹ thuật cốt lõi

Nhà cung cấpPhiên bảnNgày phát hànhCửa sổ ngữ cảnhPhương thức đầu vàoPhương thức đầu raGiấy phép
Othercapybara-1-5b2023-11-154KtexttextApache 2.0

Hiệu suất benchmark

BenchmarkĐiểmĐơn vịGhi chú
MMLU (Massive Multitask Language Understanding)51.7%5-shot
HumanEval30.1pass@1—
GSM8K (Grade School Math 8K)28.5%0-shot CoT
MATH25.6%0-shot CoT
BBH (BIG-Bench Hard)48.3%3-shot CoT
GPQA18.1%0-shot
IFEval52.4%prompt_strict
ARC80.1%challenge
MUSR34.0%0-shot
WinoGrande68.9%0-shot

Giá

Đầu vàoĐầu raĐọc bộ nhớ đệmGhi bộ nhớ đệm
————

mỗi triệu token

Điểm mạnh

  • 可靠的通用模型。

Điểm yếu

  • MMLU 仅 51.7，知识推理偏弱。
  • HumanEval 30.1，代码能力较弱。
  • 闭源专有模型，不支持自托管。
  • 上下文窗口 4K 偏小。

Trường hợp sử dụng

  • 通用对话与问答

Tham chiếu