StableCode 3B: Complete Benchmark Performance Guide

other stablecode-3b 2024-01-19 Stability AI Community License

In-depth analysis of StableCode 3B performance on MMLU, HumanEval, GSM8K, MATH, BBH benchmarks, including pricing and use cases.

Key Specifications

Vendorother
Versionstablecode-3b
Release Date2024-01-19
Context Window100000 tokens
Input Modalitiestext
Output Modalitiestext
LicenseStability AI Community License
Documentationhttps://huggingface.co/models

Benchmark Performance

BenchmarkScoreUnitEvaluated AtNotesSource
MMLU77.4%2024-01-195-shotview
HUMANEVAL77pass@12024-01-19—view
GSM8K68.5%2024-01-190-shot CoTview
MATH31%2024-01-190-shot CoTview
BBH58.4%2024-01-193-shot CoTview
GPQA24.5%2024-01-190-shotview
IFEVAL51.8%2024-01-19prompt_strictview
ARC86.4%2024-01-19challengeview
MUSR51.8%2024-01-190-shotview
WINOGRANDE70.9%2024-01-190-shotview

Pricing

TierPriceCurrency
Input$0.12 / MtokUSD
Output$0.12 / MtokUSD
Cache Read$0 / MtokUSD
Cache Write$0 / MtokUSD

Source: https://huggingface.co/models · as of 2024-01-19

Compliance

  • Data Residency: self-host
  • SOC2: ✗
  • HIPAA: ✗
  • GDPR: ✗
  • ISO 27001: ✗

StableCode 3B

Tổng quan mô hình

Stability AI StableCode 3B 代码专用模型, 100K 上下文, 3B 参数, 支持多种编程语言代码补全。

Thông số kỹ thuật cốt lõi

Nhà cung cấpPhiên bảnNgày phát hànhCửa sổ ngữ cảnhPhương thức đầu vàoPhương thức đầu raGiấy phép
Otherstablecode-3b2024-01-19100KtexttextStability AI Community License

Hiệu suất benchmark

BenchmarkĐiểmĐơn vịGhi chú
MMLU (Massive Multitask Language Understanding)77.4%5-shot
HumanEval77.0pass@1—
GSM8K (Grade School Math 8K)68.5%0-shot CoT
MATH31.0%0-shot CoT
BBH (BIG-Bench Hard)58.4%3-shot CoT
GPQA24.5%0-shot
IFEval51.8%prompt_strict
ARC86.4%challenge
MUSR51.8%0-shot
WinoGrande70.9%0-shot

Giá

Đầu vàoĐầu raĐọc bộ nhớ đệmGhi bộ nhớ đệm
————

mỗi triệu token

Điểm mạnh

  • 上下文窗口 100K，支持长文本。

Điểm yếu

  • 闭源专有模型，不支持自托管。

Trường hợp sử dụng

  • 代码生成与调试
  • 长文档摘要

Tham chiếu