Chat Bison: Complete Benchmark Performance Guide

google chat-bison 2023-05-10 Proprietary

In-depth analysis of Chat Bison performance on MMLU, HumanEval, GSM8K, MATH, BBH benchmarks, including pricing and use cases.

Key Specifications

Vendorgoogle
Versionchat-bison
Release Date2023-05-10
Context Window8192 tokens
Input Modalitiestext
Output Modalitiestext
LicenseProprietary
Documentationhttps://ai.google.dev/gemini-api/docs

Benchmark Performance

BenchmarkScoreUnitEvaluated AtNotesSource
MMLU63.1%2023-05-105-shotview
HUMANEVAL36pass@12023-05-10—view
GSM8K52.4%2023-05-100-shot CoTview
MATH19.8%2023-05-100-shot CoTview
BBH54.6%2023-05-103-shot CoTview
GPQA25%2023-05-100-shotview
IFEVAL48.2%2023-05-10prompt_strictview
ARC82.6%2023-05-10challengeview
MUSR32.8%2023-05-100-shotview
WINOGRANDE66.2%2023-05-100-shotview

Pricing

TierPriceCurrency
Input$0.5 / MtokUSD
Output$1 / MtokUSD
Cache Read$0 / MtokUSD
Cache Write$0 / MtokUSD

Source: https://ai.google.dev/pricing · as of 2023-05-10

Compliance

  • Data Residency: US
  • SOC2: ✓
  • HIPAA: ✗
  • GDPR: ✓
  • ISO 27001: ✓

Chat Bison

Tổng quan mô hình

Google Vertex AI Chat Bison 对话模型, 基于 PaLM 2, 8K 上下文, 适合企业级对话应用。

Thông số kỹ thuật cốt lõi

Nhà cung cấpPhiên bảnNgày phát hànhCửa sổ ngữ cảnhPhương thức đầu vàoPhương thức đầu raGiấy phép
Googlechat-bison2023-05-108KtexttextProprietary

Hiệu suất benchmark

BenchmarkĐiểmĐơn vịGhi chú
MMLU (Massive Multitask Language Understanding)63.1%5-shot
HumanEval36.0pass@1—
GSM8K (Grade School Math 8K)52.4%0-shot CoT
MATH19.8%0-shot CoT
BBH (BIG-Bench Hard)54.6%3-shot CoT
GPQA25.0%0-shot
IFEval48.2%prompt_strict
ARC82.6%challenge
MUSR32.8%0-shot
WinoGrande66.2%0-shot

Giá

Đầu vàoĐầu raĐọc bộ nhớ đệmGhi bộ nhớ đệm
————

mỗi triệu token

Điểm mạnh

  • 可靠的通用模型。

Điểm yếu

  • HumanEval 36.0，代码能力较弱。
  • 闭源专有模型，不支持自托管。
  • 上下文窗口 8K 偏小。

Trường hợp sử dụng

  • 通用对话与问答

Tham chiếu