Gemini 1.5 Pro: Complete Benchmark Performance Guide

google 1.5-pro 2024-02-15 Proprietary

In-depth analysis of Gemini 1.5 Pro performance on MMLU, HumanEval, GSM8K, MATH, BBH benchmarks, including pricing and use cases.

Key Specifications

Vendorgoogle
Version1.5-pro
Release Date2024-02-15
Context Window2e+06 tokens
Input Modalitiestext, image, audio, video
Output Modalitiestext
LicenseProprietary
Documentationhttps://ai.google.dev/gemini-api/docs

Benchmark Performance

BenchmarkScoreUnitEvaluated AtNotesSource
MMLU85.9%2024-02-155-shotview
HUMANEVAL71.9pass@12024-02-15—view
GSM8K91.7%2024-02-150-shot CoTview
MATH58.5%2024-02-150-shot CoTview
BBH84%2024-02-153-shot CoTview

Pricing

TierPriceCurrency
Input$1.25 / MtokUSD
Output$5 / MtokUSD
Cache Read$0.3125 / MtokUSD
Cache Write$1.25 / MtokUSD

Source: https://ai.google.dev/pricing · as of 2024-08-01

Compliance

  • Data Residency: US
  • SOC2: ✓
  • HIPAA: ✗
  • GDPR: ✓
  • ISO 27001: ✓

Gemini 1.5 Pro

Tổng quan mô hình

Google DeepMind Gemini 1.5 Pro 模型，2M 上下文窗口（业界领先），支持文本、图像、音频、视频多模态输入，长文档理解能力突出。

Thông số kỹ thuật cốt lõi

Nhà cung cấpPhiên bảnNgày phát hànhCửa sổ ngữ cảnhPhương thức đầu vàoPhương thức đầu raGiấy phép
Google1.5-pro2024-02-152000Ktext, image, audio, videotextProprietary

Hiệu suất benchmark

BenchmarkĐiểmĐơn vịGhi chú
MMLU (Massive Multitask Language Understanding)85.9%5-shot
HumanEval71.9pass@1—
GSM8K (Grade School Math 8K)91.7%0-shot CoT
MATH58.5%0-shot CoT
BBH (BIG-Bench Hard)84.0%3-shot CoT

Giá

Đầu vàoĐầu raĐọc bộ nhớ đệmGhi bộ nhớ đệm
————

mỗi triệu token

Điểm mạnh

  • MMLU score 85.9, strong knowledge reasoning.
  • GSM8K 91.7, robust math reasoning.
  • 支持文本、图像、音频多模态输入。
  • 上下文窗口 2000K，支持长文本。

Điểm yếu

  • 闭源专有模型，不支持自托管。

Trường hợp sử dụng

  • 代码生成与调试
  • 长文档摘要
  • 视觉与图像理解
  • Agent 工作流与工具调用

Tham chiếu