Gemini 1.5 Pro 002: Complete Benchmark Performance Guide

google 1.5-pro-002 2024-09-24 Proprietary

In-depth analysis of Gemini 1.5 Pro 002 performance on MMLU, HumanEval, GSM8K, MATH, BBH benchmarks, including pricing and use cases.

Key Specifications

Vendorgoogle
Version1.5-pro-002
Release Date2024-09-24
Context Window2e+06 tokens
Input Modalitiestext, image, audio, video
Output Modalitiestext
LicenseProprietary
Documentationhttps://ai.google.dev/gemini-api/docs

Benchmark Performance

BenchmarkScoreUnitEvaluated AtNotesSource
MMLU87%2024-09-245-shotview
HUMANEVAL90.3pass@12024-09-24—view
GSM8K95%2024-09-240-shot CoTview
MATH55.9%2024-09-240-shot CoTview
BBH87.2%2024-09-243-shot CoTview
GPQA56.5%2024-09-240-shotview
IFEVAL87.9%2024-09-24prompt_strictview
ARC95.9%2024-09-24challengeview
MUSR71.6%2024-09-240-shotview
WINOGRANDE85.8%2024-09-240-shotview

Pricing

TierPriceCurrency
Input$1.25 / MtokUSD
Output$5 / MtokUSD
Cache Read$0 / MtokUSD
Cache Write$0 / MtokUSD

Source: https://ai.google.dev/pricing · as of 2024-09-24

Compliance

  • Data Residency: US
  • SOC2: ✓
  • HIPAA: ✗
  • GDPR: ✓
  • ISO 27001: ✓

Gemini 1.5 Pro 002

Tổng quan mô hình

Google Gemini 1.5 Pro 002 生产版本, 2M 上下文, 改进指令遵循与数学推理能力。

Thông số kỹ thuật cốt lõi

Nhà cung cấpPhiên bảnNgày phát hànhCửa sổ ngữ cảnhPhương thức đầu vàoPhương thức đầu raGiấy phép
Google1.5-pro-0022024-09-242000Ktext, image, audio, videotextProprietary

Hiệu suất benchmark

BenchmarkĐiểmĐơn vịGhi chú
MMLU (Massive Multitask Language Understanding)87.0%5-shot
HumanEval90.3pass@1—
GSM8K (Grade School Math 8K)95.0%0-shot CoT
MATH55.9%0-shot CoT
BBH (BIG-Bench Hard)87.2%3-shot CoT
GPQA56.5%0-shot
IFEval87.9%prompt_strict
ARC95.9%challenge
MUSR71.6%0-shot
WinoGrande85.8%0-shot

Giá

Đầu vàoĐầu raĐọc bộ nhớ đệmGhi bộ nhớ đệm
————

mỗi triệu token

Điểm mạnh

  • MMLU score 87.0, strong knowledge reasoning.
  • HumanEval 90.3, excellent code generation.
  • GSM8K 95.0, robust math reasoning.
  • 支持文本、图像、音频多模态输入。
  • 上下文窗口 2000K，支持长文本。

Điểm yếu

  • 闭源专有模型，不支持自托管。

Trường hợp sử dụng

  • 代码生成与调试
  • 长文档摘要
  • 视觉与图像理解
  • Agent 工作流与工具调用

Tham chiếu