Gemini 1.5 Flash: Complete Benchmark Performance Guide

google 1.5-flash 2024-05-14 Proprietary

In-depth analysis of Gemini 1.5 Flash performance on MMLU, HumanEval, GSM8K, MATH, BBH benchmarks, including pricing and use cases.

Key Specifications

Vendorgoogle
Version1.5-flash
Release Date2024-05-14
Context Window1e+06 tokens
Input Modalitiestext, image, audio, video
Output Modalitiestext
LicenseProprietary
Documentationhttps://ai.google.dev/gemini-api/docs

Benchmark Performance

BenchmarkScoreUnitEvaluated AtNotesSource
MMLU76%2024-05-145-shotview
HUMANEVAL67.5pass@12024-05-14—view
GSM8K75.2%2024-05-140-shot CoTview
MATH53.2%2024-05-140-shot CoTview
BBH71.7%2024-05-143-shot CoTview
GPQA38.5%2024-05-140-shotview
IFEVAL68%2024-05-14prompt_strictview
ARC93.4%2024-05-14challengeview
MUSR46.1%2024-05-140-shotview
WINOGRANDE78.9%2024-05-140-shotview

Pricing

TierPriceCurrency
Input$0.075 / MtokUSD
Output$0.3 / MtokUSD
Cache Read$0 / MtokUSD
Cache Write$0 / MtokUSD

Source: https://ai.google.dev/pricing · as of 2024-05-14

Compliance

  • Data Residency: US
  • SOC2: ✓
  • HIPAA: ✗
  • GDPR: ✓
  • ISO 27001: ✓

Gemini 1.5 Flash

Tổng quan mô hình

Google Gemini 1.5 Flash 经济型模型, 1M 上下文, 速度快成本低, 适合大规模多模态任务。

Thông số kỹ thuật cốt lõi

Nhà cung cấpPhiên bảnNgày phát hànhCửa sổ ngữ cảnhPhương thức đầu vàoPhương thức đầu raGiấy phép
Google1.5-flash2024-05-141000Ktext, image, audio, videotextProprietary

Hiệu suất benchmark

BenchmarkĐiểmĐơn vịGhi chú
MMLU (Massive Multitask Language Understanding)76.0%5-shot
HumanEval67.5pass@1—
GSM8K (Grade School Math 8K)75.2%0-shot CoT
MATH53.2%0-shot CoT
BBH (BIG-Bench Hard)71.7%3-shot CoT
GPQA38.5%0-shot
IFEval68.0%prompt_strict
ARC93.4%challenge
MUSR46.1%0-shot
WinoGrande78.9%0-shot

Giá

Đầu vàoĐầu raĐọc bộ nhớ đệmGhi bộ nhớ đệm
————

mỗi triệu token

Điểm mạnh

  • 支持文本、图像、音频多模态输入。
  • 上下文窗口 1000K，支持长文本。

Điểm yếu

  • 闭源专有模型，不支持自托管。

Trường hợp sử dụng

  • 长文档摘要
  • 视觉与图像理解

Tham chiếu