Flan-UL2: Complete Benchmark Performance Guide

other flan-ul2 2023-03-03 Apache 2.0

In-depth analysis of Flan-UL2 performance on MMLU, HumanEval, GSM8K, MATH, BBH benchmarks, including pricing and use cases.

Key Specifications

Vendorother
Versionflan-ul2
Release Date2023-03-03
Context Window4096 tokens
Input Modalitiestext
Output Modalitiestext
LicenseApache 2.0
Documentationhttps://huggingface.co/models

Benchmark Performance

BenchmarkScoreUnitEvaluated AtNotesSource
MMLU58.7%2023-03-035-shotview
HUMANEVAL46.8pass@12023-03-03—view
GSM8K40.6%2023-03-030-shot CoTview
MATH22%2023-03-030-shot CoTview
BBH49.2%2023-03-033-shot CoTview
GPQA27.2%2023-03-030-shotview
IFEVAL55.6%2023-03-03prompt_strictview
ARC88.8%2023-03-03challengeview
MUSR37.2%2023-03-030-shotview
WINOGRANDE76.2%2023-03-030-shotview

Pricing

TierPriceCurrency
Input$0.7 / MtokUSD
Output$0.7 / MtokUSD
Cache Read$0 / MtokUSD
Cache Write$0 / MtokUSD

Source: https://huggingface.co/models · as of 2023-03-03

Compliance

  • Data Residency: self-host
  • SOC2: ✗
  • HIPAA: ✗
  • GDPR: ✗
  • ISO 27001: ✗

Flan-UL2

Tổng quan mô hình

Google Flan-UL2 20B 指令微调模型, 4K 上下文, 基于 UL2 框架, 适合多任务与零样本推理。

Thông số kỹ thuật cốt lõi

Nhà cung cấpPhiên bảnNgày phát hànhCửa sổ ngữ cảnhPhương thức đầu vàoPhương thức đầu raGiấy phép
Otherflan-ul22023-03-034KtexttextApache 2.0

Hiệu suất benchmark

BenchmarkĐiểmĐơn vịGhi chú
MMLU (Massive Multitask Language Understanding)58.7%5-shot
HumanEval46.8pass@1—
GSM8K (Grade School Math 8K)40.6%0-shot CoT
MATH22.0%0-shot CoT
BBH (BIG-Bench Hard)49.2%3-shot CoT
GPQA27.2%0-shot
IFEval55.6%prompt_strict
ARC88.8%challenge
MUSR37.2%0-shot
WinoGrande76.2%0-shot

Giá

Đầu vàoĐầu raĐọc bộ nhớ đệmGhi bộ nhớ đệm
————

mỗi triệu token

Điểm mạnh

  • 可靠的通用模型。

Điểm yếu

  • MMLU 仅 58.7，知识推理偏弱。
  • HumanEval 46.8，代码能力较弱。
  • 闭源专有模型，不支持自托管。
  • 上下文窗口 4K 偏小。

Trường hợp sử dụng

  • 通用对话与问答

Tham chiếu