Nous Hermes 2 Yi 34B: Complete Benchmark Performance Guide

other nous-hermes-2-yi-34b 2024-01-22 Apache 2.0

In-depth analysis of Nous Hermes 2 Yi 34B performance on MMLU, HumanEval, GSM8K, MATH, BBH benchmarks, including pricing and use cases.

Key Specifications

Vendorother
Versionnous-hermes-2-yi-34b
Release Date2024-01-22
Context Window4096 tokens
Input Modalitiestext
Output Modalitiestext
LicenseApache 2.0
Documentationhttps://huggingface.co/models

Benchmark Performance

BenchmarkScoreUnitEvaluated AtNotesSource
MMLU76.9%2024-01-225-shotview
HUMANEVAL73.2pass@12024-01-22—view
GSM8K82.7%2024-01-220-shot CoTview
MATH44.9%2024-01-220-shot CoTview
BBH75.6%2024-01-223-shot CoTview
GPQA39%2024-01-220-shotview
IFEVAL68.3%2024-01-22prompt_strictview
ARC93.4%2024-01-22challengeview
MUSR48.8%2024-01-220-shotview
WINOGRANDE83.4%2024-01-220-shotview

Pricing

TierPriceCurrency
Input$0.4 / MtokUSD
Output$0.4 / MtokUSD
Cache Read$0 / MtokUSD
Cache Write$0 / MtokUSD

Source: https://huggingface.co/models · as of 2024-01-22

Compliance

  • Data Residency: self-host
  • SOC2: ✗
  • HIPAA: ✗
  • GDPR: ✗
  • ISO 27001: ✗

Nous Hermes 2 Yi 34B

Tổng quan mô hình

NousResearch Hermes 2 Yi 34B 微调模型, 4K 上下文, 基于 Yi 34B, 改进多语言与指令遵循。

Thông số kỹ thuật cốt lõi

Nhà cung cấpPhiên bảnNgày phát hànhCửa sổ ngữ cảnhPhương thức đầu vàoPhương thức đầu raGiấy phép
Othernous-hermes-2-yi-34b2024-01-224KtexttextApache 2.0

Hiệu suất benchmark

BenchmarkĐiểmĐơn vịGhi chú
MMLU (Massive Multitask Language Understanding)76.9%5-shot
HumanEval73.2pass@1—
GSM8K (Grade School Math 8K)82.7%0-shot CoT
MATH44.9%0-shot CoT
BBH (BIG-Bench Hard)75.6%3-shot CoT
GPQA39.0%0-shot
IFEval68.3%prompt_strict
ARC93.4%challenge
MUSR48.8%0-shot
WinoGrande83.4%0-shot

Giá

Đầu vàoĐầu raĐọc bộ nhớ đệmGhi bộ nhớ đệm
————

mỗi triệu token

Điểm mạnh

  • 可靠的通用模型。

Điểm yếu

  • 闭源专有模型，不支持自托管。
  • 上下文窗口 4K 偏小。

Trường hợp sử dụng

  • 代码生成与调试

Tham chiếu