Argilla Notus 7B v1: Complete Benchmark Performance Guide

other notus-7b-v1 2023-12-15 Apache 2.0

In-depth analysis of Argilla Notus 7B v1 performance on MMLU, HumanEval, GSM8K, MATH, BBH benchmarks, including pricing and use cases.

Key Specifications

Vendorother
Versionnotus-7b-v1
Release Date2023-12-15
Context Window4096 tokens
Input Modalitiestext
Output Modalitiestext
LicenseApache 2.0
Documentationhttps://huggingface.co/models

Benchmark Performance

BenchmarkScoreUnitEvaluated AtNotesSource
MMLU71.4%2023-12-155-shotview
HUMANEVAL36.8pass@12023-12-15—view
GSM8K58.8%2023-12-150-shot CoTview
MATH31%2023-12-150-shot CoTview
BBH62.4%2023-12-153-shot CoTview
GPQA32.7%2023-12-150-shotview
IFEVAL42.8%2023-12-15prompt_strictview
ARC89.8%2023-12-15challengeview
MUSR30.1%2023-12-150-shotview
WINOGRANDE69.8%2023-12-150-shotview

Pricing

TierPriceCurrency
Input$0.18 / MtokUSD
Output$0.18 / MtokUSD
Cache Read$0 / MtokUSD
Cache Write$0 / MtokUSD

Source: https://huggingface.co/models · as of 2023-12-15

Compliance

  • Data Residency: self-host
  • SOC2: ✗
  • HIPAA: ✗
  • GDPR: ✗
  • ISO 27001: ✗

Argilla Notus 7B v1

Tổng quan mô hình

Argilla Notus 7B v1 对话微调模型, 4K 上下文, 基于 Zephyr 改进, 通过高质量反馈数据提升性能。

Thông số kỹ thuật cốt lõi

Nhà cung cấpPhiên bảnNgày phát hànhCửa sổ ngữ cảnhPhương thức đầu vàoPhương thức đầu raGiấy phép
Othernotus-7b-v12023-12-154KtexttextApache 2.0

Hiệu suất benchmark

BenchmarkĐiểmĐơn vịGhi chú
MMLU (Massive Multitask Language Understanding)71.4%5-shot
HumanEval36.8pass@1—
GSM8K (Grade School Math 8K)58.8%0-shot CoT
MATH31.0%0-shot CoT
BBH (BIG-Bench Hard)62.4%3-shot CoT
GPQA32.7%0-shot
IFEval42.8%prompt_strict
ARC89.8%challenge
MUSR30.1%0-shot
WinoGrande69.8%0-shot

Giá

Đầu vàoĐầu raĐọc bộ nhớ đệmGhi bộ nhớ đệm
————

mỗi triệu token

Điểm mạnh

  • 可靠的通用模型。

Điểm yếu

  • HumanEval 36.8，代码能力较弱。
  • 闭源专有模型，不支持自托管。
  • 上下文窗口 4K 偏小。

Trường hợp sử dụng

  • 通用对话与问答

Tham chiếu