High Throughput Inference: AI Model Selection Guide

High Throughput Inference

Tổng quan trường hợp sử dụng

This page focuses on the High Throughput Inference use case, covering core requirements, recommended models, and evaluation criteria.

Tiêu chí lựa chọn

• 开源权重许可

Tiêu chí đánh giá

• 开源权重许可

Thực hành tốt nhất

• 提供系统提示以建立上下文
• 监控 token 用量与成本

Mô hình được đề xuất

See the recommended models list for this use case (path: /en/use-cases/high-throughput/).