ไม่มีอินสแตนซ์ที่เตรียมล่วงหน้า — ขยายตามทราฟฟิก ย่อลงเป็นศูนย์เมื่อออกไป เรียกเก็บตามโทเค็นและวินาที เริ่มเย็นในวินาที
มุ่งเน้นธุรกิจ เราจัดการโครงสร้างพื้นฐาน
ดึงขึ้นตามคำขอ ไม่ตลอดเวลา
ยืดหยุ่นพร้อมความพร้อมใช้งาน โดยไม่ตกในจุดสูงสุด
ต่อโทเค็น/วินาที; ต้นทุนศูนย์เมื่อว่าง
vLLM ในตัวและโมเดลเปิดหลัก
ตามโทเค็นและรันไทม์ วัดละเอียด; ไม่คิดเมื่อไม่มีคำขอ
vLLM และโมเดลเปิดหลัก สลับได้ร้อน
วินาที — เหมาะกับทราฟฟิกกระชาก
โหลดสูงคงที่ → สงวน; กระชาก → Serverless