Tiada instans pra-provision — skala naik mengikut trafik, skala ke sifar bila tiada. Dibil mengikut token dan saat, mula sejuk dalam saat.
Fokus pada perniagaan, kami urus infrastruktur.
Dinaikkan mengikut permintaan, tiada sentiasa-hidup.
Elastik dengan kekonkuran, tiada susut pada puncak.
Mengikut token/saat; kos sifar bila melahu.
vLLM terbina dalam dan model terbuka arus perdana.
Mengikut token dan masa jalan, diukur halus; tiada caj bila tiada permintaan.
vLLM dan model terbuka arus perdana, boleh tukar-panas.
Saat — sesuai untuk trafik berduri.
Beban mantap tinggi → rizab; berduri → Serverless.