Solo, Duet a Double — vyber režim s rozmyslem

Když ti chat odpovídá, může běžet v jednom ze tří tvarů. Každý stojí jinak a každý selhává jinak. Když víš, který je který, můžeš vědomě vyvážit cenu proti stabilitě proti kvalitě — místo abys platil za spolehlivost, kterou nepotřebuješ, nebo na ní šetřil tam, kde na ní záleží.

Tři režimy

Solo — odpovídá jeden agent

Tah zpracuje jeden model. Je to nejlevnější a nejjednodušší tvar: jedno volání, jeden účet, jedno místo, kde se něco může pokazit. Daň je, že když má ten jediný model špatnou chvilku — timeout, prázdná odpověď, zaváhání — na tomhle tahu už není druhá šance.

Použij ho, když je zátěž nízká a občasný výpadek je přijatelný: interní pokusy, otázky s nízkou sázkou, cokoli, kde tě ruční opakování nic nestojí.

Duet — spolupracují dva různí agenti

Stejnou otázku řeší dva různé modely a navzájem se kontrolují. Protože uvažují jinak, jeden obvykle zachytí, co druhý přehlédl — Duet tak optimalizuje na kvalitu odpovědi: méně slepých míst, vyváženější odpovědi. Stojí víc (platíš za dva různé mozky) a je o trochu pomalejší.

Použij ho, když nejvíc záleží na kvalitě odpovědi: odpovědi zákazníkům, cokoli, kde být správně a důkladně poráží být levně.

Double — dvě stejné instance se kryjí navzájem

Běží dvě stejné instance a jedna kryje druhou. Když první instance selže nebo vrátí prázdno, tah dotáhne druhá — Double tak optimalizuje na stabilitu / failover: tah přežije pád jedné instance. Nesnaží se odpověď zlepšit (obě instance jsou stejný model); snaží se zajistit, že dostaneš nějakou odpověď.

Použij ho, když nejvíc záleží na dostupnosti: veřejný chatbot během rušného spuštění, cokoli, kde je ztracený tah horší než o trochu dražší tah.

Double je režim dřív označovaný jako „Backstop". Přejmenovali jsme ho na Double, aby název říkal, co dělá — dva stejné, jeden jistí druhý (viz failover label napříč chat flow).

Klíčový rozdíl

Duet i Double běží „ve dvou" — ale z opačných důvodů, a v tom rozdílu je celá pointa:

Cena vs stabilita vs kvalita — přehledně

RežimCo běžíOptimalizuje naRelativní cenaSáhni po něm, když…
SoloJeden agentJednoduchost / nejnižší cenaNejnižšíZátěž je nízká; občasný výpadek nevadí.
DuetDva různí agentiKvalita (různé uvažování, kontrola)NejvyššíNejvíc záleží na kvalitě odpovědi.
DoubleDvě stejné instanceStabilita / failoverStředníNejvíc záleží na dostupnosti; ztracený tah je nejhorší.
Pravidlo palce: začni na Solo. Přejdi na Double, když si nemůžeš dovolit ztracený tah, a na Duet, když si nemůžeš dovolit průměrnou odpověď. Neplať za dva, když stačí jeden — ale nepouštěj veřejné spuštění na Solo.

Kam dál