Jev verzus LLM

To isté rozhodnutie, napísané oboma spôsobmi

Nasmerovať tiket podpory do jednej zo štyroch front. Tu je, čo vás každá strana skutočne stojí v kóde.

const res = await llm.chat({
  messages: [{ role: "user", content:
    `Route this ticket. Reply with JSON: {"queue": "Billing"|"Technical"|"Account"|"Sales"}
     Ticket: ${ticket}` }],
  response_format: { type: "json_object" }
});

let queue;
try {
  queue = JSON.parse(res.content).queue;        // may not be JSON
} catch {
  return retry();                               // ...so there is a retry
}
if (!QUEUES.includes(queue)) return retry();    // may be a queue you never had
// and no idea how close the call was

const { answers } = await jev.systemOne({
  state: ticket,
  model: "jev-latest",
  questions: { queue: { type: "choice", instructions:
    "Which team should own this ticket?", criteria: QUEUES } }
});

const { choice, probabilities, confidence } = answers.queue;
// choice is one of QUEUES. It cannot be anything else.
if (confidence < 0.7) return humanReview(ticket, probabilities);
route(choice);

Slučka opakovania je tá zrada. V prvej verzii existuje preto, že odpoveď prichádza ako text, ktorý sa nemusí naparsovať alebo sa naparsuje do fronty, ktorá nikdy nebola na zozname. V druhej nemá kde bývať: odpoveď je z konštrukcie jedna z QUEUES. Namiesto nej nastúpi úplne iná vetva — tá, ktorá sa spustí, keď si model nie je istý, nie keď je výstup rozbitý.

Čo vidí druhá verzia

Ten tiket, naozaj pretiahnutý cez Jev. Víťaz neprekvapí; druhé miesto je tá časť, ktorú by holý štítok zahodil.

Technický vyhráva s 87 %, ale Účet drží 13 % — a to je presne tá správna nezhoda, pretože výpadok SSO naozaj leží na hranici medzi nimi. Holý štítok by to skryl. Ak zlé smerovanie niečo stojí, prah patrí práve na tých 13 %.

Vedľa seba

Čo posielate

Jev

Jeden state plus mapu typovaných otázok.

LLM

Prompt, ktorý zvyčajne nesie schému a pravidlá ako prózu.

Čo sa vracia

Jev

Po jednej typovanej odpovedi na otázku, s pravdepodobnosťou pre každú možnosť.

LLM

Text. JSON, ak ste pekne poprosili a režim je podporovaný.

Váš ďalší riadok kódu

Jev

Prepnutie podľa hodnoty, ktorá môže byť len jedna z vašich.

LLM

Parsovanie, potom validácia, potom vetva pre prípad, že jedno z toho zlyhalo.

Ako zlyháva

Jev

Môže sa mýliť ohľadom vášho textu. Nemôže vrátiť tvar, ktorý ste nedefinovali.

LLM

Môže sa mýliť aj v tvare — chýbajúce pole, štítok, ktorý ste nikdy neuviedli, próza omotaná okolo JSON.

Spýtať sa na desať vecí

Jev

Desať otázok v jednej požiadavke, vyhodnotených proti state súbežne.

LLM

Jeden preplnený prompt, alebo desať volaní.

Neistota

Jev

Rozdelenie a hodnota istoty pri každom Choice a Score.

LLM

Čokoľvek text tvrdí o vlastnej istote.

Čísla

Zverejňuje ich TypeSafe; sú to čísla dodávateľa, nie naše merania.

Čo zmerať vieme: naprieč 14 behmi vykonanými cez tento web je medián času odozvy 329 ms — a väčšina tých požiadaviek niesla deväť otázok, nie jednu.

Kedy je LLM ten správny nástroj

Väčšinou, ak potrebujete jazyk. Jev nemá názor, ktorý by vedel vysvetliť, a nemá čo povedať.

• Potrebujete prózu — odpoveď, zhrnutie, správu ku commitu, vysvetlenie rozhodnutia namiesto rozhodnutia samotného.
• Potrebujete napísať kód alebo plán, alebo čokoľvek otvorené, kde množina odpovedí nie je pred volaním známa.
• Množina možných odpovedí je naozaj neobmedzená. Vytiahnuť ľubovoľné meno nie je Choice cez 255 možností.
• Potrebujete reťaz úvah, do ktorej sa dá nahliadnuť. Jev vracia úsudok, nie kroky za ním.
• Objem je malý a tvar voľný. Slučku opakovania, ktorá beží dvakrát denne, nemá cenu vyprojektovať preč.

Tí dvaja sa skladajú lepšie, než súperia. Vlastné rámovanie TypeSafe je Systém 1 pre rýchly štruktúrovaný úsudok a bežný model ako Systém 2 za ním — preseťte vstup Noulom, nasmerujte Choicom a odovzdajte to, čo prežije, modelu, ktorý naozaj vie písať.

Čítať ďalej