Jev vastaan kielimalli

Sama päätös, kirjoitettuna molemmilla tavoilla

Reititä tukitiketti yhteen neljästä jonosta. Tässä on mitä kumpikin puoli oikeasti maksaa sinulle koodina.

const res = await llm.chat({
  messages: [{ role: "user", content:
    `Route this ticket. Reply with JSON: {"queue": "Billing"|"Technical"|"Account"|"Sales"}
     Ticket: ${ticket}` }],
  response_format: { type: "json_object" }
});

let queue;
try {
  queue = JSON.parse(res.content).queue;        // may not be JSON
} catch {
  return retry();                               // ...so there is a retry
}
if (!QUEUES.includes(queue)) return retry();    // may be a queue you never had
// and no idea how close the call was

const { answers } = await jev.systemOne({
  state: ticket,
  model: "jev-latest",
  questions: { queue: { type: "choice", instructions:
    "Which team should own this ticket?", criteria: QUEUES } }
});

const { choice, probabilities, confidence } = answers.queue;
// choice is one of QUEUES. It cannot be anything else.
if (confidence < 0.7) return humanReview(ticket, probabilities);
route(choice);

Uusintayrityssilmukka on paljastava merkki. Se on ensimmäisessä versiossa siksi, että vastaus saapuu tekstinä joka ei ehkä jäsenny tai joka jäsentyy jonoksi jota ei koskaan ollut listalla. Toisessa sillä ei ole paikkaa missä elää: vastaus on rakenteeltaan yksi QUEUES-joukon jäsenistä. Sen korvaa aivan toinen haara — sellainen joka laukeaa kun malli on epävarma eikä silloin kun tuloste on rikki.

Mitä toinen versio näkee

Tuo tiketti, oikeasti Jevin läpi ajettuna. Voittaja ei yllätä; kakkonen on se osa jonka paljas nimike olisi heittänyt pois.

Tekninen voittaa 87 prosentilla, mutta Tili pitää 13 prosenttia — ja se on oikea erimielisyys, koska SSO-vika todella istuu näiden kahden rajalla. Paljas nimike olisi peittänyt sen. Jos reitityksessäsi on hinta väärin menemisestä, 13 prosenttia on se luku jolle kynnys asetetaan.

Rinnakkain

Mitä lähetät

Jev

Yhden tilan sekä kartan tyypitettyjä kysymyksiä.

Kielimalli

Kehotteen, joka yleensä kantaa skeeman ja säännöt proosana.

Mitä palaa

Jev

Yksi tyypitetty vastaus kysymystä kohti, todennäköisyys jokaiselle vaihtoehdolle.

Kielimalli

Tekstiä. JSONia jos pyysit kauniisti ja tila on tuettu.

Seuraava koodirivisi

Jev

Haarautuminen arvon varassa joka voi olla vain jokin sinun omistasi.

Kielimalli

Jäsennys, sitten validointi, sitten haara sille kun jompikumpi epäonnistui.

Miten se epäonnistuu

Jev

Se voi olla väärässä tekstistäsi. Se ei voi palauttaa muotoa jota et määritellyt.

Kielimalli

Se voi olla väärässä myös muodosta — puuttuva kenttä, nimike jota et koskaan listannut, proosaa JSONin ympärillä.

Kymmenen asian kysyminen

Jev

Kymmenen kysymystä yhdellä pyynnöllä, arvioituna tilaa vasten rinnakkain.

Kielimalli

Yksi ahdettu kehote tai kymmenen kutsua.

Epävarmuus

Jev

Jakauma ja varmuusarvo jokaisella Choicella ja Scorella.

Kielimalli

Mitä ikinä teksti väittääkin omasta varmuudestaan.

Luvut

TypeSafe julkaisee nämä; ne ovat toimittajan omia lukuja, eivät meidän mittauksiamme.

Mitä me voimme mitata: tämän sivuston kautta tehdyissä 14 ajossa edestakaisen ajan mediaani on 329 ms — ja useimmat noista pyynnöistä kantoivat yhdeksää kysymystä, eivät yhtä.

Milloin kielimalli on oikea työkalu

Useimmiten silloin, jos tarvitsemasi on kieltä. Jevillä ei ole mielipidettä jota se osaisi selittää eikä mitään sanottavaa.

• Tarvitset proosaa — vastauksen, tiivistelmän, commit-viestin, selityksen päätöksestä eikä itse päätöstä.
• Tarvitset kirjoitettua koodia, suunnitelman tai jotain avointa jossa vastausjoukko ei ole tiedossa ennen kutsua.
• Mahdollisten vastausten joukko on aidosti rajaton. Mielivaltaisen nimen poimiminen ei ole Choice 255 vaihtoehdon yli.
• Tarvitset päättelyketjun jonka voit tarkastaa. Jev palauttaa arvion, ei sen takana olevia askelia.
• Määrä on pieni ja muoto löyhä. Kahdesti päivässä ajettavaa uusintayrityssilmukkaa ei kannata suunnitella pois.

Nämä kaksi täydentävät toisiaan paremmin kuin kilpailevat. TypeSafen oma kehys on System One nopeaan jäsenneltyyn arviointiin ja tavallinen malli System Twona sen takana — seulo syöte Noulilla, reititä Choicella ja anna selvinnyt sille mallille joka oikeasti osaa kirjoittaa.

Lue lisää