Score — bedömning mot ett kriterium i Jev

En Score är en av de tre frågetyperna i TypeSafes Jev-modell. Den bedömer indata mot ordnade nivåer du skriver och returnerar ett sannolikhetsviktat värde som kan landa mellan två nivåer.

En Score är ett kriterium. Du skriver nivåerna i ordning, lägst först, i ord — och svaret är en position på den skalan, numrerad från 0. Eftersom det är ett sannolikhetsviktat medelvärde av nivåerna kan det, och gör ofta, landa mellan två av dem.

Beskriv nivåerna i stället för att numrera dem. TypeSafes egen dokumentation visar samma indata poängsättas rent mot tre beskrivna nivåer och splittra sin sannolikhet när den bara får siffror: utan något att matcha mot har modellen inget att resonera från.

Ett riktigt svar

Skickat till jev-1.13.0. Siffrorna nedan är vad som kom tillbaka.

Tillståndet

CSV-exporten kapar tyst vid 1000 rader sedan 4.2.0. Inget fel visas. Nedgradering löser det. Reproducerat på två konton. Detta knäcker vårt månadsbokslut.

Frågan

Hur allvarligt är det här problemet?

70 %

medelhög

2.35 av 4 · Stort, ett arbetsflöde är trasigt

2.35

0 Kosmetiskt 0 %
1 Mindre, har en kringgång 0 %
2 Stort, ett arbetsflöde är trasigt 77 %
3 Kritiskt, kärnfunktionalitet är oanvändbar 10 %
4 Katastrofalt, dataförlust eller säkerhetshål 13 %

2,35 ligger precis förbi ”ett arbetsflöde är trasigt” — men läs fördelningen i stället för talet. 77 % ligger på nivå 2, och ändå ligger 13 % ända uppe på nivå 4, eftersom tyst kapning faktiskt kan vara dataförlust. Ett medel på 2,35 och en smal topp vid 2,35 är olika svar, och bara `probabilities` skiljer dem åt.

Förfrågan och svaret, ordagrant

Förfrågan

{
  "state": "CSV export silently truncates at 1000 rows since 4.2.0. No error shown. Downgrading fixes it. Reproduced on two accounts. This breaks our month-end close.",
  "model": "jev-latest",
  "questions": {
    "severity": {
      "type": "score",
      "instructions": "How severe is this issue?",
      "criteria": [
        "Cosmetic",
        "Minor, has a workaround",
        "Major, a workflow is broken",
        "Critical, core functionality is unusable",
        "Catastrophic, data loss or a security hole"
      ]
    }
  }
}

Svar

{
  "model": "jev-1.13.0",
  "answers": {
    "severity": {
      "type": "score",
      "score": 2.35,
      "confidence": 0.7,
      "legend": {
        "0": "Cosmetic",
        "1": "Minor, has a workaround",
        "2": "Major, a workflow is broken",
        "3": "Critical, core functionality is unusable",
        "4": "Catastrophic, data loss or a security hole"
      },
      "probabilities": {
        "0": 0,
        "1": 0,
        "2": 0.77,
        "3": 0.1,
        "4": 0.13
      }
    }
  }
}

Vad svaret innehåller

type "score": Motsvarar frågetypen.
score number: Det sannolikhetsviktade medelvärdet av nivånumren. För fem nivåer går det 0 till 4, och det kan landa mellan nivåer.
legend map<string, string>: Varje nivånummer kopplat tillbaka till beskrivningen du skrev.
probabilities map<string, number>: Varje nivå kopplad till sin sannolikhet. De summerar till 1.
confidence number: 0 till 1. En enda topp på en nivå är hög; sannolikhet utspridd över nivåer är låg.

Regler och gränser

criteria är en ordnad lista med nivåbeskrivningar, lägsta änden först. Den behöver minst två nivåer och tar upp till tio.
En nivås nummer är dess position i listan, med start på 0.
Olika fördelningar ger samma poäng: 1,0 kan betyda att all sannolikhet ligger på nivå 1, eller att den är jämnt delad mellan nivå 0 och 2. Läs probabilities och confidence bredvid.

Ta till en Score när

Svaren är steg på en och samma stege — allvar, brådska, frustration, kvalitet, risk.
Att landa mellan två nivåer är informativt snarare än ett problem.
Du vill kombinera flera bedömningar med vikter du styr, i stället för att ställa en vag fråga om helhetskvalitet.

Använd något annat när

Alternativen är inte ordnade. En Choice är den ärliga formen för oordnade kategorier.
Du kan inte beskriva nivåerna tydligt åtskilda. Använd så många du kan beskriva och inte fler — obeskrivna nivåer ger modellen inget att matcha mot.

De andra två

Noul

En Noul är en av de tre frågetyperna i TypeSafes Jev-modell. Den ställer en enda ja/nej-fråga och svarar med sannolikheten att svaret är ja, som ett tal från 0 till 1.

Choice

En Choice är en av de tre frågetyperna i TypeSafes Jev-modell. Den väljer exakt ett alternativ ur en mängd du definierar och returnerar vinnaren, en sannolikhet för varje alternativ och ett tillförsiktsvärde.

Ställ en Score om din egen text

Lekplatsen skickar allt du klistrar in till Jev och ritar upp varje svar. Inget konto, ingen nyckel.

Öppna lekplatsen