Score — beoordelen op een rubriek in Jev

Een Score is een van de drie vraagtypen in het Jev-model van TypeSafe. Hij beoordeelt de invoer op geordende niveaus die jij schrijft en geeft een kansgewogen waarde terug die tussen twee niveaus kan landen.

Een Score is een rubriek. Je schrijft de niveaus op volgorde, laagste eerst, in woorden — en het antwoord is een positie op die schaal, genummerd vanaf 0. Omdat het een kansgewogen gemiddelde van de niveaus is, kan het tussen twee ervan landen, en dat doet het vaak.

Beschrijf de niveaus in plaats van ze te nummeren. De documentatie van TypeSafe laat zelf zien hoe dezelfde invoer netjes scoort tegen drie beschreven niveaus en haar kans opsplitst wanneer ze alleen kale getallen krijgt: zonder iets om tegen af te wegen heeft het model niets om vanuit te redeneren.

Een echt antwoord

Gestuurd naar jev-1.13.0. De getallen hieronder zijn wat er terugkwam.

De state

De CSV-export kapt sinds 4.2.0 stilletjes af op 1000 rijen. Geen foutmelding. Terug naar een oudere versie lost het op. Op twee accounts gereproduceerd. Dit breekt onze maandafsluiting.

De vraag

Hoe ernstig is dit probleem?

70%

gemiddeld

2.35 van 4 · Groot, een werkstroom is stuk

2.35

0 Cosmetisch 0%
1 Klein, met een omweg 0%
2 Groot, een werkstroom is stuk 77%
3 Kritiek, de kernfunctie is onbruikbaar 10%
4 Catastrofaal, gegevensverlies of een beveiligingslek 13%

2,35 ligt net voorbij «een werkstroom is stuk» — maar lees de verdeling in plaats van het getal. 77% zit op niveau 2, en toch zit 13% helemaal boven op niveau 4, omdat stil afkappen echt gegevensverlies kan zijn. Een gemiddelde van 2,35 en een smalle piek op 2,35 zijn verschillende antwoorden, en alleen `probabilities` haalt ze uit elkaar.

Het verzoek en het antwoord, letterlijk

Verzoek

{
  "state": "CSV export silently truncates at 1000 rows since 4.2.0. No error shown. Downgrading fixes it. Reproduced on two accounts. This breaks our month-end close.",
  "model": "jev-latest",
  "questions": {
    "severity": {
      "type": "score",
      "instructions": "How severe is this issue?",
      "criteria": [
        "Cosmetic",
        "Minor, has a workaround",
        "Major, a workflow is broken",
        "Critical, core functionality is unusable",
        "Catastrophic, data loss or a security hole"
      ]
    }
  }
}

Antwoord

{
  "model": "jev-1.13.0",
  "answers": {
    "severity": {
      "type": "score",
      "score": 2.35,
      "confidence": 0.7,
      "legend": {
        "0": "Cosmetic",
        "1": "Minor, has a workaround",
        "2": "Major, a workflow is broken",
        "3": "Critical, core functionality is unusable",
        "4": "Catastrophic, data loss or a security hole"
      },
      "probabilities": {
        "0": 0,
        "1": 0,
        "2": 0.77,
        "3": 0.1,
        "4": 0.13
      }
    }
  }
}

Wat het antwoord bevat

type "score": Komt overeen met het vraagtype.
score number: Het kansgewogen gemiddelde van de niveaunummers. Bij vijf niveaus loopt het van 0 tot 4, en het kan tussen niveaus landen.
legend map<string, string>: Elk niveaunummer teruggekoppeld aan de beschrijving die jij schreef.
probabilities map<string, number>: Elk niveau met zijn kans. Ze tellen op tot 1.
confidence number: 0 tot 1. Eén piek op één niveau is hoog; kans verspreid over niveaus is laag.

Regels en grenzen

criteria is een geordende reeks niveaubeschrijvingen, laagste eerst. Er zijn minstens twee niveaus nodig en er passen er tot tien.
Het nummer van een niveau is zijn positie in de reeks, beginnend bij 0.
Verschillende verdelingen leveren dezelfde score op: 1,0 kan betekenen dat alle kans op niveau 1 zit, of dat ze gelijk verdeeld is over de niveaus 0 en 2. Lees probabilities en confidence ernaast.

Grijp naar een Score wanneer

De antwoorden zijn sporten van één ladder — ernst, urgentie, frustratie, kwaliteit, risico.
Tussen twee niveaus landen is informatief in plaats van een probleem.
Je wilt meerdere beoordelingen combineren met gewichten die jij bepaalt, in plaats van één vage vraag over de algehele kwaliteit.

Gebruik iets anders wanneer

De opties zijn niet geordend. Voor ongeordende categorieën is een Choice de eerlijke vorm.
Je kunt de niveaus niet duidelijk uit elkaar beschrijven. Gebruik er zoveel als je kunt beschrijven en niet meer — onbeschreven niveaus geven het model niets om tegen af te wegen.

De andere twee

Noul

Een Noul is een van de drie vraagtypen in het Jev-model van TypeSafe. Hij stelt één ja/nee-vraag en antwoordt met de kans dat het antwoord ja is, als getal van 0 tot 1.

Choice

Een Choice is een van de drie vraagtypen in het Jev-model van TypeSafe. Hij kiest precies één optie uit een verzameling die jij bepaalt en geeft de winnaar terug, een kans voor elke optie en een vertrouwenswaarde.

Stel je eigen tekst een Score

De speeltuin stuurt alles wat je plakt naar Jev en tekent elk antwoord. Geen account, geen sleutel.

Speeltuin openen