Dejev

Score — valutare su una griglia in Jev

Uno Score è uno dei tre tipi di domanda del modello Jev di TypeSafe. Valuta l’input su livelli ordinati che scrivi tu e restituisce un valore pesato sulle probabilità che può cadere fra due livelli.

Uno Score è una griglia. Scrivi i livelli in ordine, dal più basso, a parole — e la risposta è una posizione su quella scala, numerata da 0. Poiché è una media dei livelli pesata sulle probabilità, può cadere, e spesso cade, fra due di essi.

Descrivi i livelli invece di numerarli. La documentazione stessa di TypeSafe mostra lo stesso input valutato in modo pulito su tre livelli descritti e con la probabilità che si spacca quando si danno solo numeri nudi: senza nulla con cui confrontarsi, il modello non ha da dove ragionare.

Una risposta vera

Inviata a jev-1.13.0. I numeri qui sotto sono ciò che è tornato.

Lo state

L’esportazione CSV si tronca in silenzio a 1000 righe dalla 4.2.0. Nessun errore mostrato. Tornare indietro di versione risolve. Riprodotto su due account. Questo ci blocca la chiusura di fine mese.

La domanda

Quanto è grave questo problema?

70%
media
2.35 su 4 · Grave, un flusso di lavoro è rotto

2,35 sta appena oltre «un flusso di lavoro è rotto» — ma leggi la distribuzione invece del numero. Il 77% è sul livello 2, eppure il 13% arriva fino al livello 4, perché un troncamento silenzioso può davvero essere perdita di dati. Una media di 2,35 e un picco stretto a 2,35 sono risposte diverse, e solo `probabilities` le distingue.

Richiesta e risposta, testuali
Richiesta
{
  "state": "CSV export silently truncates at 1000 rows since 4.2.0. No error shown. Downgrading fixes it. Reproduced on two accounts. This breaks our month-end close.",
  "model": "jev-latest",
  "questions": {
    "severity": {
      "type": "score",
      "instructions": "How severe is this issue?",
      "criteria": [
        "Cosmetic",
        "Minor, has a workaround",
        "Major, a workflow is broken",
        "Critical, core functionality is unusable",
        "Catastrophic, data loss or a security hole"
      ]
    }
  }
}
Risposta
{
  "model": "jev-1.13.0",
  "answers": {
    "severity": {
      "type": "score",
      "score": 2.35,
      "confidence": 0.7,
      "legend": {
        "0": "Cosmetic",
        "1": "Minor, has a workaround",
        "2": "Major, a workflow is broken",
        "3": "Critical, core functionality is unusable",
        "4": "Catastrophic, data loss or a security hole"
      },
      "probabilities": {
        "0": 0,
        "1": 0,
        "2": 0.77,
        "3": 0.1,
        "4": 0.13
      }
    }
  }
}

Cosa contiene la risposta

type "score"
Corrisponde al tipo di domanda.
score number
La media dei numeri di livello pesata sulle probabilità. Con cinque livelli va da 0 a 4, e può cadere fra due livelli.
legend map<string, string>
Ogni numero di livello ricondotto alla descrizione che hai scritto.
probabilities map<string, number>
Ogni livello con la sua probabilità. Sommano a 1.
confidence number
Da 0 a 1. Un unico picco su un livello è alta; probabilità sparsa fra livelli è bassa.

Regole e limiti

  • criteria è un elenco ordinato di descrizioni di livello, dal basso. Servono almeno due livelli e se ne accettano fino a dieci.
  • Il numero di un livello è la sua posizione nell’elenco, a partire da 0.
  • Distribuzioni diverse producono lo stesso punteggio: 1,0 può significare che tutta la probabilità è sul livello 1, o che è divisa a metà fra i livelli 0 e 2. Leggi probabilities e confidence accanto.

Scegli un Score quando

  • Le risposte sono pioli di una sola scala — gravità, urgenza, esasperazione, qualità, rischio.
  • Cadere fra due livelli è informativo e non un problema.
  • Vuoi combinare più voti con pesi che controlli tu, invece di porre una domanda vaga sulla qualità complessiva.

Usa altro quando

  • Le opzioni non sono ordinate. Per categorie senza ordine un Choice è la forma onesta.
  • Non riesci a descrivere i livelli in modo distinto. Usane quanti riesci a descriverne e non di più — i livelli senza descrizione non danno al modello nulla con cui confrontarsi.

Gli altri due

Noul

Un Noul è uno dei tre tipi di domanda del modello Jev di TypeSafe. Pone una sola domanda sì/no e risponde con la probabilità che la risposta sia sì, come numero da 0 a 1.

Choice

Un Choice è uno dei tre tipi di domanda del modello Jev di TypeSafe. Sceglie esattamente un’opzione da un insieme che definisci tu e restituisce la vincitrice, una probabilità per ogni opzione e un valore di confidenza.

Fai un Score sul tuo testo

Il parco giochi manda a Jev quello che incolli e disegna ogni risposta. Niente account, niente chiave.

Apri il parco giochi