Dejev

Score — noter sur une grille dans Jev

Un Score est l’un des trois types de question du modèle Jev de TypeSafe. Il note l’entrée sur des niveaux ordonnés que vous écrivez et renvoie une valeur pondérée par les probabilités, qui peut tomber entre deux niveaux.

Un Score est une grille. Vous écrivez les niveaux dans l’ordre, du plus bas au plus haut, avec des mots — et la réponse est une position sur cette échelle, numérotée à partir de 0. Comme c’est une moyenne des niveaux pondérée par les probabilités, elle peut tomber, et tombe souvent, entre deux d’entre eux.

Décrivez les niveaux plutôt que de les numéroter. La documentation même de TypeSafe montre la même entrée notée proprement face à trois niveaux décrits, et sa probabilité qui se divise quand on ne donne que des nombres nus : sans rien à quoi se référer, le modèle n’a rien pour raisonner.

Une vraie réponse

Envoyée à jev-1.13.0. Les nombres ci-dessous sont ce qui est revenu.

Le state

L’export CSV se coupe silencieusement à 1000 lignes depuis la 4.2.0. Aucune erreur affichée. Revenir en arrière règle le problème. Reproduit sur deux comptes. Cela casse notre clôture mensuelle.

La question

À quel point ce problème est-il grave ?

70 %
moyenne
2.35 sur 4 · Majeur, un flux de travail est cassé

2,35 se situe juste après « un flux de travail est cassé » — mais lisez la distribution plutôt que le nombre. 77 % sont sur le niveau 2, et pourtant 13 % montent jusqu’au niveau 4, parce qu’une troncature silencieuse peut vraiment être une perte de données. Une moyenne de 2,35 et un pic serré à 2,35 sont deux réponses différentes, et seul `probabilities` les distingue.

La requête et la réponse, mot pour mot
Requête
{
  "state": "CSV export silently truncates at 1000 rows since 4.2.0. No error shown. Downgrading fixes it. Reproduced on two accounts. This breaks our month-end close.",
  "model": "jev-latest",
  "questions": {
    "severity": {
      "type": "score",
      "instructions": "How severe is this issue?",
      "criteria": [
        "Cosmetic",
        "Minor, has a workaround",
        "Major, a workflow is broken",
        "Critical, core functionality is unusable",
        "Catastrophic, data loss or a security hole"
      ]
    }
  }
}
Réponse
{
  "model": "jev-1.13.0",
  "answers": {
    "severity": {
      "type": "score",
      "score": 2.35,
      "confidence": 0.7,
      "legend": {
        "0": "Cosmetic",
        "1": "Minor, has a workaround",
        "2": "Major, a workflow is broken",
        "3": "Critical, core functionality is unusable",
        "4": "Catastrophic, data loss or a security hole"
      },
      "probabilities": {
        "0": 0,
        "1": 0,
        "2": 0.77,
        "3": 0.1,
        "4": 0.13
      }
    }
  }
}

Ce que contient la réponse

type "score"
Correspond au type de question.
score number
La moyenne des numéros de niveau pondérée par les probabilités. Pour cinq niveaux, elle va de 0 à 4, et peut tomber entre deux niveaux.
legend map<string, string>
Chaque numéro de niveau ramené à la description que vous avez écrite.
probabilities map<string, number>
Chaque niveau avec sa probabilité. Elles somment à 1.
confidence number
De 0 à 1. Un pic unique sur un niveau donne une valeur élevée ; une probabilité étalée sur plusieurs niveaux une valeur faible.

Règles et limites

  • criteria est un tableau ordonné de descriptions de niveaux, du plus bas au plus haut. Il faut au moins deux niveaux, et jusqu’à dix.
  • Le numéro d’un niveau est sa position dans le tableau, en commençant à 0.
  • Des distributions différentes produisent le même score : 1,0 peut vouloir dire que toute la probabilité est sur le niveau 1, ou qu’elle se répartit également entre les niveaux 0 et 2. Lisez probabilities et confidence à côté.

Prenez un Score quand

  • Les réponses sont des barreaux d’une même échelle — gravité, urgence, exaspération, qualité, risque.
  • Tomber entre deux niveaux est une information plutôt qu’un problème.
  • Vous voulez combiner plusieurs notes avec des pondérations que vous maîtrisez, au lieu de poser une seule question vague sur la qualité globale.

Prenez autre chose quand

  • Les options ne sont pas ordonnées. Pour des catégories sans ordre, un Choice est la forme honnête.
  • Vous n’arrivez pas à décrire les niveaux distinctement. Prenez-en autant que vous savez décrire, pas un de plus — un niveau sans description ne donne au modèle rien à quoi se référer.

Les deux autres

Noul

Un Noul est l’un des trois types de question du modèle Jev de TypeSafe. Il pose une seule question oui/non et répond par la probabilité que la réponse soit oui, sous forme d’un nombre de 0 à 1.

Choice

Un Choice est l’un des trois types de question du modèle Jev de TypeSafe. Il choisit exactement une option dans un ensemble que vous définissez et renvoie la gagnante, une probabilité pour chaque option et une valeur de confiance.

Posez un Score sur votre propre texte

Le terrain de jeu envoie à Jev ce que vous collez et dessine chaque réponse. Pas de compte, pas de clé.

Ouvrir le terrain de jeu