Score — Jev でルーブリックに対して評価する
Score は TypeSafe の Jev モデルにある 3 つの質問タイプのひとつです。あなたが書いた順序つきのレベルに対して入力を評価し、2 つのレベルの間にも落ちうる確率加重値を返します。
Score はルーブリックです。レベルを低い順に、言葉で書きます。答えはその尺度上の位置で、0 から番号がつきます。レベルの確率加重平均なので、2 つのレベルの間に落ちることがよくあります。
レベルには番号ではなく説明を与えてください。TypeSafe 自身のドキュメントは、同じ入力が説明つきの 3 レベルに対してはきれいに評価され、むき出しの数字を与えると確率が割れることを示しています。照合すべきものがなければ、モデルには推論の手がかりがありません。
実際の答え
jev-1.13.0 に送信。下の数字は返ってきたものそのものです。
4.2.0 以降、CSV エクスポートが 1000 行で黙って打ち切られます。エラー表示はありません。ダウングレードで直ります。2 つのアカウントで再現しました。これでは月次決算が回りません。
質問
この問題はどれくらい深刻ですか？
70%
中
2.35 最大 4 · 重大、ワークフローが 1 つ壊れている
2.35
- 0 見た目の問題 0%
- 1 軽微、回避策あり 0%
- 2 重大、ワークフローが 1 つ壊れている 77%
- 3 致命的、中核機能が使えない 10%
- 4 壊滅的、データ損失またはセキュリティホール 13%
2.35 は「ワークフローが 1 つ壊れている」をわずかに越えた位置です。ただし数字ではなく分布を読んでください。77% はレベル 2 にありますが、13% は一気にレベル 4 まで飛んでいます。黙って切り捨てられるのは、本当にデータ損失になりうるからです。平均 2.35 と、2.35 に鋭いピークがあるのは別の答えであり、それを見分けられるのは `probabilities` だけです。
リクエストとレスポンスの原文
リクエスト
{
"state": "CSV export silently truncates at 1000 rows since 4.2.0. No error shown. Downgrading fixes it. Reproduced on two accounts. This breaks our month-end close.",
"model": "jev-latest",
"questions": {
"severity": {
"type": "score",
"instructions": "How severe is this issue?",
"criteria": [
"Cosmetic",
"Minor, has a workaround",
"Major, a workflow is broken",
"Critical, core functionality is unusable",
"Catastrophic, data loss or a security hole"
]
}
}
}レスポンス
{
"model": "jev-1.13.0",
"answers": {
"severity": {
"type": "score",
"score": 2.35,
"confidence": 0.7,
"legend": {
"0": "Cosmetic",
"1": "Minor, has a workaround",
"2": "Major, a workflow is broken",
"3": "Critical, core functionality is unusable",
"4": "Catastrophic, data loss or a security hole"
},
"probabilities": {
"0": 0,
"1": 0,
"2": 0.77,
"3": 0.1,
"4": 0.13
}
}
}
}答えに含まれるもの
- type "score"
- 質問タイプと対応します。
- score number
- レベル番号の確率加重平均。5 レベルなら 0 から 4 の範囲で、レベルの間にも落ちえます。
- legend map<string, string>
- 各レベル番号を、あなたが書いた説明に戻して対応づけたもの。
- probabilities map<string, number>
- 各レベルとその確率。合計は 1 になります。
- confidence number
- 0 から 1。1 つのレベルに単一のピークがあれば高く、複数に散らばれば低くなります。
ルールと制限
-
criteriaはレベル説明を低い側から並べた順序つき配列です。最低 2 レベル、最大 10 レベル必要です。 - レベルの番号は配列の中の位置で、0 から始まります。
- 異なる分布が同じスコアを生みます。1.0 は確率がすべてレベル 1 にある場合も、レベル 0 と 2 に等分されている場合もありえます。
probabilitiesとconfidenceを並べて読んでください。
Score を使うのはこんなとき
- 答えが 1 本のはしごの段のとき。深刻度、緊急度、苛立ち、品質、リスク。
- 2 つのレベルの間に落ちることが問題ではなく情報になるとき。
- 全体的な品質について曖昧な質問を 1 つするのではなく、複数の評価を自分で決めた重みで合成したいとき。
別のものを使うべきとき
- 選択肢に順序がないとき。順序のないカテゴリには Choice のほうが誠実な形です。
- レベルを明確に説明し分けられないとき。説明できる数だけにして、それ以上は増やさないこと。説明のないレベルは、モデルに照合する手がかりを与えません。