チームでLLMを使うと、同じプロンプトでも「良い」「悪い」の判断が人や部署で割れがちです。ルーブリック（評価基準）を作る目的は、出力の良し悪しを言語化し、採点の再現性を上げ、改善サイクルを回しやすくすること。ここでは、目的定義から尺度設計、運用までを一続きの設計タスクとして扱います。
最短ルート：まずは「用途」と「失敗の許容度」を決め、その上で評価軸を3〜6個に絞り、尺度（1〜5など）のアンカ例で採点のブレを潰します。必要なら ミニツール で叩き台を作ってから文章化すると速いです。
1. 目的を「意思決定」に落とす
ルーブリックは、評価の後に何を決めるかで形が変わります。まず、評価結果が使われる場面を1文で書きます。
- プロンプトを改稿するかどうかを決める
- モデル/設定を切り替えるかどうかを決める
- リリース可否（品質ゲート）を判断する
- サンプル出力を社内に展開できるかを決める
「改善の方向を見つけたい」のように曖昧だと、軸が増えすぎたり、採点が感想になったりします。最終的に誰が何を決めるかまで書くと、必要な粒度が自動的に決まります。
2. 対象タスクと入力条件を固定する
同じ「要約」でも、社内議事録と顧客向けFAQでは重視点が異なります。ルーブリック冒頭に、評価対象のタスク定義と入力条件を明記します。
- Task
- 社内向け議事録の要約（決定事項とToDo抽出）
- Inputs
- 文字起こし 2,000〜6,000字、日本語、固有名詞あり
- Audience
- 参加者および関係部門（社外公開なし）
- Constraints
- 誤った決定事項の記載は不可。推測は禁止。
3. 評価軸は「行動に変えられる」言葉で
軸の良し悪しは、点数が低かったときに改善アクションが1つに定まるかで判断できます。おすすめは、まず軸候補を列挙し、次に重複を潰して3〜6個に絞ることです。
よく使われる軸例
- 正確性（事実の誤りがないか）
- 根拠提示（参照箇所や引用が明確か）
- 網羅性（必要な項目が落ちていないか）
- 指示遵守（フォーマット、制約、禁止事項の順守）
- 読みやすさ（構造、簡潔さ、用語の統一）
「品質」や「わかりやすい」は抽象度が高く、人によって基準が変わります。代わりに「見出し構造がある」「重要語の定義がある」「禁止事項を含まない」など、観察可能な条件に落とします。
4. 尺度（1〜5など）を決め、アンカ例を先に書く
尺度は細かいほど正確になるとは限りません。運用の負荷とブレの増加を考えると、まずは3段階か5段階が無難です。重要なのは各段階の説明を「形容詞」ではなく「例」で固定すること。
| 点 | 正確性（例） |
|---|---|
| 5 | 固有名詞、数値、日付に誤りがない。断定表現は入力に根拠がある。 |
| 3 | 重要情報は概ね正しいが、細部に曖昧さがある。推測語（〜と思われる）が混ざる。 |
| 1 | 決定事項を取り違える、存在しない事実を生成するなど、利用に耐えない誤りがある。 |
中間点（2,4）を使う場合は、3の近傍として「軽微な誤り」「ほぼ満点だが1点だけ欠ける」などを明記します。ここが曖昧だと、採点者の性格差が点数に出ます。
5. 重み付けと閾値で「合否」を作る
改善用のスコアと、リリース可否の合否は分けると運用が安定します。おすすめは、ゲート（必須条件）と加点項目の二層です。
- ゲート例：正確性が3未満なら不合格。禁止事項（個人情報の推測など）を含めば不合格。
- 加点例：読みやすさ、網羅性、構造化の良さを合計して改善優先度を決める。
重み付けは、失敗コストが大きい軸（誤情報、コンプライアンス、指示逸脱）を重くするのが基本です。ただし、重みは「直感」で一度決めた後、運用データで調整する方が早いです。
6. キャリブレーションで採点のブレを落とす
ルーブリックを配っただけでは、採点は揃いません。最初の1回だけでも、同じ出力を全員で採点し、点数の根拠を擦り合わせる時間を取るべきです。
30分キャリブレーションの進め方
- 代表例を2つ用意（良い例、悪い例）。
- 各自で採点（5分）。
- 差が出た軸だけ議論し、アンカ例を追記。
- 次回の評価セットに反映（版を上げる）。
会議では「好き嫌い」を議論しないのがコツです。ルーブリック文言に照らして、観察可能な差分だけを扱います。詳細手順は 評価者キャリブレーション会のガイド も参照できます。
7. 運用設計：版管理、例題、更新ルール
ルーブリックは「文書」より「運用物」です。次の3点を決めておくと、導入後に崩れにくくなります。
- 版管理：v1.0, v1.1 のように採点基準の変更履歴を残す。
- 例題セット：各軸で差が出やすい例を5〜10件ストックし、新規参加者のオンボーディングに使う。
- 更新ルール：不合格の理由がルーブリック外だった場合のみ改定する。個別案件の好みでは改定しない。
8. そのまま使えるルーブリック記述テンプレ
最後に、ドキュメント化の最小構成を置きます。まずはこの形で作り、運用しながら軸とアンカ例を育ててください。
ルーブリック v1.0
目的：（評価結果で何を決めるか）
対象タスク：（入力条件、想定読者、禁止事項）
評価軸：（3〜6個、定義と観察ポイント）
尺度：（1〜5など、各点のアンカ例）
合否条件：（ゲート、閾値、例外処理）
運用：（例題セット、キャリブレーション頻度、更新ルール）
記事一覧は Blog から辿れます。次のセクションでは関連トピックをまとめます。