予報がどれくらい正確だったかを客観的に検証（評価）することは、予報技術の向上のために不可欠です。
気象予報士試験では、「雨が降るか降らないか（カテゴリー予報）」、「気温は何度か（数値の予報）」、「降水確率は何％か（確率予報）」など、予報の種類に応じた適切な評価指標の使い分けや、実際の計算問題が頻出します。各スコアの「分母が何か」「値はどうなれば優秀なのか」をしっかり押さえましょう。
1. カテゴリー予報の評価（降水の有無・警報など）
「雨あり / 雨なし」のように、現象の有無を予報する場合の評価です。
まずは、ある期間（例：100日間）の予報と実況の結果を以下の「分割表（2×2のクロス集計表）」に整理します。すべての評価式はこの表の $A, B, C, D$ から作られます。
| 実況あり (現象が起きた) | 実況なし (起きなかった) | 合計 (予報回数) | |
|---|---|---|---|
| 予報あり | $A$ (適中) | $B$ (空振り) | $A+B$ |
| 予報なし | $C$ (見逃し) | $D$ (適中) | $C+D$ |
| 合計 (実況回数) | $A+C$ | $B+D$ | $N$ (全数) |
【例題データ】 全 $N=100$ 日
$A$ (予報通り雨): 30回、 $B$ (予報したのに降らず): 20回、 $C$ (予報せず降った): 10回、 $D$ (予報通り降らず): 40回
1-1 基本的な評価指標（適中・空振り・見逃し）
- 適中率
全体のうち、どれだけ正解したか（現象あり・なし両方の適中）。
$$\text{適中率}=\frac{A+D}{N}$$
例題計算: $(30+40)/100 = 0.70$ $\rightarrow$ 70%
【弱点】 大雪など「めったに起きない現象」の場合、「起きない ($D$)」回数が圧倒的に多くなるため、適当に「毎日起きない」と予報するだけで適中率が高くなってしまい、実力を正しく評価できません。
- 見逃し率
全体のうち、予報していなかったのに現象がおきた割合。
$$\text{見逃し率}=\frac{C}{N}$$
例題計算: $(10)/100 = 0.20$ $\rightarrow$ 10%
- 空振り率
全体のうち、予報したのに現象がおきなかった割合。
$$\text{空振り率}=\frac{B}{N}$$
例題計算: $(20)/100 = 0.20$ $\rightarrow$ 20%
1-2 応用的な評価指標（スレット・バイアス）
防災気象情報では、上記の適中率の弱点を補うため、以下の2つが特によく使われます。
- スレットスコア (Threat Score: TS)
「予報なし実況なし ($D$)」の回数を除外して計算する指標です。大雨や警報など、めったに起きない現象（レアな現象）の予報精度を測るのに適しています。
$$\text{スレットスコア}=\frac{A}{A+B+C}$$- 範囲は $0 \sim 1$（$1$ に近いほど優秀）。
- バイアススコア (Bias Score: BS)
当たったかどうかではなく、「予報回数と実況回数のバランス（偏り）」を見る指標です。
$$\text{バイアススコア}=\frac{A+B}{A+C}$$- $1$: 完璧なバランス（予報回数と発生回数が同じ）。
- $1$ より大きい: 実況よりも「起きる」と予報しすぎている（過大予報）。
- $1$ より小さい: 実況よりも予報を控えている（過小予報＝見逃しが多い恐れ）。
2. 数値予報の精度評価（気温予報など）
「25℃」のように数値を予報する場合の評価です。予報値を $F$ (Forecast)、実況値を $O$ (Observation) とします。
- 平均誤差 (ME: Mean Error / バイアス)
誤差 $(F – O)$ の単純平均です。予報が全体的に高めに出るか、低めに出るかの「癖」が分かります。
$$ME=\frac{\sum(F-O)}{N}$$- 【注意点】 プラスの誤差（高すぎ）とマイナスの誤差（低すぎ）が相殺されるため、「MEが0だからといって予報が優秀とは限らない」のが試験のひっかけポイントです。
- 二乗平均平方根誤差 (RMSE: Root Mean Square Error)
誤差の大きさを評価する最も一般的な指標です。誤差を2乗して符号（プラスマイナス）を消してから平均し、平方根（ルート）をとります。
$$RMSE=\sqrt{\frac{\sum(F-O)^2}{N}}$$- 値が $0$ に近いほど優秀です。
- 誤差を2乗するため、1回でも大きく外れた日があると数値が跳ね上がる（ペナルティが大きい）という性質があります。
3. 確率予報の評価（降水確率など）
- ブライアスコア (Brier Score: BS)
「30%」などの確率予報がどれくらい現実に近かったかを評価します。実況値を「現象が起きたら $1$、起きなかったら $0$」として、予報確率との差を2乗して平均します。
$$BS=\frac{\sum(\text{予報確率}-\text{実況値})^2}{N}$$- 例：予報80%($0.8$)で雨が降った($1$)場合 $\rightarrow$ $(0.8 – 1)^2 = 0.04$
- 値の範囲は $0 \sim 1$ で、$0$ に近いほど精度が高い（優秀）ことを示します。
4. 精度の比較評価（スキルスコア）
「10％の確率でしか雨が降らない砂漠」で「毎日晴れ」と予報すれば、適中率は90%になります。こうした気候特有の「当てやすさ（難易度）」の影響を取り除き、予報技術そのものの実力を評価するのがスキルスコアです。
- スキルスコア (Skill Score)
$$SS=\frac{\text{実際の適中数}-\text{偶然の適中数}}{N-\text{偶然の適中数}}$$
※偶然の適中数 $S = \frac{(A+C)(A+B) + (B+D)(C+D)}{N}$- $1$: 完全な予報（誤差ゼロ）。
- $0$: 根拠のない予報（気候値など）と全く同じレベル。
- プラス: 根拠のない予報よりも精度が高い（予報技術に価値がある）。
- マイナス: 根拠のない予報よりも当たらない（逆効果）。
【試験対策：比較対象となる予報】
スキルスコアの計算の基準（根拠のない予報）として、以下の2つがよく使われます。
- 気候値予報: 「明日の天気は過去30年の平均（平年値）と同じになる」とする予報。
- 持続予報: 「明日の天気や気温は、今日と全く同じになる」とする予報。
5. まとめ：試験対策チェックリスト
- スレットスコア: 「予報なし実況なし ($D$)」を含まない。大雨などレアな現象の評価に使う。
- バイアススコア: $1$ より大きいと、実況よりも予報回数が多い「過大予報」である。
- 空振り率と見逃し率: 空振り率の分母は「予報回数」、見逃し率の分母は「実況回数」。
- MEとRMSEの違い: RMSEは $0$ に近いほど優秀。MEは相殺されるため、$0$ だからといって優秀とは限らない。
- ブライアスコア: 確率予報の評価に使い、$0$ に近いほど優秀。
- スキルスコア: プラスであれば、気候値や持続予報（根拠のない予報）より精度が高いことを意味する。