PoCの評価項目をどう決めるか

評価項目の決め方に入る前に、PoCの評価が機能しない典型的なパターンを整理します。いずれも評価の工数が不足しているのではなく、評価を設計する順序に原因があります。

パターン1：評価項目の事後決定

結果を確認してから評価項目を定めた場合、出た結果に適合する項目が選ばれやすくなります。判断する側には、その評価が妥当かどうかを検証する手段がありません。

パターン2：精度への偏重

正答率85%という結果が出ても、その水準で十分なのか、本番化の費用はいくらか、残る15%の誤りがどの程度の支障になるのかが不明であれば、次に進むかは決定できません。

パターン3：手応えによる評価

担当者の手応えには価値があります。ただしそれは判断の根拠ではなく、次に確認すべき仮説の出発点です。手応えのまま判断に用いた場合、誰も反証できない材料で投資が決定されることになります。

PoC止まりの多くは、この3つのいずれかに該当します。

PoCの後に控えているのは、次の段階に人と資金を追加投入するかどうかの判断です。この判断には、次の5観点の材料が必要になります。

5つの観点に測定項目を当てはめると次のようになります。問い合わせ対応AIを例としていますが、多くの案件に適用できます。

表の「つまずきやすい点」は、項目を設定したにもかかわらず判断材料にならなかったケースとして、複数の案件で共通して観察される事象です。

この表は出発点であり、案件のリスクと規模に応じて取捨します。低リスクの案件で全項目を測定するのは過剰です。自動操作と乗っ取りの試験は、AIが送信・更新・削除などを実行する構成の場合にのみ対象になります。

前提1：全件への適用可能性

実際には、例外的なケース、判断が困難なケース、AIに渡せない形式のデータが一定割合存在します。適用可能な割合を測定せずに全件で計算した場合、効果は実態より大きく算出されます。

前提2：削減時間の価値転換

1件あたり3分短縮 × 月1,200件 ＝ 月60時間。この計算は成立します。ただし、その60時間の用途が未確定であれば金額にはなりません。

①業務効果は、PoCの評価で最も抜けやすい領域です。KPIは「誰にとっての成果か」で3つに分けて設定します。

多くのPoCは事業KPI（自社の作業量の減少）のみで評価されています。しかし処理時間が半減しても、回答品質が低下して再問い合わせが増加すれば、会社全体では改善していない可能性があります。

社内業務ではサービスの受け手が不明確な場合があります。その場合は、そのアウトプットを受け取る次工程または意思決定者を受け手とみなします。資料作成AIであれば、資料を受け取る上長や会議体が受け手にあたり、差し戻しの回数や意思決定までの時間がサービスKPIの候補になります。

なお、AIの精度や自動化率は事業KPIに含めます。これらは業務の変化を示す指標であり、顧客や会社にとっての成果そのものではないためです。

事後取得が不可能な指標の測定開始時期

②品質・精度では、どのデータで評価したかが結果の信頼性を左右します。評価データについて確認する点は次の6つです。

この3つが重なった場合、算出された数値が何を測定したものかを事後に検証できなくなります。精度の数値が良好であっても、判断材料としては使用できません。

4については、許容値と評価件数を一組で決めます。「重大な誤り0件」という結果は、何件のうち0件なのかが書かれていなければ判断に使えません。件数の少ない評価で0件が出ることと、必要な水準を満たすことは別です。

正解が一つに定まらない場合の評価

評価者と作成者が同一の場合の扱い

評価データの作成者とAIの評価実施者が同一であることのみを理由に、評価を無効とする必要はありません。ただし、正解の定義、データの代表性、評価手順、結果について、業務部門または独立した立場からの確認が必要です。同一チームが評価する場合は、開発中に未使用のホールドアウトデータを追加する方法が有効です。

評価項目を決定したら、それぞれについてどの結果ならどう判断するかを事前に定めます。判定は次の4区分を用います。

「止める理由が見つからないため継続する」という判断は、継続を既定路線にします。中止のために効果の不在を証明するのではなく、Goの条件を満たした案件のみを次に進める。この順序により判断は明確になります。

保留・再設計を例外扱いとする理由

複数の案件で共通して観察されるのは、保留・再設計が責任者の選択ではなく、材料が揃っていない状態の自動的な表示になっているケースです。評価シートの項目は「未確認」から始まります。未確認が1件でもあれば全体は未完成であり、そこに「保留」という名前が付いていると、開始時点から終了時点まで一貫して保留が正当化されます。責任者は自分で判定を選んだつもりでも、実際には表示された状態を追認しているだけになります。

判断が確定するまでの期間そのものが最大の損失である以上、保留・再設計は選ぶのに手間がかかる選択肢にしておく必要があります。

保留・再設計の使い分け

多くの案件で保留・再設計とされている状態は、実際には1行目です。遅れている材料は条件として書けます。条件・期限・未達時の扱いを記録すれば、案件は止まりません。

保留・再設計の成立要件

保留・再設計を選ぶ場合は、次の5つをすべて記録します。いずれかが書けない場合はNo-Goとします。

5は再発防止のための記録です。保留・再設計が発生したこと自体が、PoC開始時点で判断材料を定義できていなかったという事実を示します。この一行があると、次の案件の開始ゲートで同じ保留を繰り返さずに済みます。

同一案件での保留・再設計は原則1回とします。2回目を選ぶ場合は、判定者を一段上位の会議体へ引き上げます。保留を続けるほうが説明コストが高くなる構造にすることが目的です。

※数値は記載例です。案件ごとに設定します。

この形式で書き出すことにより、「使用できそう」が「何がどれだけ変化すれば進むのか」に置き換わります。PoCの評価報告の末尾にこの表があれば、判断する側は追加の確認を要しません。

本稿の内容を、PoCの開始前・実施中・終了時に分けて確認できるようにしたものが、AnchorXのPoC評価チェックリストです。20項目を6つの評価領域に分け、項目ごとにOKの目安と確認資料を付けています。以下はそのうち11項目の抜粋です。

開始前

実施中

終了時

残る9項目は、データの返却・削除、想定外入力への耐性、ベンダーからの引継ぎ、運用工数の見込みなどを扱います。