外観検査の見逃しと過検出は、不良品・良品それぞれを母数にして評価します。混同行列と仮定の件数例で、OK判定品中の不良割合との違いを解説。評価データの分離、しきい値の調整、再検査や隔離を含めた受入条件の決め方を整理します。
外観検査の評価では、不良をOKにする見逃しと、良品をNGにする過検出を分けて数えます。両方とも誤判定ですが、前者は不良を通すリスク、後者は再検査や良品の滞留につながります。全体の正解率だけでは、どちらがどれだけ起きたか分かりません。良品が多い評価群では、正解率が高くても不良を十分に検出していない場合があります。[1]
ここでは不良を陽性、良品を陰性とし、装置のNGを陽性判定、OKを陰性判定とします。不良をNGにした件数がTP、不良をOKにした見逃しがFNです。良品をNGにした過検出がFP、良品をOKにした件数がTNです。この四分類で正解と装置判定を整理する方法を混同行列と呼びます。FNは偽陰性、FPは偽陽性とも呼ばれます。[2]
集計前に、製品・画像・検査領域のどれを1件と数えるか決め、各件に正解と装置判定を付けます。同じ製品を複数方向から撮る場合は、画像ごとの結果を製品1個の合否へまとめる規則も揃えます。欠陥数だけの集計ではTNとなる対象が定まらないため、そのまま良品の過検出率は出せません。
欠陥単位の見逃しと製品単位の過検出を併記するなら、別の集計と明記してください。
見逃し率はFN/(TP+FN)で、不良品のうちOKにした割合です。過検出率はFP/(TN+FP)で、良品のうちNGにした割合です。いずれも百分率なら100を掛けます。再現率TP/(TP+FN)は、不良をどれだけNGにできたかを表し、不良品が存在する評価群では見逃し率と合計100%になります。[1]
一方、OK判定品中の不良割合はFN/(TN+FN)です。正解が不良か良品かを問わず、装置がOKにした全件を母数にします。[2]見逃し率と同じFNを使っても、答える問いは異なります。NG品だけを再確認しても、OK側に隠れた不良は数えられないため、見逃し率の評価にはなりません。
分母が0の指標は評価不能と記録します。不良品がなければ見逃し率、良品がなければ過検出率、OK判定がなければOK品中の不良割合が該当し、0%とは報告しません。
装置のOK判定群と実際の出荷群も区別してください。後工程の再検査や隔離、NG品の良品復帰で対象が変わるためです。製品ID、対象期間、検査範囲、集計単位が一致する同じ集団と確認できない限り、OK群中の不良割合を出荷品の不良割合とは呼びません。
説明用に製品1,000個を1個ずつ判定したと仮定します。実際の不良100個に対しTP95個・FN5個、良品900個に対しFP18個・TN882個とします。これは実測性能ではなく、合格値や必要サンプル数を示す例でもありません。
見逃し率は5/100で5%、過検出率は18/900で2%です。OK判定は882+5で887個なので、その中の不良割合は5/887で約0.56%になります。正解率は(95+882)/1,000で97.7%です。同じ判定結果でも分母が違えば数値は変わります。
高い正解率だけを見て、不良100個のうち5個を通した事実を見落とさないでください。 高い正解率だけを見て、不良品100個のうち5個をOK判定した事実を見落とさないでください。
次に、良否を分けるしきい値などの条件を、学習用とは別の検証データで比較します。不良らしさのスコアがしきい値以上ならNGとする方式では、同じスコアのまましきい値を下げるとNG対象は増えるか変わりません。FNは減るか同じ、FPは増えるか同じで、両方が必ず変化するわけではありません。[3]
条件ごとにFNとFP、母数を並べ、見逃がす欠陥の重大性と、再検査の件数・所要時間を確認しましょう。品質保証と現場が処置できる条件かを判断し、人に残す再検査の範囲も比較に含めます。
表01.06-1正解と装置判定の混同行列（仮定の件数）
| 正解（製品1個単位） | 装置判定 NG（陽性判定） | 装置判定 OK（陰性判定） |
|---|---|---|
| 不良（陽性・計100個） | TP 95個（不良をNG） | FN 5個（見逃し・不良をOK） |
| 良品（陰性・計900個） | FP 18個（過検出・良品をNG） | TN 882個（良品をOK） |
同じ製品の撮り直しや切り出し画像を学習・調整用と最終評価用に分散させると、評価が楽観的になるおそれがあります。同一製品とその近似画像は同じ組にまとめ、ロット内の類似や時間変化がある場合はロット・収集期間でも分けます。将来の量産を想定するなら、過去のデータで学習・調整し、その後の期間で評価します。[4]
これはグループ分割と時系列評価を外観検査へ適用した提案です。[4]
AIの学習用、しきい値を調整する検証用、最後まで調整に使わない最終評価用を分離します。受入基準と判定条件を確定してから最終評価します。結果を見て調整した場合は、未使用のデータで改めて評価してください。[4]ルールベースでも、調整用とは別の見本で確認します。
不良を多く集めた評価群のOK品中の不良割合は、量産へ直接当てはめられません。不良の構成比に依存する指標だからです。[5]欠陥の種類や撮影条件が変われば、見逃し率・過検出率も変わり得ます。また、有限の標本で見逃しが0件でも将来の不良流出ゼロは保証できません。[6]
件数と収集条件を併記し、不足する欠陥やロットを明らかにしてください。
最初に品質保証が、検査対象、評価単位、良否基準を揃えます。良品と不良品の境目を示す限度見本を用意し、判定が割れる製品の正解を決める担当も明確にします。見本には品番と基準の版を対応付け、評価の途中で正解が変わらないようにします。欠陥別・品種別・ロット別の件数を残し、重大な欠陥が全体の集計に埋もれないよう確認しましょう。
現場は、NG品をどこへ隔離し、誰が何を再検査するかを決めます。過検出は良品のNG判定であり、即廃棄を意味しません。再検査で良品へ戻す場合の基準と承認者、手直しや廃棄へ進める条件を分けます。再確認にも誤りは起こり得るため、最初の判定と処置後の結果は別に記録してください。
生産技術は実際の搬送速度で判定遅延や排出漏れを確認し、工場責任者は再検査の時間と滞留、手直し・廃棄の負担を見ます。情シス・DX担当は、製品IDと画像、正解、判定、設定版、処置履歴を対応付けます。
許容率は一律に置かず、欠陥の重大性と再検査能力から関係者で決め、品種・照明・設定を変えた際の再評価条件も残しましょう。前提が揃わない場合は、評価条件と役割の整理から相談できます。
評価データと再検査・排出の受入確認
見逃しと過検出は、正解と装置判定を対応付け、分母を明示して評価します。OK判定品中の不良割合と実際の出荷品の品質は、同じ集団か確かめずに混同しないでください。学習・調整と最終評価を分離し、欠陥やロットの偏り、ゼロ件観測の限界を残します。品質保証と現場が、再検査・良品復帰・隔離・排出まで含む受入条件を決めることが次の行動です。
正解率だけでは判断できません。見逃し率、良品に対する過検出率、対象欠陥の重大性、再検査能力を確認します。良品が多い集計では、不良の見逃しが全体の数値に埋もれる場合があります。
分かりません。見逃しは不良をOKにした件数です。NG側だけではOK側の不良を数えられないため、正解が確認された評価対象と装置の全判定を対応付けます。
保証できません。有限の評価対象に含まれなかった欠陥や条件があり、後工程での取り違えや排出漏れも別に確認する必要があります。評価の件数、条件、未確認範囲を残してください。
過検出は、本来の良品をNGにした状態です。再検査と承認を経て良品へ戻す運用もあります。隔離、復帰、手直し、廃棄の条件を分け、処置後の品質と作業負荷を確認します。