「珍しい値」と「誤った値」は切り分けて考える

データの集まりから離れた値を見つけても、それだけで間違いとは決められません。入力時の桁間違い、測定機器の不調、単位の混在によって生じた値なら、記録上の誤りである可能性があります。一方、正しく測定された最高記録や、まれに起こった大きな現象も、数の並びの中では外れて見えます。外れ値は「周囲と比べて珍しい」という統計上の特徴であり、「誤り」と同じ意味ではありません。

確認するときは、元の記録に戻れるか、取り得る範囲を超えていないか、単位や測定条件がそろっているかを調べます。原因が確かめられないまま、都合の悪い値だけを消すと、実際に起きた現象まで失われます。反対に、明らかな入力ミスを残せば、代表値（平均値・中央値・最頻値）のうち、とくに平均値が大きく動くことがあります。まず事実関係を確かめ、統計的な判断はその後に行います。実際のデータで、その値を含めた集計と除いた集計を並べて結論への影響を確かめる手順は、データ分析の基礎で扱っています。

箱ひげ図は外れ値の「候補」を示す

値を小さい順に並べ、中央付近の広がりを見ると、離れた値を機械的に探せます。箱ひげ図でよく使われる方法では、第1四分位数と第3四分位数の差を四分位範囲とし、その1.5倍よりも箱から遠い値を外れ値の候補として示します。この基準は発見の手掛かりであって、その値を削除すべきだと自動的に決める規則ではありません。

また、外れ値は一つの変数だけを見ても分からない場合があります。身長と体重のように、個々の値は普通の範囲でも、二つの組合せとして不自然に離れていることがあります。散布図と回帰分析を使うと、このような組合せを点の位置として確認できます。一本の直線から遠い点があると、傾きや相関の強さが大きく変わることもあるため、その点を含む場合と含まない場合の両方を比べる方法も役立ちます。

空欄が生まれた理由までが欠損値の情報になる

表のセルが空いている原因には、回答のし忘れ、該当する質問がないこと、通信の途切れ、機器の停止、記録項目の変更などがあります。同じ空欄でも意味は同じではありません。たとえば「利用していないので利用時間を答えない」と「利用しているが答えたくない」では、空欄になった人の性質が異なります。

欠損が偶然に生じたのか、特定の条件と結び付いているのかによって、分析結果への影響も変わります。ある回答をしにくい人ほど空欄にしやすい調査では、記録された回答だけを集計すると全体の傾向からずれるおそれがあります。これは、調べたい母集団と標本の関係にも関わる問題です。欠損値の個数だけでなく、どの項目や集団に集中しているかを確かめる必要があります。

空欄を数値の0に置き換えるのも原則として適切ではありません。0は「測定した結果がゼロだった」という有効な値であり、「測定していない」「分からない」とは意味が違うからです。表計算やプログラムでも、空欄、0、文字列の「不明」を区別して管理すると、後の集計で意味を取り違えにくくなります。

削除・補完・別扱いは分析目的で選ぶ

明らかな誤記は、根拠となる元データがあれば訂正します。訂正できない外れ値は、そのまま使う、分析から除く、一定の範囲に収めるなどの選択肢があります。欠損値には、欠損を含む行を除く方法や、中央値などの代表値、ほかの項目との関係から推定した値で補う方法があります。どの処理にも長所と弱点があり、すべての場合に正しい一つの方法はありません。

行を除けば計算は簡単になりますが、使えるデータが減り、欠損の偏りも残り得ます。代表値で補えば件数を保てますが、同じ値が増えて散らばりが小さく見えることがあります。推定による補完も、本当に観測した値へ変わるわけではありません。処理の前後で結果を比べ、採用した基準、除外した件数、補完方法を記録しておくと、分析を後から確かめられます。

一つの点で相関の見え方が変わる

外れ値が散布図の端に一つ加わるだけで、二つの変数に強い関係があるように見えたり、もともとの関係が弱く見えたりする場合があります。そのため、相関係数だけで判断せず、点の分布を図で確認することが重要です。外れ値が測定ミスではないなら、その点が生じた条件を調べることで、集団の違いや別の要因に気付ける可能性もあります。相関関係と因果関係を区別するうえでも、一つ一つの点が何を表すかを確かめる姿勢が欠かせません。

消してしまうと「異常の発見」も消える

少数の極端な値は、分析を乱す邪魔な存在とは限りません。不正利用の兆候、機器の故障、品質の変化、自然現象の急変などを探す目的では、普段と異なる値そのものが注目対象になります。正常な範囲を先に学び、そこから外れた記録を調べる考え方は「異常検知」と呼ばれます。

ただし、珍しい値が必ず異常事態を示すわけでもありません。正常なのに警告する場合と、異常なのに見逃す場合の両方があるため、目的に合った基準と確認手順が必要です。外れ値を見つけたら削除する、欠損値を見つけたら埋める、という一律の処理ではなく、データが作られた過程と分析の目的を結び付けて判断することが大切です。