外れ値と欠損値

背景・歴史

現実のデータを集める過程では、測定機器の誤作動、入力ミス、回答者の勘違いなど、様々な理由で「他の値から大きく外れた値」や「本来記録されるべきなのに記録されなかった値」が混ざり込むことがあります。統計学が発展する中で、こうした値をそのまま計算に含めてしまうと、平均値や分析結果が大きく歪んでしまうことが繰り返し指摘され、外れ値や欠損値を適切に見つけ、扱う方法が、データ分析の基本的な手順として整理されてきました。

なぜこの考え方が使われるようになったのか

データの中に外れ値や欠損値が含まれたまま分析を行うと、誤った結論を導いてしまう危険があります。例えば、あるクラスのテストの点数に、入力ミスで「1000点」という値が紛れ込んでいたら、そのまま平均を計算すると実態からかけ離れた数値になってしまいます。また、アンケートで一部の回答者が答えなかった質問（欠損値）をそのまま「0点」として扱ってしまうと、本来の傾向とは異なる誤った分析結果になってしまいます。データを分析する前に、こうした値を見つけ、適切に対処することが、正確な分析を行う上で欠かせません。

もう少し詳しく見てみる

• 外れ値：他の多くのデータから大きくかけ離れた値。測定ミスなど明確な原因がある「異常値」と、原因は不明だが統計的に見て珍しい値という広い意味での「外れ値」を区別して考えることもあります。
• 欠損値：本来記録されているはずなのに、何らかの理由で記録されていない値。アンケートの未回答や、センサーの一時的な故障などによって生じます。

これらへの対処方法には、明らかな誤りである外れ値を除外する、欠損値がある行やデータを分析から除く、あるいは欠損値を他のデータから推定した値で補う、といった方法があります。どの方法を選ぶかによって分析結果が変わることもあるため、なぜその値が外れ値・欠損値になったのかを考えた上で、適切な対処法を選ぶことが重要です。

関連して知っておきたいこと

外れ値を見落としたまま相関関係と因果関係を分析すると、実際には存在しない関係を見つけてしまったり、逆に本当にある関係を見逃してしまったりすることがあります。データを分析する前に、まずデータそのものの質を確認する習慣が大切です。