大きさだけでは「ビッグ」にならない

どれほどの量からビッグデータと呼ぶかについて、すべての場合に共通する境界はありません。ある組織には大きすぎるデータでも、より高性能な設備を持つ組織なら通常の方法で処理できることがあるからです。大切なのは、単にファイルが大きいことではなく、従来の道具や手順では収集、保存、処理、分析が難しいという点です。

特徴は、英語の頭文字を取った「3V」で整理できます。Volume（量）は記録の多さ、Velocity（速度）は絶えず発生するデータをすばやく処理する必要性、Variety（多様性）は数値、文章、画像、音声、位置情報など形式がそろっていないことを表します。たとえば、多数のIoT機器が短い間隔で測定値を送り続ける状況では、量だけでなく速度も問題になります。投稿文と画像を一緒に扱う場合には、多様性への対応も必要です。

センサーの信号が分析結果になるまで

データは、集めただけでは役立つ情報になりません。まず、センサー、取引記録、Webサイトの利用記録などから必要なデータを取得します。次に、同じ内容の重複、入力形式の違い、明らかな誤りなどを確認し、分析しやすい形へ整えます。測定されていない値や極端な値を機械的に消すと結果をゆがめることもあるため、外れ値と欠損値が生じた理由を考える必要があります。

整えたデータは、目的に合う構造で保存し、検索できるようにします。表のように項目が決まったデータにはデータベースが適していますが、文章や画像のように構造が一定でないデータもあります。そのため、一台のコンピュータに処理を集中させず、複数のコンピュータへ保存や計算を分担させる方法も使われます。最後に、集計や統計的な分析を行い、表やグラフで結果を確かめます。収集から可視化までのどこかに誤りがあれば、最終結果も信頼できません。

一人分の記録を重ねると見えるもの

小売店の購入記録をまとめると、商品が売れる時期や一緒に選ばれやすい商品の傾向を調べられます。道路上の車両やセンサーから得た記録を組み合わせれば、時間帯ごとの混雑の把握に役立ちます。機械の温度や振動を継続して記録すれば、通常時との違いを保守点検の手掛かりにできます。このように、一件だけでは意味を読み取りにくい記録も、多数を比較することで全体の傾向を示す材料になります。

ただし、「同時に変化した」という結果だけで、一方が他方の原因だとは決められません。隠れた別の要因が両方に影響している可能性があるためです。大量の記録から関係を発見しやすくなっても、相関関係と因果関係の区別は必要です。分析結果は結論そのものではなく、判断を支える根拠の一つとして扱います。

記録が多くても偏りは自動では消えない

ビッグデータは社会全体をそのまま写したものとは限りません。あるサービスの利用履歴には、そのサービスを使わない人の行動が入りません。センサーの設置場所が偏っていれば、測定値も特定の場所に偏ります。入力方法が途中で変わった場合は、変更前後の値を単純に比べられないこともあります。件数が多くても、集め方に偏りがあれば、分析結果にもその偏りが残ります。

また、同じデータでも、何を知りたいのかによって必要な項目や分析方法は変わります。最初に目的を定め、どの範囲から、どのような方法で集められたデータなのかを確かめることが重要です。都合のよい一部分だけを選んだり、目的と関係のない数値まで使ったりすると、量の多さがかえって判断を難しくします。

写真の中身を見なくてもデータは生まれる

デジタル写真には、写っている画像そのものとは別に、撮影日時や使用機器などの付加情報が記録される場合があります。位置情報を記録する設定が有効なら、撮影場所が含まれることもあります。このような「データについてのデータ」はメタデータと呼ばれます。一枚ずつ眺めるだけなら補助的な情報ですが、多数の写真から日時や場所を集めれば、人や物の動きを分析する材料になり得ます。

これは、ビッグデータの素材が目立つ数値表だけではないことを示す例です。同時に、写真の内容を公開して問題がない場合でも、付加情報から意図しない行動範囲が伝わる可能性があります。データの価値と危険性は、単独の項目だけでなく、別のデータと組み合わせたときにも変化します。

大量の記録を価値へ変えるための条件

活用では、技術的に分析できるかだけでなく、集める目的と利用範囲が適切かを確認します。個人と結び付くデータを扱う場合は、必要以上に集めず、アクセスできる人を制限し、保存期間や削除方法も決めます。名前を取り除いても、位置や時刻など複数の情報を組み合わせることで個人を推測できる場合があるため、匿名化したという説明だけで安全だとは限りません。

一方、国や自治体などが、機械で扱いやすい形式と利用条件を示して公開するオープンデータは、異なるデータを組み合わせた分析に利用できます。ただし、公開データにも調査範囲、更新時期、欠損などの条件があります。出所と作成方法を確かめ、分析の手順を説明できるようにすることで、結果を検証しやすくなります。ビッグデータの価値は量だけで決まらず、品質、目的、扱い方、そして結果を読み違えない力によって生まれます。