文章を「数えられるデータ」に変える

アンケートの自由記述、商品レビュー、問い合わせの記録などは、内容が文章で保存されています。文章は人が読めば意味を理解できますが、そのままでは合計や比較といった計算ができません。そこでテキストマイニングでは、文章を単語などの単位に分け、出現回数や組み合わせを数値として表します。質的データと量的データのうち、言葉で表された質的データから、集計できる特徴を取り出すわけです。

たとえば、百件の感想に「操作」「簡単」「画面」という語がそれぞれ何件現れたかを表にすれば、文章の集合を数量として比較できます。文章ごとに語の有無を記録すれば、「操作」と「簡単」が同じ文章に現れる回数も調べられます。このように、ばらばらの文章を一定の規則で整理することが分析の出発点です。元の文章と集計結果を対応させて管理する場合は、データベースの考え方も役立ちます。

日本語の文を区切る形態素解析

日本語の文章では、通常、単語と単語の間に空白を入れません。そのため、まず文を意味のある小さな単位に分ける必要があります。この処理に使われる代表的な方法が形態素解析です。形態素とは、言葉として意味や文法上の働きを持つ最小の単位です。形態素解析では、文を分割するだけでなく、それぞれが名詞、動詞、助詞などのどの品詞に当たるかも判定します。

「新しい端末を使った」という文なら、内容を表す「新しい」「端末」「使う」と、文法的な関係を示す語に分けて扱えます。活用した「使った」を基本形の「使う」にそろえる処理は、表記の違いによる数え漏れを減らします。「コンピューター」と「コンピュータ」のような表記揺れを統一したり、分析目的に応じて助詞などを集計対象から外したりすることもあります。どの語を同じものと見なすかによって結果が変わるため、前処理の規則を明らかにしておくことが重要です。

頻度と共起から文章の傾向を読む

もっとも基本的な集計は、語が現れた回数を数える頻度分析です。よく現れる語を調べると、文章全体で多く扱われている話題の手がかりが得られます。頻度に応じて文字の大きさを変えるワードクラウドは、語の多さを視覚的に示す方法です。ただし、大きく表示された語が必ず最重要だと決まるわけではありません。

共起分析では、同じ文や同じ回答など、定めた範囲の中に一緒に現れる語を調べます。「画面」と「見やすい」がよく同時に現れるなら、表示の見やすさが話題になっている可能性があります。一方、一緒に現れたという事実だけでは、片方がもう片方の原因だとはいえません。この注意点は、相関関係と因果関係を区別する考え方と共通します。

文章を話題ごとの集まりに分けたり、肯定的・否定的といった傾向を推定したりする方法もあります。こうした処理では、単語の並びや文脈を扱う技術が使われます。人工知能（AI）を利用する方法もありますが、テキストマイニングのすべてがAIというわけではありません。単純な件数の集計や規則による分類も、目的に合えば有効な分析です。

自由記述を分析結果へ変える順序

分析では、最初に「何を知りたいか」を決めます。目的が曖昧なまま語を数えても、意味のある判断には結びつきにくいためです。次に、対象となる文章を集め、重複、文字化け、不要な記号などを確認します。個人を識別できる情報や、公開を想定していない内容が含まれる場合は、利用目的や取り扱いにも注意が必要です。

その後、形態素解析や表記の統一を行い、頻度表、共起関係、分類結果などを作ります。最後に、目立った傾向を元の文章に戻って確かめます。たとえば「遅い」が多かったとしても、処理速度への不満なのか、「遅い時間まで利用できる」という評価なのかは、周囲の文を読まなければ判断できません。集計は読むべき箇所を絞る助けになりますが、文章そのものの確認を完全に置き換えるものではありません。

「マイニング」は文章の鉱山を掘る比喩

マイニングは英語で採掘を表す言葉です。テキストマイニングという名称は、大量の文章を鉱山に見立て、その中から役立つパターンや知識を取り出すことを表しています。ただし、分析結果が地中の鉱物のように最初から完成した形で埋まっているわけではありません。区切り方、除外する語、共起とみなす範囲など、分析者が決めた条件を通して結果が作られます。

同じ文章群でも、目的と設定が違えば注目される語や関係は変わります。名称が示す「発見」の印象だけでなく、何をどのように数えた結果なのかを見ることが、テキストマイニングを正しく理解するポイントです。

単語を数えても文脈までは自動で決まらない

同じ語でも、文脈によって意味や評価が変わります。「やばい」のように肯定にも否定にも使われる語や、反語、皮肉、省略を含む文は、単語だけでは判断しにくい例です。「悪くない」は「悪い」という語を含みますが、文全体では肯定的な意味になる場合があります。辞書や学習済みのモデルを使っても、すべての文脈を常に正しく読めるとは限りません。

さらに、集めた文章に偏りがあれば、分析結果にも偏りが残ります。特定の時期や利用者の文章だけを集めた結果を、社会全体の意見として扱うことはできません。投稿数が多い人の表現が強く反映されることもあります。そのため、対象、期間、収集方法、前処理、分析単位を記録し、結果が表す範囲を限定して解釈します。テキストマイニングは大量の文章から傾向を探す強力な道具ですが、数字の背景にある文脈とデータの集め方を確かめてこそ、妥当な結論に近づけます。