テキストマイニング

背景・歴史

インターネットやSNSの普及により、アンケートの自由記述、口コミサイトのレビュー、SNSの投稿など、数値ではなく文章として蓄積されるデータが爆発的に増加しました。こうした文章データは、そのままでは人間が1件ずつ読んで傾向をつかむしかなく、大量のデータを効率的に分析することができませんでした。そこで、鉱山から鉱物を掘り出す（マイニング）ように、大量のテキストデータから有用な情報を掘り出す技術として、テキストマイニングの手法が発展しました。

なぜこの考え方が使われるようになったのか

数値データであれば、平均や合計といった統計的な計算で傾向をつかむことができますが、文章データはそのままでは計算できません。テキストマイニングは、文章を単語や文節といった扱いやすい単位に分割し、それぞれの出現回数や、単語同士の結びつきといった、数値として扱える形に変換することで、大量の文章データからも統計的な分析を可能にします。これにより、人手では読みきれない量の口コミやアンケートからも、傾向や意見の分布を効率よく把握できるようになります。

もう少し詳しく見てみる

テキストマイニングの代表的な分析には、次のようなものがあります。

• 頻度分析：文章の中で、どの単語がどれくらいの頻度で使われているかを集計する。
• タグクラウド：出現頻度の高い単語を、文字の大きさを変えて視覚的に表示し、全体の傾向を一目で分かりやすくする。
• 共起分析：どの単語とどの単語が同時に使われやすいかを分析し、単語同士の関係性を明らかにする。

例えば、アンケートの自由記述欄に寄せられた意見をテキストマイニングにかけることで、「どんな言葉がよく使われているか」「不満はどんな話題に集中しているか」といった傾向を、効率的に把握することができます。日本語のテキストマイニングでは、英語と違って単語の区切りが明確でないため、文章を単語ごとに区切る「形態素解析」という前処理が必要になる点も特徴です。

関連して知っておきたいこと

テキストマイニングは、数値データだけでなく文章のような質的データも分析の対象にできるという点で、データ活用の幅を大きく広げる手法です。また、オープンデータとして公開されている文章データを分析する際にも、この手法がよく活用されます。