文字コード

背景・歴史

コンピュータは数値（二進数）しか直接扱えないため、「あ」や「A」といった文字を保存・処理するには、文字ごとに番号を割り当てて、その番号を通じて扱う仕組みが必要です。文字と番号を対応づける考え方自体は、19世紀のフランスの技術者エミール・ボドーが電信のために5ビットの符号を考案したことに遡るとも言われています。コンピュータの世界では、1963年にアメリカでASCII（7ビットで英数字や記号を表す文字コード）が制定されたのが大きな出発点です。日本語のように文字数が非常に多い言語を扱うために、シフトJISやEUC-JPなど日本独自の文字コードも開発されましたが、国や会社ごとに異なる文字コードが乱立した結果、同じファイルでも見るソフトによって文字化けが起きる、という問題が長く続きました。この問題を解決するために、世界中の文字を統一的に扱おうとする「Unicode」が1990年代に登場し、現在ではインターネット上の標準的な文字コードとして広く使われています。

なぜこの考え方が使われるようになったのか

文字コードという共通のルールがなければ、送信側と受信側で「この番号は何の文字を意味するか」の認識が一致せず、正しく文字を表示できません。特に、複数の国や地域、複数のソフトウェアの間でデータをやり取りする機会が増えた現代では、共通の文字コードを使うことが、文字化けを防ぎ、正確な情報伝達を実現するために欠かせない前提条件になっています。

もう少し詳しく見てみる

文字コードの考え方には、大きく次のような要素があります。

• 符号化文字集合：どの文字にどの番号を割り当てるかを定めた表（例：Unicode）。
• 符号化方式：その番号を実際に何バイトのデータとしてコンピュータ上に記録するかを定めた方式（例：UTF-8、UTF-16）。同じUnicodeの文字集合でも、符号化方式が違えばバイト列としては異なる表現になります。

日本語の文章を扱うときによく話題になる「シフトJIS」「UTF-8」といった違いは、この符号化方式の違いによるものです。異なる符号化方式で保存されたファイルを、別の符号化方式を前提としたソフトで開くと、文字が正しく表示されない「文字化け」が発生します。

関連して知っておきたいこと

文字コードによって表現される番号自体は、最終的にコンピュータの内部では二進法のビット列として記録されています。また、文字の見た目をどう画面に描くかは別の話であり、ラスタ形式とベクタ形式のようなフォントの表現技術と組み合わさって初めて、画面上に読める文字として表示されます。