◆文字コード(UTF-8・Shift_JIS・UTF-16)とバイト数計算の仕組み
コンピュータは文字を「0」と「1」のバイト列(Byte = 8ビット)として記録・処理します。同じ日本語の文章でも、どの文字コード(エンコーディング)を採用するかによって消費されるデータ容量(バイト数)は大きく異なります。
可変長(1〜4バイト)。半角英数は1バイトですが、一般的な日本語(ひらがな・漢字)は3バイト、絵文字は4バイトを消費します。現代のインターネットやクラウドの標準です。
固定的な2段階長。半角英数・半角カナは1バイト、全角日本語(ひらがな・漢字)は固定2バイトで記録されます。日本の官公庁ポータルや金融機関、CSVファイルで今なお現役です。
基本2バイトまたは4バイト。英数字も日本語も基本多言語面(BMP)内は一律2バイト、絵文字や一部の稀少漢字はサロゲートペアとして4バイトを消費します。
◆文字種別・文字コード別のバイト数比較マトリックス
| 文字種別 | 代表例 | UTF-8 | Shift_JIS | UTF-16 | 特徴・注意点 |
|---|---|---|---|---|---|
| 半角英数字・記号 (ASCII) | A-Z, a-z, 0-9, !#$ | 1 バイト | 1 バイト | 2 バイト | 全コードで最も軽量。UTF-16のみ2バイト消費。 |
| 半角カタカナ (JIS X 0201) | ア, イ, ウ, エ, オ | 3 バイト | 1 バイト | 2 バイト | Shift_JISでは1バイトだがUTF-8では3バイトに肥大化。 |
| 全角ひらがな・カタカナ | あ, い, カ, タ | 3 バイト | 2 バイト | 2 バイト | UTF-8はShift_JISの1.5倍のデータサイズ。 |
| 常用漢字・JIS第1・第2水準 | 日, 本, 語, 漢, 字 | 3 バイト | 2 バイト | 2 バイト | 一般的な日本語文章ではこの区分が全体の大多数を占める。 |
| 絵文字 (Unicode Emoji) | 😀, 🐱, 🌸, 🚀 | 4 バイト | 原則非対応 (?) | 4 バイト | サロゲートペア領域。MySQL utf8mb3ではエラーになる。 |
| 結合絵文字 (ZWJ結合) | 👨👩👦, 🏃♀️ | 11〜25 バイト | 原則非対応 | 8〜14 バイト | 複数の絵文字をゼロ幅接合子で結合。見た目1字でも大容量。 |
◆バイト数制限が重要になる5大ビジネスシーン
OracleのVARCHAR2(255 BYTE)や古いMySQLでは、文字数ではなく「バイト数」で上限が判定されます。日本語(UTF-8で3バイト)を85文字以上入力すると上限255バイトを突破してエラーが発生します。当ツールの進捗バーで事前に安全性を確認できます。
銀行振込の電文データ(全銀協標準フォーマット)はShift_JISベースで固定長設計されています。受取人名義は半角カナ30バイト以内など、厳しいバイト数規定が存在するため事前の検証が不可欠です。
携帯キャリアのSMSは全角日本語なら最大70文字(140バイト相当)で1通分の料金ですが、半角英数字のみなら160文字(140バイト)まで送信できます。文字数とバイト数を意識した文章作成で通信コストを最適化できます。
特許庁や登記・税務申告システムなどでは、送信ファイルや入力項目にShift_JIS換算でのバイト制限が指定されているケースが少なくありません。事前チェックにより送信時のエラー差し戻しを防止できます。
◆絵文字とサロゲートペアが引き起こす「utf8mb4問題」
Webシステム開発で最も有名なトラブルの一つが、MySQLの文字コード設定に起因する絵文字エラーです。
MySQL utf8 vs utf8mb4 の違い
MySQLの初期のutf8文字セット(内部名: utf8mb3)は、Unicode基本多言語面(BMP)の最大3バイトまでしか格納できません。しかし、スマートフォンで日常的に使われる絵文字(😀や🐱)は4バイト(utf8mb4)を消費します。
そのため、テーブル設定がutf8のまま絵文字を含む文章をINSERTすると、絵文字以降の文章が切り捨てられたり、データベースがエラーを吐いて保存に失敗します。当ツールで「UTF-8バイト数」を確認し、絵文字が含まれていないかチェックすることが有効な事前対策となります。
◆よくある質問(FAQ)
なぜ日本語の文字はUTF-8とShift_JISでバイト数が違うのですか?▼
Shift_JISでは日本語の漢字・ひらがな・カタカナを固定で「全角2バイト(半角1バイト)」として表現します。一方、世界標準のUTF-8では一般的な日本語(BMP領域)は「全角3バイト(半角1バイト、絵文字は4バイト)」として表現されるため、UTF-8の方がデータサイズが約1.5倍大きくなります。
絵文字のバイト数はどう数えられますか?▼
絵文字(😀や🐱など)はUnicodeの第2面以降(サロゲートペア領域)に配置されており、UTF-8では4バイト(utf8mb4)を消費します。Shift_JISには原則として絵文字の定義がないため、未対応文字(?等)となるか、機種固有の互換コード(2バイト)として扱われます。
データベースのVARCHAR(255)の上限チェックに使えますか?▼
はい、MySQLやPostgreSQL、Oracleなどのデータベース設計時、カラム定義のバイト数制限(VARCHAR2 4000バイト等)を超過していないかを事前にブラウザ上で即座に確認できます。
Shift_JIS(CP932)でのバイト数はどのように計算されていますか?▼
半角英数字(ASCII)および半角カタカナ(JIS X 0201)を1バイト、全角日本語文字(ひらがな・カタカナ・漢字・全角記号)を2バイトとして正確に計算しています。Windows環境で広く使われるWindows-31J(CP932)規格に準拠しています。
MySQLで絵文字を保存するとエラーになるのはなぜですか?▼
MySQLの古い「utf8(utf8mb3)」文字セットは最大3バイトまでしか対応していないため、4バイトの絵文字を入力すると「Incorrect string value」エラーが発生します。絵文字を扱うには「utf8mb4」文字セットへの変更が必要です。
銀行振込の電文(全銀協フォーマット)のバイト数チェックに使えますか?▼
はい。全銀協の受取人名義(半角カナ30文字=30バイト以内)など、Shift_JISベースで厳格なバイト数制限が定められたフォーマットの事前検証に最適です。
全角半角の統一や行数カウント、原稿用紙換算も合わせてご利用ください。