CSVファイルをExcelで確認すると文字化けすることはありませんか。
それは文字コードがUTF-8のBOM無しで作成されているからかもしれません。

UTF-8とは文字コードの一種です。
本記事ではUTF-8、UTF-16等のファイルでBOM付き、BOM無しの違い、BOM有無の確認方法、作成方法についてご紹介させていただきます♪

BOM付き、無しの違いについて

まずBOMの話を進める前にUnicodeとUTF-8、UTF-16、UTF-32の話を少しします。

UnicodeとUTF-8、UTF-16、UTF-32とは

ここでは簡単に話をしますが、

Unicodeとは世界中の様々な文字を集めた定義（符号化文字集合）のことです。

UTF-8、UTF-16、UTF-32はUnicodeを符号化して文字コード（符号化方式）が設定された状態です。
要は番号が振られています。この番号の振り方が異なるのでUTF-8、UTF-16、UTF-32があります。

また、UTF-16とUTF-32にはコンピュータの構造によってエンディアン（バイトオーダー）方式が異なります。

BOMとは

BOMの説明に戻りますが、BOMというのはバイトオーダーマーク（byte order mark）といい、ファイルの先頭に付与されます。
※ メモ帳等のテキストエディタで開いて目視で確認することはできません。

このBOMの値を見てUTF-16、UTF-32エンディアンを判定します。

みみねこ

…ん？ということはもしかしてUTF-8にはBOMは必要ない？

UTF-8はエンディアン方式の違いはないので本来BOMは必要ありません。

しかし、アプリ（プログラム）によっては文字コードをUTF-8と判断できず、文字化け等の不具合を起こすことがあります。
※ Microsoftのアプリ（Excel、メモ帳）で多い

また逆にBOM付きを想定されていないアプリ（プログラム）では、不具合を起こす場合があります。
※ Webページの開発で使われるhtmlやPHPではBOM無しでないと動作しない場合がある

そのため、UTF-8ではBOM付き、BOM無しのファイルが存在します。

ファイルのBOM確認方法

ここではBOM有無の確認方法についてご紹介します。

Windowsに標準で入っているメモ帳で確認するのが一番簡単です。

メモ帳での確認方法

ファイルをメモ帳で開いたときに右下に文字コードが表示されます。

ただし、Windowsのバージョンによっては保存することで自動的にBOM付きのファイルで上書き保存してしまうことがあるので注意が必要です。

※ サクラエディタやTeraPadなど他のテキストエディタでも確認できるものもありますので、確認してみてください。

バイナリエディタでの確認方法

正直バイナリエディタで確認する必要はありませんが、どうしても文字コードを見て確認したい場合はバイナリエディタでBOMを確認することができます。

バイナリエディタでファイルを開き、先頭バイトが「EF BB BF」が付いているとBOM付きファイルであることを確認できます。

画像ではフリーソフトの「Stirling」を使っています。

BOM付き、BOM無しのファイルの作成方法

メモ帳での作成方法

メモ帳で「ファイル」→「名前を付けて保存」で画像の画面が表示されるので、画像下部の「エンコード」クリックで

・UTF-8
・UTF-8(BOM付き)

を選ぶことでBOM付き、BOM無しのファイルを作成することができます。

※ サクラエディタやTeraPadなど他のテキストエディタでも作成できるものもありますので、確認してみてください。

補足

先ほど少し出てきましたが、MicrosoftのExcelではBOM無しでは文字化けしてしまいます。

そのため、ファイルをExcelファイルで開いたとき、文字化けが起こっている場合はBOM無しであることを疑ってみてください。
※ ただし半角文字の場合、文字化けを起こさないこともあるので
　文字化けが起こらない ＝ BOM付き とは限らないので注意してください。

※ 別記事でExcelでBOM付きファイルを開く方法をご紹介する予定です。

まとめ

本記事ではUTF-8のファイルについての説明、BOM付き・BOM無しの確認や作成方法をご紹介しました。

アプリによってBOM付き、無しで動く、動かないが異なるので統一されるとファイルが扱いやすくなって良いですね！

投稿 【ファイル】UTF-8のBOM付き、BOM無しの違い・確認・作成について は nyanblog ~にゃんぶろぐ~ に最初に表示されました。

今回はAccess等で使われるVBAで、Shift-JIS（SJIS）・UTF-8等、各種文字コードのファイルを読み込む方法を紹介します。
内容としては、OpenステートメントやADODB.Streamを使った手法です。
自作関数のサンプルもつけてますので、是非ご活用ください！
また、同時にダイアログを開いて対象のファイル名を取得する方法も紹介してますので、良かったらそちらもどうぞ。

紹介する手法

まず、本記事の簡単なまとめから♪

共通で使っているテストデータやサブ関数

説明の際に使用するテストデータや、自作関数の中で呼び出しているサブ関数です。
本記事とは内容が離れますので、飛ばしてもらっても大丈夫です。

テストデータ

今回テストとして読み込むcsvファイルは以下を使用します。
（同じ内容で文字コードがShift-JIS・UTF-8のデータを用意）

No	郵便番号	住所	名前
1	859-5326	東京都春日井市向谷町１－６５	ヤマモトコーポレーション株式会社
2	987-2523	千葉県向田市山本町６５８－４４	華井　譲
3	789-0001	千葉県向田市山本町　ジンダ－ビル２F　２０１号	蓮田不動産株式会社
4	653-6567	大阪府大東市浅田８－９９９	株式会社ハッターフ
5	198-3463	鹿児島県薩摩川内市浜本１２３－７７	山本　茂

（サブ関数）ダイアログを開いて対象のファイル名を取得する

ダイアログを開いて対象のファイル名を取得するサブ関数を用意しました。
直接ファイルパスを次項から紹介する関数のコード上に書いてしまっても良かったのですが、それではコピペして使いにくいので。。

内容としては、GetFileName_csvを呼び出すと、ダイアログを開いてcsvファイルのファイル名を取得し、戻り値として返す関数になります。

' GetFileName_csv
' csvファイル名を取得
Function GetFileName_csv()

    'ダイアログを開いてcsvファイルのファイル名を取得
    'Application.FileDialogを使うには、
    '参照設定でMicrosoft Office 1X.0 Object Libraryの追加が必要
    With Application.FileDialog(msoFileDialogOpen)
        .Filters.Clear
        .Filters.Add "csvファイル", "*.csv"
        .AllowMultiSelect = False
        If .Show = True Then
            GetFileName_csv = .SelectedItems(1)
        End If
    End With

End Function

Openステートメントでcsvファイル読み込み（Shift-JISのみ可）

Openステートメントで、csvファイルを読み込む方法です。
Openステートメントでは、文字コードに合わせて対応していくことができないので、Accessのデフォルトの文字コードであるShift-JISでしか正しく読み取りできません。

以下、Openステートメントを使用したcsvファイル読込関数関数です。

' ReadCSVFile_Open
' csvファイル読込関数（Openステートメントを使用）
Sub ReadCSVFile_Open()
    
    'ファイル名取得
    Dim sOpenFileName As String
    sOpenFileName = GetFileName_csv
    If sOpenFileName = "" Then Exit Sub

    'ファイルを読み込んでイミディエイトウィンドウに内容を表示する
    Dim sBuf  As String
    Open sOpenFileName For Input As #1 'ファイルを開いて[#1]という番号で管理
    Do Until EOF(1)
       Line Input #1, sBuf '1行づつバッファへ格納
       Debug.Print sBuf
    Loop
    Close #1
    
End Sub

こちらの関数を使用して、Shift-JISのファイルを読み込んだ結果はこちらです。

ファイル名：SJIS.csv

No  郵便番号    住所    名前
1   859-5326    東京都春日井市向谷町１－６５    ヤマモトコーポレーション株式会社
2   987-2523    千葉県向田市山本町６５８－４４  華井　譲
3   789-0001    千葉県向田市山本町　ジンダ－ビル２F　２０１号   蓮田不動産株式会社
4   653-6567    大阪府大東市浅田８－９９９  株式会社ハッターフ
5   198-3463    鹿児島県薩摩川内市浜本１２３－７７  山本　茂

正確に読み取れてますね。

試しにこの関数を使って、UTF-8も読み取ってみました。

ファイル名：UTF-8.csv

No  驛ｵ萓ｿ逡ｪ蜿ｷ    菴乗園  蜷榊燕
1   859-5326    譚ｱ莠ｬ驛ｽ譏･譌･莠募ｸょ髄隹ｷ逕ｺ・托ｼ搾ｼ厄ｼ・繝､繝槭Δ繝医さ繝ｼ繝昴Ξ繝ｼ繧ｷ繝ｧ繝ｳ譬ｪ蠑丈ｼ夂､ｾ
2   987-2523    蜊・痩逵悟髄逕ｰ蟶ょｱｱ譛ｬ逕ｺ・厄ｼ包ｼ假ｼ搾ｼ費ｼ・闖ｯ莠輔€€隴ｲ
3   789-0001    蜊・痩逵悟髄逕ｰ蟶ょｱｱ譛ｬ逕ｺ縲€繧ｸ繝ｳ繝€・阪ン繝ｫ・巽縲€・抵ｼ撰ｼ大捷 闢ｮ逕ｰ荳榊虚逕｣譬ｪ蠑丈ｼ夂､ｾ
4   653-6567    螟ｧ髦ｪ蠎懷､ｧ譚ｱ蟶よｵ・伐・假ｼ搾ｼ呻ｼ呻ｼ・譬ｪ蠑丈ｼ夂､ｾ繝上ャ繧ｿ繝ｼ繝・
5   198-3463    鮖ｿ蜈仙ｳｶ逵瑚湊鞫ｩ蟾晏・蟶よｵ懈悽・托ｼ抵ｼ難ｼ搾ｼ暦ｼ・螻ｱ譛ｬ縲€闌・

全角が化けてしまっていますね。
前述のとおり、UTF-8を含む他の文字コードには対応していませんので、読み取る必要があれば次項をお使いください。

ADODB.Streamでcsvファイルを読み込む（UTF-8、Shift-JIS他）

ADODB.Streamで、csvファイルを読み込む方法です。
ADODB.Streamでは、UTF-8、Shift-JISを含む各種文字コードに対応しています。

以下、Openステートメントを使用したcsvファイル読込関数関数です。

' ReadCSVFile_ADODB
' csvファイル読込関数（ADODB.Streamを使用）
Sub ReadCSVFile_ADODB()
    
    'ファイル名取得
    Dim sOpenFileName As String
    sOpenFileName = GetFileName_csv
    If sOpenFileName = "" Then Exit Sub

    'ファイルを読み込んでイミディエイトウィンドウに内容を表示する
    Dim sBuf  As String
    With CreateObject("ADODB.Stream")
       .Charset = "UTF-8" 'SJISの場合、"shift_jis"
       .Open
       .LoadFromFile sOpenFileName
        Do Until .EOS
           sBuf = .ReadText(-2) '1行づつバッファへ格納
           Debug.Print sBuf
        Loop
       .Close
    End With
    
End Sub

なお、上記関数をそのままコピペすると、UTF-8に対応した関数になります。
shift_jisに対応させる場合、

.Charset = "UTF-8"

の部分を、

.Charset = "shift_jis"

に書き換えてください。

その他、UTF-8、Shift-JIS以外の文字コードで読み取る場合は、
「レジストリエディタ」の「HKEY_CLASSES_ROOT\MIME\Database\Charset」から確認してください。
レジストリエディタは、
「Windowsマーク」キーと「R」キーを同時押し→ファイル名を指定して実行の画面が出たら、「regedit」と入力してエンターを押すと開くことができます。

それでは、まずshift_jisのファイルを読み込んでみました。

ファイル名：SJIS.csv

No  郵便番号    住所    名前
1   859-5326    東京都春日井市向谷町１－６５    ヤマモトコーポレーション株式会社
2   987-2523    千葉県向田市山本町６５８－４４  華井　譲
3   789-0001    千葉県向田市山本町　ジンダ－ビル２F　２０１号   蓮田不動産株式会社
4   653-6567    大阪府大東市浅田８－９９９  株式会社ハッターフ
5   198-3463    鹿児島県薩摩川内市浜本１２３－７７  山本　茂

正確に読み取れてますね。

ファイル名：UTF-8.csv

No  郵便番号    住所    名前
1   859-5326    東京都春日井市向谷町１－６５    ヤマモトコーポレーション株式会社
2   987-2523    千葉県向田市山本町６５８－４４  華井　譲
3   789-0001    千葉県向田市山本町　ジンダ－ビル２F　２０１号   蓮田不動産株式会社
4   653-6567    大阪府大東市浅田８－９９９  株式会社ハッターフ
5   198-3463    鹿児島県薩摩川内市浜本１２３－７７  山本　茂

こちらも、正しく読み取ることができました♪

以上、今回の記事が参考になれば幸いです。
関連として、もしUTF-8について知りたい！という方はこちらの記事もご覧ください。

【ファイル】UTF-8のBOM付き、BOM無しの違い・確認・作成について

CSVファイルをExcelで確認すると文字化けすることはありませんか。それは文字コードがUTF-8のBOM無しで作成されているからかもしれません。本記事ではUTF-8のBOM付き、BOM無しの違い、確認方法、作成方法についてご紹介しています。

nyanblog2222.com

2022.07.15

投稿 【VBA】Shift-JIS・UTF-8等、各種文字コードのファイル読み込み【コピペで使えるサンプル付き】 は nyanblog ~にゃんぶろぐ~ に最初に表示されました。