Python 3.15が2026年10月9日に正式リリースされ、文字コードを指定しないテキスト入出力では、標準でUTF-8が使われるようになった。従来のPythonでは、実行環境の地域・言語設定によって既定の文字コードが異なり、同じプログラムでもmacOSやLinuxでは正常に動作する一方、Windowsでは文字化けやエラーが発生する場合があった。今回の変更によって、こうしたOS間の違いが解消される方向へ進む。

ただし、日本語の古いCSVファイルなどを扱う業務用スクリプトでは、逆に問題が発生する可能性がある。既存のプログラムが正しく動作するかどうかは、読み書きするファイルや外部システムが実際に使用している文字コードによって異なる。Python 3.15の公式変更一覧でも、バージョン間の互換性を確保するため、文字コードを明示的に指定することが推奨されている。

AD

Python 3.15で変わった、文字コードの「省略時の動作」

Python 3.15では、open("data.csv")のように文字コードを指定せずにファイルを開いた場合、標準で有効になったUTF-8モードに従い、UTF-8が使用される。これまでどおりencoding="utf-8"を指定した場合も、その設定が優先される。

つまり、Python 3.15で新しくなったのは、UTF-8形式のファイルを扱えるようになったことではなく、文字コードを指定しなかった場合に、どの文字コードを選択するかという点だ。

そもそも、Pythonのプログラムを記述する.pyファイルと、そのプログラムが読み書きするCSVやログファイルでは、文字コードの扱いが異なる。Pythonのソースファイルでは以前からUTF-8が標準となっており、UTF-8モード自体もPython 3.7で導入されていた。

一方、Python 3.14までの通常のテキスト入出力では、UTF-8モードが無効の場合、ロケールと呼ばれる地域・言語設定に基づいて文字コードが選ばれていた。これはPythonのUTF-8モードに関する公式ドキュメントやPython 3.14の入出力仕様でも説明されている。

例えば、UTF-8で保存されたREADMEファイルを読み込むだけの単純なプログラムでも、この違いが問題になる。

開発者が使用しているmacOSやLinuxの環境でUTF-8が標準になっていれば、文字コードを省略しても問題なく動作する。しかし、別の文字コードが既定になっているWindows環境などで実行すると、日本語や特殊記号を含むデータが正しく解釈されず、文字化けやエラーにつながることがある。

プログラムも読み込むファイルも同じなのに、実行する環境が違うだけで結果が変わってしまうわけだ。

Python 3.15では、標準のUTF-8モードによって、このような環境差を減らせるようになった。例えば、UTF-8で保存されたCSVファイルを読み込む場合、次の二つのコードは、標準設定のPython 3.15では同じ文字コードを使用する。

python
with open("data.csv") as f:
    text = f.read()

with open("data.csv", encoding="utf-8") as f:
    text = f.read()

ただし、古いバージョンのPythonでも動かすプログラムでは、後者のように文字コードを明示しておく方が安全だ。実行環境の設定に左右されず、「このファイルはUTF-8で読み込む」という意図がコード上で明確になる。

Python 3.15には、必要になるまでモジュールの読み込みを遅らせる遅延インポートや、新しいプロファイリング機能なども導入されている。しかし、UTF-8の標準化は、新機能を使わなくても既存のプログラムに影響する変更だ。新機能の導入予定がなくても、テキスト入出力を行うコードは確認しておく必要がある。

なぜUTF-8の標準化には長い準備期間が必要だったのか

文字コードの指定漏れは、以前からPythonのパッケージ開発や配布において問題となっていた。

例えば、文字コードの指定漏れを検出する警告機能を提案したPEP 597には、PyPIでダウンロード数上位4,000件のパッケージを調査した事例が掲載されている。

この調査では、489件のパッケージのREADMEファイルにASCII以外の文字が使われており、そのうち82件は文字コードが明示されていなかったため、UTF-8以外を標準とする環境ではソースからインストールできなかったという。

これはPEPの提案当時に実施された調査であり、現在も同じ数のパッケージに問題が残っているという意味ではない。それでも、作者名や著作権記号などがREADMEに含まれているだけで、開発者の環境では問題のなかったパッケージが、利用者の環境ではインストールできなくなるという問題をよく示している。

一方、従来のPythonの動作を前提に、地域固有の文字コードでファイルを読み書きしてきたプログラムも存在する。文字コードの標準をUTF-8に変更すると、こうしたプログラムでは、これまで正常に扱えていたデータを読み込めなくなる恐れがある。

UTF-8モードの標準化を定めたPEP 686も、この変更によって例外の発生や文字化けに加え、気づかないうちにデータが破損する可能性があると警告している。

そのため、Pythonでは移行に必要な仕組みが段階的に導入されてきた。

Python 3.10では、文字コードの指定漏れを検出するEncodingWarningと、実行環境のロケールに従うことを明示するencoding="locale"が追加された。EncodingWarningは通常無効になっているが、必要に応じて有効化できる。

続くPython 3.11では、UTF-8モードが有効な場合でも、encoding="locale"を指定すれば実際のロケールに従うように修正された。

こうした準備を経て、Python 3.15でUTF-8モードが標準で有効になったのである。

文字コードを取得するAPIにも注意が必要

移行時には、現在の文字コードを調べるAPIの違いにも注意したい。

従来から使われているlocale.getpreferredencoding(False)は、UTF-8モードの影響を受ける。Python 3.15の標準設定ではUTF-8を返すため、この関数を呼び出しても、OSのロケール本来の文字コードを取得できるとは限らない。

ロケールそのものの文字コードを取得したい場合は、Python 3.11で追加されたlocale.getencoding()を使用する。この関数はUTF-8モードの影響を受けず、ロケールに基づく文字コードを返す。

また、従来の動作が必要な場合は、環境変数PYTHONUTF8=0または起動オプション-X utf8=0を指定することで、UTF-8モードを無効にできる。

これにより、旧バージョンとの動作の違いを調べたり、既存の処理を一時的に維持したりすることが可能だ。ただし、UTF-8モードを無効にするだけでは、ファイルごとにどの文字コードを使うべきかがコード上で明確になるわけではない。長期的には、必要な箇所で文字コードを明示することが望ましい。

AD

日本語のCP932ファイルや外部コマンドでは問題が起きる可能性

日本語環境で特に注意が必要なのは、CP932などの従来の文字コードで保存されたファイルを扱うプログラムだ。

例えば、CP932で保存されたCSVファイルを、これまで文字コードの指定なしで読み込んでいたとする。実行環境の既定の文字コードがCP932だったために正常に動いていた場合、Python 3.15では同じコードがUTF-8としてファイルを読み込もうとする。

その結果、日本語部分でデコードエラーが発生したり、データを正しく解釈できなくなったりする可能性がある。

ファイルがCP932で保存されていることが確認できているなら、次のように明示すればよい。

python
with open("data.csv", encoding="cp932") as f:
    text = f.read()

Pythonの公式コーデック一覧では、CP932はwindows-31jなどの別名を持つ文字コードとして掲載されている。また、shift_jisとは別のコーデックとして定義されているため、両者を無条件に同一視することも避けたい。

重要なのは、今回の変更が、文字コードを省略した際の動作を変えるものであり、既存ファイルの文字コードそのものを自動的に変換するわけではないという点だ。

Python 3.15のテキスト入出力、subprocess、コーデックの公式仕様を整理すると、主な影響は次のようになる。

入出力の条件 Python 3.15での動作 推奨される対応
UTF-8ファイルを文字コードの指定なしでopen()する 標準でUTF-8を使用する 旧バージョンとの互換性が必要ならencoding="utf-8"を明示
CP932ファイルを文字コードの指定なしでopen()する UTF-8として読み込み、エラーや文字化けが発生する可能性 ファイルの文字コードを確認し、encoding="cp932"を指定
encoding="locale"を指定する UTF-8モードが有効でもロケールの文字コードを使用する 実行環境の文字コードに従う必要がある場合に使用
外部コマンドをtext=Trueで実行し、文字コードを省略する パイプのテキスト変換にUTF-8を使用する 外部コマンドの出力形式を確認し、必要な文字コードを明示
ファイルやパイプをバイナリモードで読み込む 文字コードによる自動変換は行われない 必要な段階で正しい文字コードを指定して変換

※Python 3.15は標準のUTF-8モードを前提としている。従来との比較は、UTF-8モードを無効にした非UTF-8ロケール環境での動作を対象とする。

このように、UTF-8で保存されたデータを扱うプログラムでは、環境による違いが減る一方、従来の文字コードに依存していた処理では明示的な指定が必要になる。

なお、ライブラリが独自に文字コードを決定している場合や、起動時の設定でUTF-8モードを変更している場合は、それぞれの仕様を確認する必要がある。

CSVの拡張子や作成したOSだけでは文字コードを判断できない

注意したいのは、ファイル名の拡張子が.csvだからといって、文字コードが決まるわけではないことだ。

Windowsで作成されたCSVだから必ずCP932というわけでもなく、UTF-8で保存されたCSVも広く使われている。重要なのは、ファイルの作成元や出力仕様を確認することだ。

また、UTF-8のファイルには、先頭にBOM（バイト順マーク）と呼ばれる識別用のデータが付いている場合がある。

BOM付きUTF-8ファイルを読み込む場合は、必要に応じてencoding="utf-8-sig"を使用できる。この指定では、先頭にBOMが存在すれば読み込み時に取り除かれる。一方、通常のencoding="utf-8"では、BOMは文字として残る。

Python 3.15でUTF-8が標準になったからといって、ファイルの文字コードやBOMの有無を自動判別してくれるわけではない。

外部コマンドとの文字コードの不一致にも注意

外部プログラムとの連携でも、同様の問題が発生する可能性がある。

Pythonのsubprocess.run(..., text=True)は、外部コマンドが出力したバイト列を文字列へ変換する機能だ。Python側がUTF-8で解釈しようとしても、呼び出したプログラムがCP932で出力していれば、文字コードが一致せずエラーや文字化けにつながる。

例えば、CP932で出力することが分かっているWindows用の旧式ツールを実行する場合は、次のように指定できる。

python
import subprocess

result = subprocess.run(
    ["legacy-tool.exe"],
    capture_output=True,
    text=True,
    encoding="cp932",
)

また、環境変数PYTHONIOENCODINGを設定すれば、すべての文字コード問題を解決できるわけでもない。

この環境変数はPython自身の標準入力や標準出力の文字コードを変更するためのものだが、subprocessで作成したパイプの文字コードを一括して変更する仕組みではない。実際、PEP 686ではPYTHONIOENCODINGをsubprocessのパイプにも適用する案が検討されたものの、採用されなかった。

そのため、Python自身が標準出力へ書き出すデータと、外部コマンドから受け取るデータは、別々に文字コードを確認する必要がある。

Python 3.15への更新前に確認したいこと

Python 3.15への移行に当たっては、まず既存のプログラムで文字コードを省略している箇所を洗い出すことが重要になる。

この作業に利用できるのが、Python 3.10から導入されているEncodingWarningだ。

-X warn_default_encodingオプションを付けてプログラムやテストを実行すると、文字コードを省略している処理について警告を表示できる。Python 3.15の公式入出力ドキュメントでも、この機能を使った確認方法が案内されている。

ただし、警告が表示されるのは実際に実行された処理に限られるため、普段は使わないデータ取り込み機能や外部コマンドとの連携処理も含めてテストする必要がある。また、すべてのライブラリやAPIで指定漏れが検出できるとは限らない点にも注意したい。

PEP 686では、UTF-8モードを無効にした状態で警告を有効化して問題箇所を特定し、文字コードの指定を修正した後、UTF-8モードを有効にして再度テストするという移行手順が示されている。

Python 3.15では、次のコマンドで両方の動作を確認できる。

plaintext
python -X utf8=0 -X warn_default_encoding app.py
python -X utf8=1 -X warn_default_encoding app.py

テストには、日本語や特殊記号を含む実際のデータを使用することが望ましい。英数字だけのデータで正常に動作しても、日本語を含むファイルで同じ結果になるとは限らないからだ。

特に、古いCSVの項目名が正しく読み込めるか、書き出したファイルを別の業務システムで問題なく開けるかといった点は確認しておきたい。

また、単にエラーが発生しなかったというだけでは十分ではない。PEP 686が指摘するように、文字コードの不一致によって気づかないうちにデータが破損する可能性もある。読み込み前後の文字列や、書き出したファイルの内容まで比較する必要がある。

新しく作成するファイルやシステム間でやり取りするデータをUTF-8に統一できるなら、その仕様を接続先とも共有する。一方、旧式のシステムとの互換性を維持しなければならない場合は、ファイルや外部コマンドごとに適切な文字コードを明示することが重要だ。

Python 3.15のUTF-8標準化は、OSごとに文字コードの扱いが異なることによる不具合を減らす、大きな改善といえる。ただし、既存のデータがすべてUTF-8に変わるわけではない。

今回の変更を安全に活用するには、文字コードの指定を省略しても動作することと、扱うデータの文字コードが正しく指定されていることは別の問題だと理解しておく必要がある。既存コードの入出力仕様を確認し、適切な文字コードを明示しておけば、PythonのバージョンやOSが変わっても安定して動作するプログラムを維持しやすくなる。