AI研究企業Tufa LabsのTommy He氏が開発した可逆圧縮ソフトウェア「tufazip v2」は、英語版Wikipediaから抽出した10億バイト(1 GB)のデータを、復号に必要なファイルも含めて105,388,353バイト(約105.39 MB)に圧縮した。2026年9月30日に提出されたこの方式は、Transformerによる予測とオンライン学習を組み合わせ、元のデータを完全に復元できるようにしたものだ。10月14日付の研究報告によると、9月7日に提出された初版に対して事前学習済みモデルを導入したことで、圧縮データ自体は約4.97 MB縮小した。しかし、復号に必要なモデルの容量が増えたため、最終的な削減量は約0.59 MBにとどまった。
この方式の特徴は、圧縮する側だけでなく、復号する側もデータを読みながらAIモデルを学習する点にある。圧縮率を高められる一方、復号にも膨大な計算が必要で、10億バイトのデータを元に戻すには約7.5日を要する。
復号側でもAIモデルを学習させる仕組み
tufazipは、テキストを元のバイト列に復元できる形でトークンに分割し、Transformerを使って次に現れるトークンの確率を予測する。その予測結果に基づいてデータを符号化するのが「算術符号化」だ。算術符号化では、各トークンに予測確率に応じた幅の区間を割り当て、実際に出現したトークンに対応する区間を順次選択していく。出現するトークンの予測確率が2倍になれば、理想的には符号化に必要な情報量が1ビット減る。復号側でも同じ確率を計算できれば、圧縮されたビット列から元のトークンを正確に復元できる。
He氏が参考にしたのは、Transformerとオンライン学習を組み合わせた可逆圧縮ソフトウェア「NNCP」だ。tufazipでも圧縮側と復号側は同じ初期重みから処理を開始し、それまでに読み取ったトークンを使って次のトークンを予測する。圧縮側が符号化したトークンを復号側が読み出すと、双方が同じデータを使ってモデルの重みを更新し、次の予測へ進む。確率計算と学習処理が決定的、つまり同じ入力と状態から必ず同じ結果を得られる仕組みであれば、更新後のモデル全体を送らなくても、復号側で同じ学習結果を再現できる。
tufazipは新しいデータを学習するだけでなく、すでに処理したテキストを繰り返し学習する「リプレイ」も採用している。復号側にも同じテキストがあるため、追加の学習データを保存する必要はないが、学習回数が増える分だけ計算負荷は大きくなる。研究チームが1億6,300万パラメータのモデルと4K語彙のトークナイザーを使って比較したところ、リプレイの対象を1,500万トークンから3,500万トークンに増やすと、圧縮データは107.22 MBから105.92 MBに減少した。削減量は1.30 MB(1.21%)だった一方、オンライン学習とリプレイを含むモデルの推定演算量は約40%増加した。
v2では、学習済みの初期モデルを小さく保存するために「Cycle2(C2)」と呼ばれる構成を採用した。事前学習した2つのTransformerブロックを交互に複製して12層のモデルを構築し、動作時には各層を独立して学習させる仕組みだ。完成したモデルは1億6,300万パラメータを持つが、復号側に渡す初期重みは量子化によって4,334,741バイトに抑えられている。事前学習によって予測精度が向上しても、その重みを保存する容量を上回る分だけ圧縮データを減らさなければ、全体の容量削減にはつながらない。
圧縮データは約4.97 MB減少、総容量の削減は約0.59 MB
tufazipが参加した「Large Text Compression Benchmark」は、Matt Mahoney氏が運営する可逆圧縮のベンチマークだ。対象となる「enwik9」は、2006年3月3日付の英語版WikipediaのXMLダンプから先頭10億バイトを抽出したデータである。順位は圧縮データのサイズだけでなく、復号プログラムや必要な辞書、モデルの重みなどを収めたZIPファイルの容量を合算して決まる。つまり、復号に必要な情報を別のファイルに移すだけでは、圧縮性能を改善したことにはならない。
ベンチマークの公式記録によると、2026年9月に提出された初版とv2の結果は次のようになった。
| 項目 | 初版(v1) | v2 |
|---|---|---|
| 圧縮データ | 105,924,360バイト | 100,958,324バイト |
| 復号用ZIP | 54,709バイト | 4,430,029バイト |
| 合計 | 105,979,069バイト | 105,388,353バイト |
事前学習済みモデルの導入によって、圧縮データは4,966,036バイト減少した。一方、復号用ZIPは4,375,320バイト増加しており、差し引きの削減量は590,716バイトとなる。初版の総容量に対する改善率は約0.56%だ。圧縮データだけを見ると大幅な改善だが、モデルの保存容量まで含めると効果は小さくなる。
研究チームは、より多くの学習済み重みを保存する構成も比較した。6層の事前学習モデルを利用する「L6」では、圧縮データを99.173 MBまで縮小でき、C2より約1.79 MB小さくなった。しかし、L6は復号用ファイル一式が10.945 MBに達するため、合計容量は110.118 MBと、C2より約4.73 MB大きくなった。He氏は圧縮データ単体ではなく、復号に必要なファイルを含む総容量を基準としてC2を採用した。
さらに、enwik9の先頭1億バイトを使う「enwik8」でも比較が行われた。この試験では、C2の総容量が17.58 MBだったのに対し、オンライン学習だけを使う構成は15.15 MBと小さかった。一方、データ量が10倍のenwik9ではC2のほうが有利になった。事前学習済みモデルを保存するための固定的な容量負担は、圧縮対象が大きくなるほど回収しやすくなる。ただし、今回の2つのデータは同じWikipediaのダンプから抽出したものであり、C2が有利になる正確なデータ量の境界は特定されていない。
なお、研究報告に記載されたMB単位の数値は10進表記で、一部は丸められている。
復号に約7.5日、容量削減と処理速度には大きな差
He氏によると、tufazipの初版は9月7日の提出時点でLarge Text Compression Benchmarkの2位だった。その後、ほかの方式による記録更新が続き、総容量をさらに削減したv2は11月19日更新の総合ランキングで13位となっている。順位を決めるのは復号用ファイルを含む総容量であり、圧縮・復号時間やメモリ使用量は評価に含まれない。Tufa Labsはv2について、次のトークンの予測にニューラルネットワークだけを用いる掲載方式の中では最小の総容量を達成したと説明している。
一方、処理時間は極めて長い。開発者がGitHubで公開したREADMEとベンチマークの版別記録によると、v2の圧縮には631,548秒(約7.3日)、復号には645,748秒(約7.5日)を要した。圧縮時間には、初期モデルの事前学習にかかった時間は含まれていない。
なお、ベンチマークの総合順位表には、v2の圧縮時間として647,595秒、復号時間として630,136秒が掲載されているが、これらは同じページの版別記録では初版の数値に一致する。Tom's Hardwareの11月21日付記事も、v2についてはREADMEと版別記録にある631,548秒、645,748秒を採用している。
公開されている復号プログラムの実行には、Linux x86-64環境と、システムから認識できるNVIDIA B200 GPUがちょうど2基必要になる。GitHubのREADMEには必要なCUDAやPythonなどの実行環境に加え、圧縮データと復元後のenwik9のSHA-256ハッシュ値も掲載されている。これにより、復号を実行した利用者は、復元したデータが元のバイト列と完全に一致するかを検証できる。tufazipは大きな学習済みモデルを配布せずに済む一方、復号側でも学習処理を繰り返すため、多くの計算資源と時間を必要とする。
処理速度の違いは、ほかの圧縮方式と比べるとさらに明確になる。同じenwik9を対象とする「DNA-4」は、ベンチマークで復号用ファイル込みの総容量105,554,360バイトを記録している。tufazip v2のほうが166,007バイト小さいものの、DNA-4の復号時間は9,517秒(約2.64時間)だった。DNA-4はNVIDIA RTX 4090とIntel Xeon Platinum 8352Yを使用しており、圧縮方式も実行環境も異なるため、単純に処理性能を比較することはできない。それでも、ほぼ同じ保存容量を達成する方式の間で、復号に必要な時間が大きく異なることが分かる。
今回の結果は、固定のWikipediaテキストに対する圧縮性能を測定したものであり、事前学習に必要だった総時間や消費電力は公表資料から確認できない。今後は、初期モデルの重みをさらに小さくしながら予測性能を維持できるか、異なるテキストでも追加したモデル容量を上回る圧縮効果が得られるかが課題となる。また、入力データと実行環境をそろえて処理時間や計算コストを比較することで、保存容量の削減と復号に必要な時間のどちらを優先すべきか、用途に応じた評価が可能になる。



