Rocky Linuxを立ち上げたGregory Kurtzerが、AIの学習データを共同で整備するOpenWALDOを公開した。ライブインデックスは2026年8月13日、2028億3458万1119参照トークンに達している。前日にThe Registerが確認した約1673億から8時間ほどで約21%増えた計算だ。ただし、このプロジェクトの価値はデータ量競争より、どのデータを、どの条件で、どのモデルに使ったかを第三者がたどれる仕組みにある。
1673億から2028億へ、8時間で増えた公開コーパス
2026年8月13日00時49分（UTC）時点の公開インデックスには、47のコーパス、949個のParquetシャード、9774万1086文書が登録されている。status.jsonが報告するencoded bytesは約2566億バイトだ。各シャードには文書数とトークン数を載せる。さらに、出所とライセンス主張を記録し、SHA-256ハッシュで同一性を固定する。ライブ集計はGitのコミット6f07b0bを指している。
増加の中身はGit履歴から追える。The Registerが約1673億トークンを記録したのは8月12日16時57分（UTC）だった。その7時間51分後、OpenWALDOはPubMed Centralのオープンアクセス論文355億0367万0607トークンを追加した。約355億トークンの増加分は、ほぼ全量がこの1コミットで説明できる。
分野別の構成は次の通りである。
| 分野 | コーパス数 | 参照トークン数 |
|---|---|---|
| science | 5 | 844億1768万3415 |
| core | 17 | 752億8207万0378 |
| government | 4 | 191億2965万4689 |
| code | 5 | 127億2561万6820 |
| community | 10 | 65億0914万7414 |
| law | 1 | 46億2107万1246 |
| post-train | 4 | 1億1717万3399 |
| math | 1 | 3216万3758 |
科学論文と汎用資料が全体の大半を占め、指示学習などに使うpost-train群は約0.0578%しかない。量は急増しているが、現状の中身は事前学習用テキストへ大きく傾いている。公開コーパスがモデルの対話性能をそのまま決めるわけではない。
新しいのはデータ量よりAI BOM
OpenWALDOは、大容量データをGitリポジトリへ押し込まない。Gitにはコーパスの説明と出所を置く。ライセンスの主張と変換方法も記録し、件数とオブジェクト参照を同じ履歴で管理する。本文データは正規化したParquetとして外部のlookaside storageへ保存し、内容から計算したSHA-256で識別する。Gitの変更内容は「何を意味するデータか」を、人がレビューできる大きさに保つ。
利用者がコーパスを選ぶと、WALDOはインデックスのrevisionと対象manifestを固定する。sourceとlicenseを解決し、shardごとの件数とhashを束ねたBill of Materials（BOM）を作る。その記録は学習計画で終わらず、開始ウェイトを記録するORIGIN-BOM、実行環境と損失、checkpointを記録するRUN-BOM、配布物を記録するBOMへ渡る。ソフトウェアで依存部品を追うSBOMに近い考え方を、学習データとモデルのライフサイクルへ持ち込んだ設計だ。
寄稿にはDeveloper Certificate of Origin（DCO）のsign-offを求める。誰がどの主張を持ち込んだかが公開履歴に残り、誤りは同じGitの変更として訂正できる。匿名のファイル置き場より責任の所在は明確になる。
それでも、ハッシュが証明するのは同一性と整合性である。OpenWALDO自身も、ライセンス主張が法的に正しいこと、上流のGitリポジトリが将来も同じcommitを配ること、trainerが選択データをすべて消費したことまでは保証しないと明記している。DCOも再配布権の審査を自動化しない。監査の入口を揃える仕組みであり、法務と品質評価は人に残る。
83.13%がCommon Pile由来という出発点
ライブインデックスを出所URLで集計すると、24コーパス、1686億0655万0174トークンがCommon Pile由来だった。全体の83.13%である。最大のpeS2o、2番目のPubMedに加え、Stack Exchange、Wikimedia、1929年以前の書籍など上位群の多くが、Common Pileのfiltered releaseを取り込んでいる。
Common Pile v0.1は2025年にNeurIPSで発表された、8TB超の公開領域・オープンライセンス文書群だ。30を超える出所を収め、7Bモデルを1兆トークンと2兆トークンで学習したcheckpointまで公開した。OpenWALDOは、この先行資産の一部を新しい監査形式へ変換し、他の政府資料、コード、メーリングリストと同じ索引から選べるようにしている。現在の独自性は、新規収集した文章の多さより、既存データを同じ証拠形式へ揃えた点にある。
規模も発展途上だ。Ai2のDolmaは3兆トークンの公開コーパスで、OpenWALDOの現在値はその約6.76%に当たる。Qwen3は約36兆トークンで事前学習されており、OpenWALDOは約0.563%である。ただし、OpenWALDOの新しいPubMed manifestはcl100k_baseで参照トークンを数える一方、モデル側は別のtokenizerを使い、同じデータを重み付けや反復で複数回読む。比率は桁の違いを測る目安であり、学習能力の比ではない。
データを増やすだけでも足りない。どの分野を何度読ませるか、重複と低品質文書をどう落とすか、指示学習と選好学習を何で補うかがモデル性能を変える。OpenWALDOのpost-train群は1億1717万3399トークンで、WALDOの公式roadmapでもSFTとpreference trainingは未実装だ。公開データの透明性は前進したが、競争力のあるモデルへ変換できるかはまだ測られていない。
EUの執行開始後に現れた透明性インフラ
欧州委員会は2026年8月2日、汎用AI（GPAI）モデル提供者に対する執行権限を発効させた。OpenWALDOの発表は、その10日後である。GPAI提供者はAI Act第53条に基づき、学習に使った内容の公開サマリーを指定テンプレートで出さなければならない。オープンソースで公開するモデルも、著作権方針と学習内容サマリーの義務は免れない。
サマリーはデータの種類と規模、公開・非公開データセットを扱う。対象にはWebクロールとユーザーデータも含む。合成データと処理方法も記載する。追加学習を行うモデルでは少なくとも6カ月ごとに更新し、内容が大きく変わる場合はそれより早く更新する。違反に対する制裁は、前年度の世界売上高3%か1500万ユーロの高い方まで達し得る。動的に増えるコーパスと実際の学習実行を分けて記録するBOMは、この更新作業と相性がよい。
WALDOはEU向けの機械可読な開示JSONと不足項目の検査を実装している。だが、欧州委員会の公式Wordテンプレートを生成する機能は未完成で、開発文書も出力だけで法令遵守を成立させないと釘を刺す。発表時期と規制需要は重なるものの、CIQはEU規制をプロジェクト開始の理由として公表していない。制度対応は有力な用途であって、発足理由と断定する材料はない。
Open Source Initiative（OSI）のOpen Source AI Definition 1.0も、十分なデータ情報、学習・実行コード、モデルパラメータを改変に適した形で提供するよう求める。OpenWALDOはデータと学習記録を支える部品になれる。しかし、公開されたモデルパラメータがない現在、OpenWALDOそれ自体は完成したオープンソースAIシステムではない。
モデルを生む前に埋めるべき三つの穴
第一の穴は、実用モデルと評価結果がないことだ。The RegisterはCIQにOpenWALDOコーパスで学習したモデルがあるか尋ねたが、回答を得られなかった。公式サイトにも公開モデル、ベンチマーク、学習費用の実測値はない。BOMが正しくつながっても、データ混合の質やモデル性能は別に検証しなければならない。
第二は計算規模である。WALDOはApple SiliconのMLX、Linux上のPyTorch、単一ノードのTorchTitanで学習を実行できる。一方、一般的なHugging Faceのトークナイザーとアーキテクチャ、マルチノード実行、PyTorchでの生成、教師ありファインチューニング（SFT）、選好学習、正式な公開パッケージは未対応だ。36兆トークン級の事前学習を共同体が回すには、データの共有に加えて大規模計算を誰が負担し、失敗した学習実行をどう再現するかという仕組みが要る。
第三は共同体の制度設計だ。WALDOのCLIコードはApache-2.0だが、2026年8月13日のcommit 6f07b0bでwaldo-indexのrootにはLICENSEファイルがなく、GitHub APIもlicenseをnullと返す。個々のコーパスには51種類のlicense expressionが記録されているものの、索引の説明文やmetadata自体を再利用する条件は別に明示した方がよい。公開から日が浅く、CLIは2 stars、indexは1 star、どちらもforkはまだないため、CIQ主導から継続的な外部寄稿へ移れるかも判断できない。
OpenWALDOの成否を決めるのは、2028億という数字が36兆へ近づく速さではない。同じBOMを使って第三者が同じデータ選択を取り出し、別の計算環境でモデルを再学習し、その差を公開のGit履歴へ戻せるかどうかだ。その循環が動けば、学習データは企業ごとの秘密の在庫から、共同で改善できるインフラへ変わる。
