開発者のNolan Lawson氏は2026年10月28日、Claude Codeを使って同じポケモン図鑑アプリを12種類の構成で各5回生成し、API料金に換算した費用の中央値がHono+htmxの2.67ドルからAngularの4.97ドルまで開いたとする比較実験を公開した。検索に加え、タイプや世代による絞り込み機能を備えたPokédexを題材に、新規生成にかかる費用と時間、完成物の品質を比較している。金額はClaude Codeが表示するAPI料金換算額であり、月額100ドルのMaxプランを利用するLawson氏が追加で支払った金額ではない。実験では構成によって費用に差が生じたが、仕様への適合、表示速度、その後の修正のしやすさは別の評価項目である。技術選定の参考にするには、完成と認める条件や表示性能の測定方法も確認する必要がある。
同じ図鑑を各5回生成すると、費用はどう変わるのか
Lawson氏が公表した実験条件は、Claude CodeでOpus 5.5を使用し、推論設定をhigh effortとするものだ。「ベンチマークはどこにあるのか」という疑問から始めた個人の実験であり、査読を受けた研究ではない。同じモデル条件で小規模なアプリを繰り返し生成し、使用するフレームワークなどの構成によって結果がどう変わるかを調べている。
エージェントには各構成の最新安定版を使用するよう指示し、可能な範囲で公式のMCPやスキルも用意した。一方、サーバー側で描画するか、ブラウザー側で描画するかは指定していない。また、TailwindやBootstrapなどの利用は禁止した。仕様への適合を調べるテストはエージェントが参照できる状態にしたが、表示性能を測定するLighthouseの評価内容は知らせなかった。
以下はLawson氏が報告した全12構成の費用である。単位は米ドルで、各構成について5回実行した際のAPI料金換算額を示している。Angularについても、動作に失敗した試行を含む5回すべてが費用・時間・トークン数の集計対象となっている。
| 構成 | 費用中央値 | 最小〜最大 |
|---|---|---|
| Hono+htmx | 2.67 | 2.23〜3.19 |
| Astro | 2.76 | 2.16〜3.63 |
| Nuxt | 2.82 | 2.39〜4.25 |
| Vanilla | 2.98 | 2.24〜3.37 |
| Next.js | 3.14 | 2.58〜4.13 |
| Qwik | 3.27 | 2.35〜3.80 |
| TanStack Start | 3.54 | 3.11〜3.96 |
| SolidStart | 3.79 | 2.84〜4.81 |
| React Router | 3.81 | 2.82〜3.97 |
| SvelteKit | 4.28 | 3.59〜4.65 |
| Gracile+Lit | 4.65 | 3.92〜5.07 |
| Angular | 4.97 | 3.19〜6.82 |
中央値が最も低いHono+htmxと最も高いAngularの差は2.30ドルで、約1.86倍となる。ただし、試行ごとの費用にはばらつきがあり、各構成の最小値と最大値の範囲も重なっている。この結果だけで統計的な有意差の有無は判断できないが、今回の課題では構成によって生成費用に違いが生じた。
所要時間では、Astroの中央値が8.2分で最も短く、Hono+htmxが8.6分、Nuxtが9.0分、Angularが17.2分だった。費用ではHono+htmxが最も安く、時間ではAstroが最も速い。費用と所要時間の順位は必ずしも一致せず、「AIによる開発に適した構成」を単一の指標で評価することは難しい。
トークン数とドキュメントの参照状況から見える違い
トークン数の中央値はNuxtが385万で、Astroの413万、Hono+htmxの426万より少なかった。一方、Angularは976万に達した。しかし、費用が最も低かったのはNuxtではなくHono+htmxであり、トークン総数とAPI料金換算額の順位は一致していない。
このトークン数には、キャッシュからの入力データの読み出し、キャッシュされていない入力、出力が含まれる。すべてが新たに生成された文章やコードというわけではない。トークン総数を単純に「AIが書いた量」と解釈すると、エージェントがドキュメントや既存の情報を読み込みながら作業した分まで、生成量として数えてしまう。
実際、SvelteKitでは5回すべてでバージョン3への移行ガイドが参照され、Gracileではリポジトリの取得やnode_modules内のソースコードの確認が行われていた。Lawson氏は、モデルの学習データに新しい仕様が十分含まれていないことが原因ではないかと推測している。ただし、ドキュメントの参照が費用差にどの程度影響したかは、この実験では切り分けられていない。
用意された支援ツールの利用状況にも違いがあった。NuxtのMCPは使用されず、Next.jsのスキルファイルが参照されたのは5回中1回、AGENTS.mdは5回中2回だった。一方、React Routerのスキルは5回すべてで使用されている。エージェントが利用できるツールを用意しても、必ず使われるわけではないことが分かる。
The Registerは11月3日の記事で、実装手順の定型化やAPIの安定性、簡潔さが重要ではないかという見方を示した。しかし、今回の比較では支援ツールの利用状況が統一されておらず、ツールの使用による費用削減効果を調べる対照実験も行われていない。測定されたのは、モデルが必要に応じて資料を調べ、実装方法を選択しながらアプリを完成させるまでの作業全体である。
動的APIへの対応と表示性能の測定条件
公開された固定コミット時点の仕様では、HTTP経由で実行時にデータを取得することが求められ、ビルド時のデータ埋め込みや事前生成は禁止されていた。一方、描画方式はエージェントに任されている。サーバー側でHTMLを組み立てるサーバーサイドレンダリング(SSR)と、ブラウザーのJavaScriptで描画するクライアントサイドレンダリング(CSR)のどちらでも、実行時にデータを取得する要件は共通だ。
仕様への適合を確認する際には、通常のAPIを使ってビルドした後、データを一部変更し、新しいポケモンを追加したAPIに切り替えてテストする。これにより、取得先のデータが変化しても正しく動作するかを検査している。ただし、実行時に取得したAPIレスポンスをメモリにキャッシュすることは認められており、毎回すべてのデータを取得し直す必要はない。
Angularでは5回中2回、生成されたSSRアプリがlocalhost以外からのリクエストを拒否し、リバースプロキシ配下で動作させる要件を満たさなかった。Lawson氏は追記で、費用・時間・トークン数には失敗した試行を含む5回分を使用し、品質とコード行数については動作した3回分だけを集計したと説明している。したがって、以降の品質比較でもAngularのみ測定対象は3本であり、この結果をAngular全般の失敗率として解釈することはできない。
現在公開されているリポジトリのREADMEには、エージェントが生成したapp/ディレクトリだけを新しいコンテナに移し、元のテストを使って再検査する手順が記されている。また、Lighthouseによる測定前にはサーバー側のキャッシュを温める。ただし、これは現行の手順を説明したものであり、10月28日に行われたすべての試行について、当時の実行条件を固定した記録ではない。
READMEによると、APIには人工的な遅延を設定しておらず、サーバーからAPIへの通信はlocalhostの速度で行われる。一方、ブラウザーからAPIを取得する際には通信速度の制限が適用される。このため、サーバー側とブラウザー側のどちらでデータを取得するかによって通信条件が異なる。今回の実験はSSRやキャッシュの利用が費用差を生む原因を特定したものではないが、表示性能を比較するうえでは重要な測定条件となる。
Lawson氏が報告したホームページのJavaScript転送量の中央値は、Astroが0 KiB(最小〜最大は0〜1 KiB)、Hono+htmxが18 KiB、Nuxtが84 KiB、Next.jsが142 KiB(136〜143 KiB)だった。また、主要なコンテンツが表示されるまでの時間を表すLCPは、Astroが810ミリ秒、Next.jsが2,090ミリ秒となっている。これらは初回表示の測定結果であり、検索や画面遷移など、表示後の操作にかかる時間を測ったものではない。
測定には2025年モデルのFramework 13とUbuntu 24.04を使用した。Chromium上でLighthouseを実行し、CPUには4倍のスロットリング、ネットワークにはSlow 4G相当のモバイル条件を適用している。各アプリを5回測定して中央値を求め、その値を5本の生成アプリについて集計し、さらに中央値を算出した。Angularの品質測定については、正常に動作した3本だけを対象としている。
LighthouseのPerformanceスコアは97〜100、Accessibilityスコアはすべて100だったものの、JavaScriptの転送量やLCPには差があった。Chromeの公式ドキュメントでも、Performanceスコアは複数の指標を加重平均したものであり、単一の数値だけでなく、測定結果の分布を見ることが推奨されている。端末やネットワークの条件に加え、LCPの対象となる要素や画像の遅延読み込みなどによっても結果は変わるため、総合スコアと個別指標の両方を確認する必要がある。
生成費用、仕様適合、表示性能、保守性を分けて評価する
今回の結果を実際の技術選定に利用するには、生成費用の順位だけでなく、それぞれの指標が何を測定したものなのかを区別する必要がある。安く生成できることと、仕様どおりに動作し、表示が速く、その後の変更にも対応しやすいことは同じではない。
以下の表は、Lawson氏の実験結果と公開仕様、現行README、Chromeのスコア説明を踏まえ、採用時に追加で確認すべき項目を整理したものだ。新たな実測結果ではなく、同じPokédex仕様、Opus 5.5のhigh effort設定、各5回の生成という比較条件から、各指標の対象と限界をまとめている。なお、Angularの品質とコード行数に関する集計のみ、正常に動作した3回分が対象となる。
| 評価軸 | 今回の実験で分かること | 選定時にそろえる条件・追加検証 |
|---|---|---|
| 生成費用 | 同じ仕様のアプリを新規生成する際のAPI料金換算額と所要時間の違い | 同じ業務課題、モデル条件、反復回数、支援ツールの実際の利用状況、失敗を含む費用集計の対象試行数 |
| 仕様適合 | 実行時のデータ変更やリバースプロキシ配下での動作要件を満たすか | 同一のテストと配備条件で比較する。失敗を含む費用集計と、動作したアプリだけの品質評価では対象試行数が異なる点にも注意する |
| 初回表示 | 指定した端末・回線条件でホームページがどの程度速く表示されるか | APIまでの通信条件、キャッシュの状態、端末・回線条件を統一し、検索や画面遷移などの操作性能も測定する |
| 保守性の代理指標 | 生成されたソースコードの行数(空行を除く)がどの程度か | 同じ変更タスクを与え、追加のトークン消費、人間のレビュー工数、継続的な保守費用を測定する |
特に保守性について、Lawson氏が用いた代理指標は空行を除いたソースコードの行数だった。中央値はHono+htmxが1,370行、Nuxtが1,415行、Astroが1,461行、Angularが2,009行となっている。この集計にはコメントを含む一方、JSONやロックファイル、テストコード、生成物などは含まれていない。
Lawson氏は、コードの行数が少なければ、将来の編集に必要なトークン数にも影響する可能性があると指摘している。ただし、今回測定したのはアプリを新規生成する作業であり、既存コードへの変更を繰り返す作業ではない。コード行数の差から、人間によるレビューの負担や保守費用の違いを直接判断することはできない。
今後、実際の業務に近いアプリを複数回生成し、失敗した試行の費用や支援ツールの利用状況も記録したうえで、同じ変更作業をAIと人間に実施させれば、継続開発における費用差を比較できる。初回生成時の安さがその後も維持されるのか、操作性能やレビュー工数まで含めて評価することが、今回の比較結果を実際の技術選定に生かすための次の課題となる。
