Vulsar AIは2026年9月17日、24の大規模言語モデル（LLM）と人間の作品を475の創作課題で比較する「Creative Writing Bench V1」を公開した。総合ではGPT 6 Astraが人間の参照値をわずかに上回る一方、プロ作家の作品を参照する部門では人間が全モデルを大きく引き離した。ただし、この順位は読者の好みを学習した専用モデルによる予測であり、作品を読んだ人々の投票結果ではない。創作支援に使うAIを選ぶには、点数とともに、何を相手に、どの課題で、どう評価したかを読む必要がある。
総合首位でも、プロの作品との差は残る
公式ランキングの総合首位は、予測勝率87.8%のGPT 6 Astraだった。人間の参照値は86.6%。一方、アマチュア部門ではAstraとGPT 5.6 Solが人間を上回り、プロ部門では人間が99.9%で首位に立つ。
| モデル・人間参照 | 総合の予測勝率 | プロ部門 | アマチュア部門 |
|---|---|---|---|
| 人間の作品 | 86.6% | 99.9% | 79.7% |
| GPT 6 Astra | 87.8% | 76.2% | 93.9% |
| GPT 5.6 Sol | 77.6% | 63.1% | 85.2% |
出典：Vulsar AI、2026年9月17日公開、9月20日確認。人間参照は各部門に対応する作品群。総合はプロとアマチュアの課題群を合わせたもので、両部門では出題が異なる。回答拒否と空回答は採点対象から除かれる。
プロ部門では、人間の99.9%と最上位AIのGrok 4.6の78.5%に21.4ポイントの差がある。ただし、これは部門内の全比較相手に対する予測勝率の差であり、人間とGrokの直接対決の勝率ではない。差は表示値の99.9から78.5を引いて算出した。
同部門の95%信頼区間は人間が99.7〜99.9%、Grokが76.2〜80.6%となっている。対して総合では、Astraが86.7〜88.9%、人間が85.5〜87.7%で区間が重なる。これだけで差の統計的な有意性は判定できないが、総合の順位をもってAIが人間の創作能力を確定的に超えたとする読み方は避けたい。
さらに、人間の欄は一人の作家の成績ではない。部門ごとの参照作品をまとめた値である。総合の僅差とプロ部門の大差は、違う課題群を集計した結果として両立している。
「勝率」は読者の投票結果ではない
Vulsarは、人間の創作に対する好みを学習した独自の報酬モデルで、各作品に一つの評価値を与える。報酬モデルとは、人に好まれる出力へ高い点を付けるよう学習したモデルのことだ。同社の説明では、汎用LLMに採点表を渡して審査させる方式を使っていない。
計算は、同じ課題に対する二つの作品の評価値の差から、一方が他方より好まれる確率を求めるところから始まる。その確率を、採点できる相手と課題の組み合わせ全体で等しい重みで平均した値が予測勝率になる。比較相手には他のAIも含まれるため、Astraの87.8%を「人間の作品に87.8%の確率で勝つ」と読み替えることはできない。
この仕組みでは、参加するモデルや課題が変われば数字の意味も変わる。固定された物差しで文学的な能力を測った絶対点ではなく、今回の比較集団でどれだけ好まれそうかを表す相対的な指標なのだ。
回答拒否の扱いも、利用時には見逃せない。Vulsarは拒否と空回答を敗北に数えず、該当する比較を平均の分子・分母から取り除く。例えばGPT 5.6 Lunaのプロ部門は予測勝率49.7%だが、拒否・空回答の割合は11.7%ある。前者は作品が返った条件での評価、後者は作品を受け取れない頻度に関わる。
したがって、点数の高低と、依頼に応じて物語を書いてくれるかは別に確認すべきだ。創作支援の道具として選ぶなら、ランキングの勝率だけを残して拒否率を切り落とすと、使い勝手を判断する情報が欠ける。
出題の詳しさと生成条件による順位の変化
Grok 4.6は総合10位からプロ部門2位へ上がる一方、アマチュア部門では12位に位置する。Vulsarは、プロ部門の課題には具体的で詳細な条件が多く、Grokがその種の指示を得意とすることが順位上昇の一因だと説明している。
つまり、プロとアマチュアの表では、人間側の作品群と同時にAIへ与える課題も変わっている。作家の肩書だけを入れ替えた対照実験ではない。Grokの動きから読み取れるのは、創作モデルの順位が指示の内容に左右されうるということだ。細かい条件を足せば必ず品質が上がる、とまでは示していない。
生成時の設定も限定されている。各モデルは一つの課題につき短編を一つ書く。推論を無効にできるモデルでは無効にし、できないモデルでは利用可能な最低の推論強度を使う。時間をかけて考えさせたり、複数案から選び直したりする制作方法の上限を測った結果ではない。
作品の長さもそろっていない。プロ部門の平均は人間が4,528トークン、Grokが607トークン、Astraが1,745トークンである。ただし、トークンは文章をモデルが処理する単位で、共通の文字数ではない。人間作品にはQwen3.8の分割方式を使うと明記されており、この表からモデル間の文章量の厳密な倍率を求めるべきではない。
長さの差が高得点を生んだのか、十分に展開された物語が好まれたのかも、平均値だけでは分からない。プロの参照作品が高く評価された事実を保ちつつ、その原因を「人間らしさ」など一つの説明にまとめないことが必要になる。
評価するAIの確かさを、どう確かめるか
創作向けに学習した評価器を使う発想には、先行研究がある。Stanford大学のDaniel Fein氏らが2025年に発表したLitBenchのプレプリントは、Redditに由来する2,480対の作品比較を評価用、43,827対を訓練用として、評価器が人の好みを再現できるかを調べた。
同研究では、既製のLLMをそのまま判定役にした場合の最高成績はClaude 3.7 Sonnetの一致率73%で、学習した報酬モデルは78%に達した。さらに、新たにLLMが生成した作品についてもオンラインで人間による評価を行っている。これらはLitBenchの結果であり、Vulsarの評価器の精度を示す数字ではない。
LitBenchは、長さが評価を左右する可能性にも対処した。元の比較集合では好まれた側の作品が長い割合が65.25%だったため、作品間の長さの差が偏らないよう比較ペアを間引いている。文章量と好みの関係を無視せず、評価器を試すデータ自体を点検したわけだ。
Vulsarの公開説明ページには、報酬モデルの具体的な学習データ件数や評価者の構成、今回の作品に対する人手評価との一致率が示されていない。プロとアマチュアの参照作品をどう選んだかについても、詳細な基準は見当たらない。今回確認できる成果は同社サイト上のベンチマーク発表であり、査読論文として検証された結果とは区別する必要がある。
これは評価が誤っているという証拠ではない。専用の報酬モデルに有望な先例があることと、今回の評価器がどの読者層にどの程度当てはまるかは、別の検証課題である。モデル間の差を創作の優劣として強く解釈するには、生成側に加えて評価する側の確かさも知りたい。
創作支援に使うなら、点数の次に作品を読む
Vulsarは公開サンプルページで、同じ課題に対するモデルの作品を並べて読めるようにしている。順位で候補を絞り、人物の会話や物語の展開が自分の用途に合うかを実際の文章で確認する使い方はできる。公開例は英語であり、日本語の小説や長編制作でも同じ順位になるとは限らない。
また、Vulsar自身が、高得点は作品の新規性を保証しないと説明している。学習に使った人間の好みには独創性への判断が含まれるものの、既存の文章やモデルの学習データと照合して、文言や発想が新しいかを独立に検証しているわけではない。「新鮮に感じられる」と「過去に存在しない」は異なる。
創作AIの比較が、流暢に文章を出せるかから、読者が続きを読みたくなるかへ進む意義は大きい。今後、評価者の構成や人手評価との一致率が開示され、用途に近い課題でも結果を確かめられれば、この順位表は作家が試すモデルを選ぶための、より確かな手がかりになる。