Vercelは10月15日、TypeSafe AIの判断専用モデル「Jev」が、同社のAI Gatewayで過去最速の採用を記録したと公表した。提供開始から14日間で有料チームの35.3%が利用した一方、同期間の支出比率は0.27%にとどまる。自由な文章を生成せず、あらかじめ定めた問いに判断を返すAIが、広く試されながら推論費用の小さな部分を担っている。普及の速さはその用途への関心を示すが、業務を正しく自動化できるかは、速度や価格とは別に確かめる必要がある。
35.3%が測るのは、精度ではなく利用の広がり
Jevは9月15日にTypeSafeから早期アクセスとして発表され、Vercelの集計上は9月17日にGatewayで提供が始まった。今回の記録は、複数社のモデルへアクセスするVercel AI Gatewayを経由した、外部の有料チームの利用に基づく。
最初の14日間の35.3%は利用チームの比率であり、同じ期間の0.27%は支出の比率である。
Vercelの10月報告にある測定定義を、対象と分母で分けると次のようになる。
| 指標 | Jevの値 | 何を分母にした数字か |
|---|---|---|
| 最初の14日間の利用チーム比率 | 35.3% | 提供開始月の初めからデータ締切までに活動した有料チーム |
| 同じ14日間の支出比率 | 0.27% | その期間のGateway全体の有料支出 |
| 翌週の再利用率 | 55.6% | 提供開始の第1週にJevを試したチーム |
支出は公開定価からの推計で、実際の請求額とは異なり得る。再利用率は、第1週に試したチームが第2週にも利用した割合だ。日々使い続けているかや、その後も定着したかまでは測っていない。報告本文には、分母となるチーム数の実数も示されていない。
Jevの利用は有料チームへ広がりながら、Gatewayの推論費用に占める割合は小さい。軽い判断を安く何度も呼ぶ用途なら、多くのチームに使われても支出比率は小さくなり得る。ただし、この統計だけで、低価格が普及を引き起こしたと証明したわけではない。Gatewayを通らない各社APIの利用も含まないため、AI市場全体のシェアへ読み替えることもできない。
文章を作る工程を省き、候補を評価する
Jevへ渡すのは判断材料と、その材料について答えてほしい問いである。TypeSafeの説明では、候補から選ぶ「Choice」、段階を定義して採点する「Score」、肯定の確率を返す「Noul」を組み合わせる。
たとえば、問い合わせを「請求」「技術」「アカウント」の担当へ振り分ける場面を考える。Jevは返信文を書かず、どの候補が適切かを確率付きで返す。その結果を受けて転送するか、人に確認を求めるかはアプリ側が決める。これは動作を説明する例であり、特定企業の導入実績ではない。
TypeSafeは、複数の問いへの判断を並列で返す仕組みと、「確率校正のための強化学習」を意味するRLCDという学習手法を採ったと説明する。文章を順番に生成してから結果を読み取る工程を省き、繰り返す判断をソフトウェアに組み込む設計だ。質問や候補は開発者が定義するため、分類の種類を業務に合わせて指定できる。
ただし、並列処理を実現する内部構造まで独立に検証されたわけではない。後述する政治学分野の研究者も、モデル構造や学習データ、報酬の詳細が公開されておらず、開発元の説明を直接確かめられないと記している。
料金は発表時点で入力100万トークン当たり0.042米ドル、出力は無料だった。安く判断を繰り返せる設計でも、入力を読む費用や、判断を受けて実行する処理は残る。担当先の選択が速くなったからといって、その後の検索や回答生成まで同じ倍率で速くなるわけではない。
「193.6倍速い」の比較条件
TypeSafeが掲げる「193.6倍高速、444.6倍低価格」は、同社のワークフロー評価から来た数字である。同社自身が、実際に得られる改善幅の上限に近い側だろうと留保している。
評価では、同じ処理の流れを各モデルに与え、GPT-6 AstraとFable 5.1の予測確率を平均したものを参照値にした。人が付けた正解ラベルへの一致を、そのまま測る試験ではない。さらに比較するLLM側には、JevのAPIと互換性のある判断と確率を返す仕組みを付けており、TypeSafeは、確率なしで判断を返させる場合より遅く高価になりやすいと認める。
課題を作ったのも開発チームだ。これらの条件は倍率を無意味にするものではないが、「どんな分類でも同じ精度のまま同じ倍率で速くなる」という保証にはならない。短いラベルだけが必要な処理と、確率分布を使って細かく分岐する処理では、比較相手にさせる仕事も変わる。
外部研究では、速さと安さの評価が分かれる
ライデン大学のSteven Denney氏とMatthew DiGiuseppe氏は、政治学の既存7研究を再現するプレプリントでJev 1.13を評価した。政治的な文章の分類や尺度評価などを、人手による基準やGPT-6 Luna、Qwen3.8-27Bと比較している。
Jevの能力は多くの課題で比較対象と同等か近く、速度面には利点があった。一方、GPT-6 Lunaをバッチ料金で使った場合に、費用面の優位は見られなかった。短い分類ラベルなら生成する文字は少なく、Jevでは質問や回答候補も課金対象の入力に数えられる。出力が無料でも、処理全体の料金が必ず下がるとは限らないのである。
確率の扱いやすさには意味がある。説明用に、正しいと予測する確率が80%の判断を多数集め、そのうち約80%が実際に正しければ、予測と結果はよく対応している。この対応を整えるのが確率校正だ。正答率が高いモデルでも、誤るときに強すぎる確率を付ければ、自動処理と人の確認を分ける材料として使いにくい。
同研究では、各問を1回だけ尋ねた読解課題群で、Jevの確率はLunaの出力トークンの確率よりよく校正されていた。しかしQwenに対する優位は一貫せず、質問の提示順を変えて平均するなど、比較方法によっても結果は変わる。特定のモデルと条件に対する結果であり、Jevの確率があらゆる用途で正しさを表すと示したものではない。
正しい形式で返っても、判断は誤り得る
別の独立評価では、判断の速さと誤検出の負担が同時に現れた。南開大学などのXiang Li氏らが10月13日に公開した安全判定のプレプリントは、Jev 1.13.0とLLMによる判定役などを比較している。
攻撃を加える前の入力チェックでは、JailbreakBenchの有害な依頼100件と無害な依頼100件に、研究者が固定した厳しい振り分け基準を適用した。Jevは有害な依頼の79件を通過させなかった一方、無害な依頼も27件、遮断や人の確認へ回した。無害な依頼の誤検出率は27%で、95%ブートストラップ信頼区間は19〜36%だった。
ここで数えているのは完全な遮断だけではなく、人の確認に回ったケースも含む。同じ実験のAPI応答時間の中央値は0.7秒だったが、速く判定できても、確認を必要とする無害な入力が増えれば運用には別の負担が生じる。各条件100件の固定された試験であり、この27%を一般的な業務や日本語入力での誤検出率と見なすことはできない。
開発元の「型を間違えない」という説明が保証するのは、返す値の形式である。候補の中から誤った担当先を選んでも、出力形式は正しいままだ。TypeSafeも、型に一致しない出力の割合を0%とする数字は実測ではなく、形式の保証に基づくと明記している。
また、APIの確信度は、回答の確率分布から計算する指標である。その数値を、同じ数値の正答率だと解釈してはならない。TypeSafe自身も、実行を許す閾値は用途とモデルの成績に依存するため、自分のデータで試して調整するよう勧めている。取り上げた独立研究はいずれもarXivのプレプリントであり、特定の版と課題で得た結果として読む必要がある。
Jevを採用するチームが増えた先で問われるのは、判断を速く返せるかに加え、誤判断と人の確認をどれだけ減らせるかである。自社の入力でその対応を確かめ、確認の負担を含めても処理を改善できる工程を選べば、文章生成に向くモデルと判断専用モデルを、役割に応じて組み合わせられる。
