TypeSafe AIが2026年9月15日に公開した判断専用モデルJevは文章を生成せず、判断材料と型付きの質問から選択肢と確率だけを返す。公開2日後の第三者ベンチマークは、フィッシングと正常のメール計2,000通を単一の判定質問で分けさせるとJevが62.6%、Claude Haiku 4.5が81.3%だったと報告した。同じ検証の別の測定では、判断を5つの問いへ分け、半分の1,000通のラベルで重みを決めて残り1,000通を採点すると、Jevは95.0%に届く。判断だけを返す専用モデルという発想自体は新しくなく、2018年のBERTが示した型の重みbert-base-uncasedは今もHugging Faceから月4,700万回超取得されている(2026年9月19日時点)。95.0%を作ったのが新しいモデルの類型なのか問いの分け方なのかで、この数字の読み方は変わる。

AD

公開2日後の検証で、Jevはフィッシング判定の単一の問いでHaikuに負けた

Jevは2026年9月15日に早期アクセスで公開され、その翌日に懐疑的な海外報道が出た。さらに翌日の9月17日には、公開コード付きの第三者ベンチマークが2件並んだ(日付は各リポジトリが記した測定日である)。うちフィッシング判定は正規表現ルールとClaude Haiku 4.5を対照に置き、エージェントのツール呼び出しリスク分類はjev-latestとjev-previewという2つの呼び名を比べるだけで対照を置いていない。9月18日にはPython向けSDKのtypesafe_sdk 0.7.0がPyPIへ上がった。

最初の検証は、PhishNChips v5.2というデータセットの2,000通(フィッシングと正常が各1,000通)をフランスから測っている。メール本文は作者がLLMで生成した合成文で、正解ラベルはURL評判フィード由来であり、人が全通を読んで付けたものではない。システムごとにプロンプトは1本、比較相手のClaude Haiku 4.5はthinkingなしで、著者は安価で速い側だと明記する。

「このメールはフィッシングか」だけを聞く単一の判定質問では、Jevの正答率が62.6%、Haikuが81.3%だった。ランキング性能を示すAUROCは0.689対0.837、較正誤差ECE(期待較正誤差、10ビン)は0.154対0.097で、いずれもJevが下回る。逆に応答時間の中央値は239ミリ秒対687ミリ秒、1,000通あたりの費用は0.038ドル0.462ドルで、約2.9倍速く約12倍安い。ネットワーク下限はJevが163ミリ秒、Haikuが18ミリ秒と大きく違う。同社が掲げる193.6倍・444.6分の1とは比較相手が違う。

Jevへの問いかけは、LLMへのプロンプトとは形が違う。公式ドキュメントによれば、APIは判断材料をまとめたstateと型付きのquestionsを受け取り、質問の型は候補から1つを選ぶChoice、順序付き尺度を返すScore、「はい」の確率を0から1で返すNoulの3つだ。全質問は同じstateに対して並列かつ独立に評価され、文章は一切生成されない。課金は入力トークンのみで10億トークンあたり42ドル、出力トークンは無料だから、質問を何問足しても出力側の課金は増えない。この価格設計と並列性が、「問いを増やす」使い方の前提になる。

「出力層を1つ足す」というBERTの型と、bert-base-uncasedの月4,700万回

判断だけを返す専用モデルの代表的な型を示したのは、2018年10月11日投稿のBERT論文である。Jacob Devlinら4名は、事前学習済みのBERTが「出力層を1つ追加するだけ」で幅広いタスクの記録を塗り替えるモデルへ微調整でき、タスク固有のアーキテクチャ変更をほぼ要さないと書いた。実際に11件の自然言語処理タスクで記録が更新され、GLUEスコアは80.5%(絶対7.7ポイントの改善。当時のリーダーボードでOpenAI GPTは72.8)だった。

論文が挙げる利点は微調整の安さだ。事前学習には大きな計算が要るが、全結果が単一のCloud TPUで最大1時間で再現でき、SQuADは約30分でDev F1 91.0%に達したと論文は述べる。BERT-Baseは層12、隠れ次元768、ヘッド12で1億1000万、BERT-Largeは層24、隠れ次元1024、ヘッド16で3億4000万パラメータである。

共通の重みは一度作れば使い回せるが、代償はタスクの数だけ微調整済みモデルが増えることで、感情分析とスパム判定と意図分類を同時に回す現場は3つの別モデルを抱える。

系譜は途切れていない。RoBERTa(2019年7月)はBERTが大幅に学習不足だったと結論し、DeBERTa(2020年6月)の15億パラメータ版はSuperGLUEのマクロ平均89.9で人間ベースラインの89.8を上回り、直近のModernBERT(2024年12月、Answer.AIとLightOn)はbase 1億4900万、large 3億9500万パラメータ、系列長8192で出た。

2026年9月19日にHugging Faceで確認した月間ダウンロード数は、bert-base-uncasedが47,236,960、ModernBERT-baseが4,489,330だった。直近の後継より、2018年のオリジナルのチェックポイントのほうが10倍以上取得されている。ダウンロードには継続的インテグレーションの再取得も含まれ得るため需要の代理指標にとどまるが、8年前の重みが今も取られ続けている事実は動かない。

Jevとの分かれ目の一つが、この「タスクごとに別モデル」だ。TypeSafeのドキュメントは、現行のjev-1.13.0で全アカウントが同じ重みを使い、顧客データによるfine-tuningやLoRA適応は行わないと明記する。BERTの型ではタスクが学習時に決まるのに対し、Jevの契約ではタスクを実行時の質問文が決める。

AD

LLMは専用分類器を置き換えたのか

long-context-signal-degradation.webp

2020年5月28日投稿のGPT-3論文は、1750億パラメータのモデルを、勾配更新も微調整もなしに、テキストでタスクと少数例を指定するだけで全タスクへ適用したと述べた。ここから分類器を学習させる必要はないという見方が広がる。その見方は、形式の層と判断の層で別々の結末を迎えた。

形式の層はほぼ決着した。OpenAIは2023年11月6日のDevDayでJSON modeを発表し、response_formatの指定で構文的に正しいJSONへ制約できるとした。2024年8月6日のStructured Outputsでは、JSON modeがスキーマへの適合までは保証しないと自ら書いたうえで、複雑なJSONスキーマ追従の自社評価でgpt-4o-2024-08-06が100%、gpt-4-0613が40%未満だったと報告した。Googleも2024年9月3日のブログで、Controlled GenerationをGoogle I/OでGemini 1.5 Proへ導入し、その後1.5 Flashにも広げたと説明している。

同じ考え方の代表例が、2023年7月19日投稿のOutlines論文だ。生成を有限状態機械の状態遷移として定式化し、語彙にインデックスを張って、次のトークンを選ぶ瞬間にスキーマ上あり得ない候補の確率を落とす。形式が外れないことは機械的に保証できても、そのスキーマへ入った値が正しいかどうかは保証されない。

2024年11月7日投稿の政治学5タスクの比較(GPT-4oを使用)では、8クラスの政党マニフェスト分類で、BERTを200サンプルで微調整したものが53.9%、GPTのプロンプト手法は最大48.8%だった。判断の層では、結果がタスクによって割れる。

一方、20クラスのCOVID政策分類では500サンプルの微調整が65.7%、プロンプトが65.8%でほぼ並ぶ。微調整は同タスクの200サンプルで55.3%、1000サンプルで71.3%へ伸びた。

費用の交差点も同じ実験にある。同論文は20クラスのCOVID政策タスクで、毎秒100サンプルの推論を前提にすると、zero-shotプロンプトの累積費用が150件から200件のあたりで微調整に追いつくと示した。そのタスクの条件下の数字で、分類一般の損益分岐点ではない。

法務契約条項の1データセットでは差が開いた。単一ラベル分類(CUAD-SL)で、微調整したDeBERTaが87.8%、GPT-4のzero-shotプロンプトが67.2%である(2025年、Artificial Intelligence and Law誌)。20クラスで並び、8クラスと法務条項で離れるのだから、単一の論文から「LLMが勝つ」とも「分類器が勝つ」とも言えない。

LLMを分類器として長い文脈で使うと、別の劣化も出る。Martin & Roger(2026年5月12日投稿)は、危険な操作が80万トークンの無害な活動の後に現れると、Opus 4.6、GPT 5.4、Gemini 3.1が単独で現れる場合の2倍から30倍の頻度で見逃したと報告した。Jevが全質問を同じstateへ並列かつ独立に評価する契約は、質問どうしの干渉を避ける設計になっている。一方で各質問は同じ長さのstateを読むため、stateが長いときの劣化には効かない。その劣化はJev自身が失敗モードとして開示している。

何を公開し、何が書かれていないのか

jev-undisclosed-architecture-blackbox.webp

レート上限は毎秒250,000トークンと毎分1,200リクエスト、コンテキストは64kトークンでstateと最長質問1つが32kトークン。入力はテキストのみ。モデルはjev-1.13.0の1本で、jev-latestjev-previewはどちらも同じ実体を指す。

一方で、モデルカードに普通載る項目が抜けている。TypeSafeは価格もレート上限も文脈長も数値で公開し、失敗モードも自分から並べている。一方、アーキテクチャの種別、パラメータ数、層構成、学習データ、RLCDの報酬関数と学習規模は、公式ドキュメントと公式ブログの範囲では書かれていない。会員限定の資料や今後追加されるページは対象外で、早期アクセス段階の製品ドキュメントとしては珍しい欠落でもない。それでも公開範囲だけを見るかぎり、エンコーダ型かデコーダ型かという最初の問いに答える材料がない。

応答時間の数字は、逆にドキュメントの複数のページに出てくる。ドキュメントのHow to build with System Oneは「ほとんどのクエリは約100ミリ秒で完了する」と書き、Use case mapは「リアルタイム速度(150ミリ秒)でフロンティア級の知能」と掲げ、Speculative fan-outのページは質問を追加しても応答時間はほとんど増えないと説明する。公式ブログはさらに幅を持たせ、70ミリ秒から500ミリ秒、同等の知能水準のLLM比で40倍から200倍速いとしている。いずれも当事者の記述で、測定条件を添えた表はない。ブログの数字には、米西海岸のノートPCから同じ西海岸のサービスへ測ったという注記が付く。

トップページの「193.6倍高速、444.6分の1の費用」も基準を読む必要がある。4業務を等重みにした自社のワークフロー評価に由来し、正解ラベルはGPT-6 AstraとClaude Fable 5.1を高推論設定で動かした回答の平均だ。実世界の利得としては高い側で、作成者が自社のモデル能力チームだから偏りがありうるとは同社自身が注記している。「幻覚0%」の0も実測ではない。スキーマ適合が保証されるからプロットへ置いた、と公式ブログが書いている。

開示の向きが逆の項目もある。公式の「jaggedness(性能のばらつき)」ページは9つの失敗モードを自分から並べる。数を数えられない、日付を順序量として扱わずテキストとして読む、テキスト生成の訓練をしていない、大きなstateで精度が落ちる、といった具合だ。

同じページは構造的な整合性を保証しないことも数値で示す。同一の問いをNoulで聞くと0.22、Choiceのyes/noで聞くとnoが0.99でconfidenceが0.97になる例を挙げ、Noulの閾値をChoiceへ流用するなと警告している。性質は開示されるが、なぜそうなるかはアーキテクチャで説明されない。

BERT論文は層数も隠れ次元も総パラメータ数も本文に書き、後続研究はそこを起点に改良できた。Jevについて同じ問いを立てると、公開情報では止まる。公式ブログは「新しいモデルアーキテクチャ」を自社開発したと述べるが、その中身は説明していない。GitHub組織にLLaDA(拡散型言語モデル)のforkはあるが、既存リポジトリのforkはモデルの系統を示す証拠にならない。

AD

5問に分けた合成の95.0%と、同じ5問を与えたHaikuの93.2%

confidence-threshold-routing.webp

著者は2,000通を1,000通ずつA群とB群へ分け、A群でシグナルと閾値とロジスティック回帰の係数を決め、報告する数字はB群だけから取った。全条件が同一のデータセット、同一の分割、1メール1呼び出しで並列なしという揃え方で測られ、精度差には、同じメールでの正誤の食い違いを見る対応ありの厳密McNemar検定が付く。

保留した1,000通で、Jevの最良の単一シグナルは89.4%、AIを使わない2行の正規表現ルールは91.8%(差はp=0.0032でJevが劣る)、Claude Haiku 4.5の最良の単一シグナルは94.2%だった(Jevとの差はp<0.0001)。ただしJevとHaikuの単一シグナルは別の問いで、それぞれA群で選んだ最良のものである。Jevはリンク先が短縮URLか無料ホスティングかを問うsig_free_hosting(閾値0.70以上)、Haikuは差出人がフリーメールのアドレスで組織を名乗るかを問うsig_generic_sender(閾値0.08以上)である。

5つの問いを合成すると、Jevは89.4%から95.0%へ上がる。一方Haikuは、単一シグナルの94.2%が合成の93.2%を上回る。5問の合成で追いついたのはJevだけで、合成同士の差(95.0%93.2%)はMcNemar検定でp=0.063と有意ではない。AUROCはHaikuが0.991でJevの0.982を上回っている。

Haikuの94.2%93.2%は差が1.0ポイントで、READMEが示す95%区間は重なる([92.6, 95.5]と[91.5, 94.6])。同一モデルの単一と合成の差に検定は報告されていない。方向を断定できるのはJev側だけで、その5問合成は2行の正規表現に回帰をかけた91.8%を上回る(p=0.0018)。

保留1,000通での正答率(PhishNChips v5.2)横棒グラフ。カテゴリ 5 件、系列: 正答率(単位: %)Jev単一シグナルJev単一シグナルJev単一シグナル — 正答率: 89.4%89.4正規表現ルール2行正規表現ルール2行正規表現ルール2行 — 正答率: 91.8%91.8Haiku単一シグナルHaiku単一シグナルHaiku単一シグナル — 正答率: 94.2%94.2Jevの5問合成Jevの5問合成Jevの5問合成 — 正答率: 95%95Haikuの5問合成Haikuの5問合成Haikuの5問合成 — 正答率: 93.2%93.2単位: %
データを表で見る
正答率 (%)
Jev単一シグナル89.4
正規表現ルール2行91.8
Haiku単一シグナル94.2
Jevの5問合成95
Haikuの5問合成93.2
保留1,000通での正答率(PhishNChips v5.2)合成は同一の5問。単一シグナルは各モデルがA群で最良だった別々の1問出典: anisselbd/jev-phishing-bench(2026-09-17)

5つの数字は、いずれも保留した1,000通に対する測定だ。冒頭の単一の判定質問での62.6%81.3%は2,000通全体を対象にした別の測定で、同じ物差しではない。「62.6%95.0%になった」という読み方はできない。

TypeSafeの公式ドキュメントは、広い判断を原子的な質問へ分け、重みをコード側で持つ設計を推奨している。フィッシング判定で言えば、総合判断を1問で求める代わりに、リンク先が短縮URLかどうかといった観測しやすい事実を別々のNoulで聞く。もっともこの5問は、著者がデータセットのURL回避分類を読んだ後に書かれており、このデータセットの作り方に合わせてあると本人が明記している。

総合判断を1回で出させると、モデルはどの手がかりをどれだけ重く見たかを外に出せない。分解すれば、5つの確率の重み付けはこちら側の1,000通のラベルとロジスティック回帰が担い、判断の一部が検証も調整もできるコード側へ移る。

長い入力でLLMの判定が崩れることは、別系統の研究が繰り返し示してきた。Liu et al.(TACL 2024)は、多文書QAとkey-value検索で、関連情報が入力の先頭か末尾にあるときに性能が最も高く、長い文脈の中央にあると大きく落ちることを示した。Chromaは2025年7月14日の技術レポートでClaude、GPT、Gemini、Qwen系の18モデルを検証し、入力が長くなるほど性能が一貫して劣化するとして、この現象をcontext rotと呼んでいる(ベクトルDB企業の技術レポートで、用語の形式的な定義はない)。Wang & Sunは、最終値が問い合わせの直前にあっても干渉が蓄積すると検索精度が対数線形に落ちることを、認知科学の順向干渉のパラダイムで示した。

この3件はフィッシングの検証と地続きではない。使われたメールは短い合成文で、Haikuも5問を1回の呼び出しでまとめており、長い入力での劣化が働く余地はほとんどない。Jevの89.4%から95.0%への上昇にしても、5つのシグナルを組み合わせた効果と、A群1,000通のラベルで重みを決めた効果は切り分けられていない。TypeSafeのIntroductionページは、各質問が独立に評価されるので質問を増やしてもcontext rotは起きず、応答時間もほとんど変わらないと書く。当事者の主張で、第三者の測定は確認できていない。

読み出しの形式自体は、専用モデルでなくても組める。Zennの技術記事は、Gemma3 270Mで回答候補を単一トークンへ割り当て、最初の1トークンのlogitだけを読む方式を実装し、同じ出力をJSONで生成させる場合の77倍の速度を得たと報告した。著者は比較対象が旧世代の非推論モデルへ偏ったことを自ら限定しており、検証されたのは読み出しの速度で、分解による精度の利得ではない。

5つのシグナルを取る費用と速度も同じ検証に出ている。Jevは5つのシグナルに総合判定など4問を加えた9問を1回の呼び出しで聞き、1,000通あたりの費用は約0.04ドルだった。Haikuは5問を1回の呼び出しにまとめて1.02ドルで、応答時間の中央値は1,199ミリ秒だった。著者は、Jevに残るのは分解を安く回せる価格で、比較可能な質のシグナルなら約27倍安く約5倍速いとまとめる。

短縮URLと無料ホストのリストを持ち、eTLD+1(登録可能なドメイン部分)を比較するだけの2行の正規表現が91.8%でJevの単一シグナルを上回る点も見落とせない。著者自身、このデータセットは「構成上ほぼ分離できる」と書いており、2,000通全体でもこの正規表現ルールが91.6%を取る。測定は単一の著者による単一の実行で、追試もない。

Jevに有利な結果も同じ週に出ている。NearHere(署名はJon Reed、2026年9月16日)はイベント審査50件でJevが96%、Gemini 3.5 Flash-Liteが86%、Mistral Small 4が84%と報告し、1,000判定あたりの費用はJevが0.043ドル、Geminiが2.496ドルだった。もっとも著者は、別のプロンプトや別の標本なら結果は変わりうる用途研究で、期待される判定も独立の人手裁定を経ていないと断る。Everyが9月15日に公開した12本の文章での試用では、Jevの中央値0.35秒に対しFable 5.1が8.83秒と速度差が大きい一方、7件の欠陥の検出はJevが6件、Fable 5.1が7件だった。著者のMike Taylorは、本番投入の前にもっと徹底した精度確認が欲しいと書いている。

確信度は本当に信じてよいのか

JevのChoiceとScoreの応答には確率に加えて、分布の集中度を0から1でまとめたconfidenceが付き、Noulは「はい」の確率を返す。これらを自動処理と人手確認の振り分けに使えることが商品性の中核で、そこで問われるのが較正だ。

TypeSafe自身のAI primerは、確率0.2を割り当てた結果は約20%の頻度で起きるべきだと書いている。これが較正で、予測の集団について測るものだから、個々の答えの正しさは保証しない。正答率が高くても確率が過信気味なら較正は悪く、そこそこの正答率でも出方が実態と合っていれば良い。エスカレーションを確率で設計する運用では、後者が効く。

Guo et al.(ICML 2017)は、現代のニューラルネットが10年前のものより較正が悪いと報告し、temperature scalingを処方箋に挙げた。3年後、Desai & Durrettは、BERTとRoBERTaがドメイン内では既に較正されており、ドメイン外の較正誤差も非事前学習ベースラインより最大3.5倍低いと報告した(EMNLP 2020)。LLM時代に入ると論点が移る。GPT-4テクニカルレポートは、事前学習済みモデルはMMLUの部分集合で高度に較正されているが、事後学習(RLHF)の後に較正が低下するとLimitations節に明記している。

TypeSafeはRLCD(Reinforcement Learning for Calibrated Decisions)を、RLHFとRLVRに続く第3の事後学習と位置づけ、テキストを返さず決定と較正済み確率を返すよう最適化すると説明する。RLHFの後に較正が下がるという報告とRLCDの動機を結びつけた記述は同社になく、両者の関係は推測にとどまる。

それでいて、較正されていることを示す数字は出ていない。confidenceページとAI primerページに、ECEも信頼度曲線も実測値もない。confidenceは確率分布の集中度を0から1へまとめた統計量と定義され、運用は0.5を下限とする閾値設計として説明されるにとどまる。

確信度そのものの数字は第三者の2件が2026年9月17日に出したが、較正の評価は別々の条件の結果になっている。フィッシング判定2,000通の単一の判定質問では、Jevの較正誤差0.154がClaude Haiku 4.5の0.097より大きい。一方、ツール呼び出しリスク分類60件では、比較相手を置かないjev-latestのECEが0.0712で、著者はこのタスク集合では較正の主張が成り立つとしている。ただし後者は確信度0.9から1.0のビンに60件中50件が集中しており、ECEの大半はこの1ビンで決まる。測る量もタスクも標本数も違い、どちらが正しいとは言えない。

60件は著者の手作業ラベルで、明確34件、曖昧14件、敵対的12件に分かれる。jev-latestjev-preview(ドキュメントによれば同じ重みを指す2つの呼び名)はともに正答率91.7%、ECEは0.0712と0.0505、応答時間の中央値は421.6ミリ秒と378.5ミリ秒だった。確信度がちょうど1.000だった40件に誤答はない。

READMEは誤答時の確信度を0.130から0.785と列挙する一方、信頼度表では0.9から1.0のビン50件のうち1件が誤答で、文中の記述と表が揃わない。フロンティアLLMとの比較欄は空のままで、著者はベンダーの倍率を支持も反証もしないと明記している。60件では2つの呼び名の差も見分けられず、実行を繰り返すと91.7%93.3%が出る。

確信度を信じてよいかは、公開された材料では決着していない。運用へ入れるなら、自前のデータで信頼度別の正答率を一度数えるほうが早い。

回帰か新類型か、公開情報で線が引ける範囲

連続しているのは要求仕様のほうだ。固定ラベルの判断を確率で返すこと、その確率の較正を評価軸にすること、型付きの判断だけを返す専用モデルを別に置くこと。3つとも、Jev以前から実装がある。

Christiano et al.(2017年6月)は人間の選好比較から別個の報酬予測器を学習し、相互作用の1%未満のフィードバックでAtariと模擬ロボット制御を解いた。Llama Guard(2023年12月)はLlama2-7bを安全性分類データで指示チューニングしてプロンプトと応答をsafe/unsafeへ分類し、既存の調整ツールと同等以上と報告された。判断専用のモデルを別に置く枠自体は、少なくとも3年前から動いている。

変わったのは、学習と呼び出しの単位だ。BERTの型ではタスクの数だけ微調整済みモデルが増えたのに対し、Jevは1本の重みのまま、何を判定するかを実行時の質問文が決める。実行時に文でタスクを指定すること自体はLLMのプロンプトと同じで、Jev固有と言えるのは、型付きの出力と、同じstateに対する並列かつ独立な評価と、合成をコード側へ置く契約の3点までである。

フィッシングのベンチマークは、この運用形を部分的に支持している。もっとも分解が数字を押し上げたのはJevだけで、同じ5問を与えたHaikuは合成の93.2%が単一シグナルの94.2%に届かない。分解がJev固有の利得かどうかは、この1件では言えない。実測で確認できるのは、thinkingなしのHaikuに対する速度と費用の差だ。単一の判定質問で約2.9倍速く約12倍安く、5つのシグナルを取る呼び出しでは(Jevは9問を1回で聞く条件)約27倍安く約5倍速い。

アーキテクチャの層では線が引けない。エンコーダ型の分類器の再発明なのか別系統なのかを、パラメータ数も層構成も学習データもないまま外から判定する手立てがない。

日本語の読者には、もう1つ手前の確認が要る。TypeSafeのドキュメントは学習の主言語を英語とし、CJKを含む他言語は「扱えるが同等ではない」と明記する。日本語タスクでの精度も日本からの実測レイテンシも公開データがない。一方、日本語のエンコーダ型は更新が続く。SB Intuitionsのsbintuitions/modernbert-ja-310mは総パラメータ315M、日英約4.09Tトークンで学習してMITライセンスで公開され、日本語12評価データセットの平均89.83を報告している。

日本語でも優劣はタスク次第だ。Fintanの機械学習チームが2023年5月11日に公開したJGLUEの比較では、MARC-jaでChatGPT(few-shot)の0.980がLUKE Japanese largeの0.965を上回る一方、JNLIではLUKEの0.927がChatGPTの0.633を大きく上回った。

判断専用モデルとエンコーダ型の選択では、教師ラベルの件数が効く軸の一つになる。フィッシングの95.0%も、A群1,000通のラベルで重みを当てはめた結果だった。bitnovus/jev-spam-evalは18,514通のemail-datasetで、詳細な基準を与えたJevが98.33%、TF-IDFロジスティック回帰が98.39%とほぼ並んだと報告し、学習曲線からは当該Jev設定に並ぶのに必要な教師ラベルをタスクにより約10,000件、200件、100件と見積もる。ただし詳細なスパム基準はラベル付きの誤答を見ながら作られた探索的な研究で、学習曲線も標本を使った比較であり一般的な見積もりではないと本人が断っている。判断を9つの狭い問いへ分けると、誤りは調べやすくなったが、同等の精度向上は得られなかったとも書く。

ラベルが数百件以上あるなら、微調整済みのエンコーダ型は今も候補に残る。政治学の8クラス分類で200サンプルの微調整がGPT系プロンプトを上回ったとおりだ。判定軸が頻繁に変わる用途では、実行時に質問文でタスクを指定できるJevの契約に利点がありうる。パラメータ数と学習データが開示され、同じタスクとラベル集合で微調整済みエンコーダ型と条件を揃えた第三者ベンチマークが出れば、この選択は勘に頼らず表で決められる。