Googleは2026年9月1日、Gemini 3.7 Flash、3.6 Flash、3.5 Flash-Liteに「エージェント型動画理解」を導入した。動画を固定間隔で最初から最後まで読み込む代わりに、モデルが質問を手掛かりとして時間軸を移動し、必要な映像フレーム、音声、文字起こしを選んで調べる。Googleはトークン使用量を最大88%、分析費用を最大66%削減しながら、品質を最大7%高めたとする。ただし、3つの最大値は一つのテストで同時に出た数字ではない。
新機能は動画ファイルとYouTube動画を対象に、Gemini API in Google AI StudioとGemini Enterprise Agent Platformで利用できる。長い動画を扱うアプリにとって、これはコンテキスト上限を延ばす改良とは性格が違う。モデルに何時間分を読ませられるかではなく、質問に答えるために何秒分を読むべきかをモデル自身が決め始めたからだ。
固定1FPSから、必要な瞬間を探すループへ
従来の静的処理は、動画から毎秒1枚のフレームを抜き出し、音声とともに一度の入力へ載せる。Gemini APIの資料によると、低いメディア解像度ではフレームが毎秒66トークン、音声が毎秒32トークンを使い、メタデータを加えた目安は毎秒約100トークンになる。高い解像度ではフレームが毎秒258トークンとなり、合計は毎秒約300トークンだ。動画が長くなれば、質問と関係のない区間もほぼ長さに比例して入力を占める。
エージェント型動画理解は、この入口を変えた。モデルはまず質問を考え、文字起こしを検索するのか、ある区間のフレームを見るのか、音声を聞くのかを選ぶ。得られた情報で足りなければ、時間範囲、フレームレート、解像度を変えて再び取りに行く。たとえば速い動きの異常を疑った区間だけを1FPSより細かく見直せるため、全編の入力を減らしながら、静的処理が取りこぼす1秒未満の変化を拾える。
Interactions APIでは、動画入力のprocessingをagenticに設定する。レスポンスのstepsにprocessing_callとprocessing_resultが現れれば、モデルが動画内を動的に移動した証拠になる。これは開発者が用意する関数呼び出しではなく、Gemini内部の動画取得処理だ。アプリは進捗表示に利用できるが、呼び出しへ値を返す必要はない。
考え方の前身は、Googleが2026年1月にGemini 3 Flashへ導入した画像向けのエージェント型視覚処理にある。画像ではPythonを使って拡大、切り抜き、注釈、計算を繰り返した。動画版は同じ「考える、操作する、結果を見る」という循環を、時間軸と3種類の情報源へ広げたものだ。
88%は2つの長時間評価に出た最大値
Googleが公開した比較は、Gemini 3.7 Flashを高い推論設定、低いメディア解像度で動かし、静的処理を1FPSに固定している。発表図表の数値を同じ単位へそろえると、結果は次のようになる。
| 評価 | 静的処理のトークン数 | エージェント型のトークン数 | 削減率 | 精度の変化 |
|---|---|---|---|---|
| Minerva | 80,900 | 33,600 | 58.4% | 73.7% → 79.0% |
| 1H-VideoQA | 397,600 | 47,700 | 88.0% | 87.5% → 88.5% |
| LVBench | 300,300 | 36,000 | 88.0% | 85.1% → 88.6% |
Googleの図表では、Gemini 3.7 Flashの静的処理からエージェント型へ切り替えると、Minervaは8万900トークンから3万3600トークンへ58.4%減り、精度は73.7%から79.0%へ5.3ポイント上がった。1H-VideoQAは39万7600から4万7700へ88.0%減、精度は87.5%から88.5%へ1.0ポイント増、LVBenchは30万300から3万6000へ88.0%減、精度は85.1%から88.6%へ3.5ポイント増だった。最大88%のトークン削減と最大7.2%の相対精度向上は別のベンチマークで出た値である。
評価対象も同じではない。公開中の1H-VideoQAは、21本の40〜90分動画に対する101問の5択問題で、長い時間軸から短い出来事を探す能力を試す。Minervaは2分から90分超の動画を対象に、数値、時間、空間など複数の推論を要する約1,500問を収録する。LVBenchも長時間動画の理解と情報抽出を測る。長い映像から質問に関係する区間を選ぶ方式が、1H-VideoQAとLVBenchで大きな削減につながったのは、仕組みと評価課題がかみ合った結果である。
数字は有望だが、まだGoogleの自社評価だ。発表図表には質問数と評価プロンプトに加え、試行回数や誤差幅も載っていない。公開データセットを使ったテストが含まれていても、今回の実行条件を第三者がそのまま再現できる状態とは言えない。88%は全動画の平均でも、最低保証でもない。
トークン削減率と費用削減率が一致しない理由
トークン使用量の最大88%減を、そのまま請求額の88%減と読むことはできない。Googleが掲げる分析費用の削減は最大66%で、発表本文はベンチマーク別の費用実数を示していない。Gemini 3.7 Flashの標準料金は2026年12月31日まで、入力100万トークン当たり0.75ドル、推論トークンを含む出力100万トークン当たり3.75ドルである。エージェント型の追加料金はないが、減るのは主に動画入力だ。
エージェント型には、どこを調べるかを決める推論と、動画の一部を取得する処理が加わる。APIの利用量は、最初の入力をtotal_input_tokens、移動のための推論をtotal_thought_tokens、オンデマンドで読んだ文字起こし・フレーム・音声をtotal_tool_use_tokens、最終回答をtotal_output_tokensとして分ける。入力を大きく削っても、推論と出力まで同じ比率で減るとは限らない。88%と66%はそれぞれ最大値であり、この差から追加処理の費用を逆算することもできない。動画分析の見積もりには、入力以外の利用量も含める必要がある。
しかも使用量は固定されない。Googleの料金資料は、質問の複雑さと動的なサンプリング量で変わり、細部を調べる区間では1FPSを超える場合もあると明記する。同じ1時間の動画でも、「講義の要点を3つ挙げる」と「画面右下の表示が変わった全時刻を列挙する」では、モデルが見に行く範囲が違う。実装前の費用試算には、動画の長さに加えて質問の型を入れなければならない。
長時間検索には効くが、短い動画と全編精査は別だ
Googleの開発者資料は、エージェント型を万能な置き換えとして扱っていない。長時間動画や特定の瞬間を探す質問にはエージェント型を勧める一方、5分未満の短い動画で応答開始までの時間を優先する場合と、動画全体をフレーム単位で調べる場合には静的処理を挙げる。エージェント型は回答前に推論と動画取得を往復するため、短い動画では最初の応答が始まるまでの時間がやや延び得る。
| 用途 | 向く処理 | 理由 |
|---|---|---|
| 90分の講義から特定の説明を探す | エージェント型 | 関連区間だけを読み込める |
| 速い動きや一瞬の状態変化を調べる | エージェント型 | 疑わしい区間だけフレームレートを上げられる |
| 5分未満の動画へ素早く答える | 静的処理 | 内部の探索往復を避けやすい |
| 全編を同じ密度でフレーム検査する | 静的処理 | 選択的な探索による範囲の偏りを避けられる |
選択的に見る仕組みでは、どの区間を調べるかという判断も精度の一部になる。対象を見つけた後の認識が正しくても、最初の探索で候補区間を外せば答えへ届かない。したがって監視映像の全件監査や法的証拠の確認では、平均精度の上昇だけで静的処理を外さず、既知の正解を持つ自社動画で検索漏れを測る必要がある。Gemini APIは同じリクエスト内の動画ごとに処理方式を変えられるため、長い講義をエージェント型、短い実験映像を静的処理として比較する設計も可能だ。
利用開始と正式提供は分けて読む
9月1日の発表は3.7 Flash、3.6 Flash、3.5 Flash-Liteを対象とした。翌日に3.8 Flashが発表され、9月3日時点のGemini API資料は3.8 Flashも対応モデルに列挙している。一方、Gemini Enterprise Agent Platformの資料はエージェント型動画理解を「Preview」と明記し、Google CloudのGenerateContent APIではv1beta1でのみ利用できる。APIから呼べる状態と、正式提供済みの安定した仕様は同じではない。
複数ターンの会話にも実装条件がある。Google CloudのGenerateContent APIでは、応答に含まれる不透明なstep_listを次のリクエストへ渡さないと動画文脈が失われ、追質問のために再処理が必要になる。トークンを減らす機能を使いながら、この状態を捨てれば、同じ動画を読み直して費用と待ち時間を増やしかねない。
GoogleはGeminiアプリのFlashとFlash-Liteへ近く展開し、YouTubeの再生ページにある「Ask YouTube」にも今後数カ月で使う計画だ。そこで問われるのは、最大削減率がもう一度出るかではない。動画の種類と質問ごとに、総トークン、最初の応答までの時間、既知の正解に対する検索漏れを同じ試験で測り、静的処理を残す範囲を決められるかどうかである。
