ソウル大学の研究チームは、動画の中で位置が動いた被写体や背景を追跡し、以前の計算結果を再利用する「Ouroboros」を開発した。Vision Transformer（ViT）を使う動画解析では、連続フレームに同じ内容が残っていても、被写体の移動や手ぶれでパッチの位置が変わると再計算が走りやすい。Ouroborosは動画エンコーダーのモーションベクトルから移動を読み取り、内容を同じ座標として扱う。NVIDIA Jetson Orinでの評価では、計算量を最大87.0%減らし、推論を最大2.61倍に高速化しながら、物体検出とインスタンスセグメンテーションの精度低下を1%未満に抑えたという。
研究はChanjeong Park氏らが執筆した論文としてACM MobiSys 2026で発表され、ソウル大学が7月14日に成果を公表した。狙いは小型端末向けにモデルを軽く作り直すことではない。動画の隣り合うフレームに残る情報を、ViTが使える状態でどこまで再利用できるかに踏み込んだ点にある。
87.0%削減をJetson Orinで測定
今回の評価は、NVIDIA Jetson Orin上でViTベースの動画AIを動かしたものだ。ソウル大学によると、最大87.0%の計算量削減に加え、エネルギー消費も最大64.5%減った。計算回数だけを落としても、メモリアクセスが増えればエッジ端末では速度も電力も改善しない。研究チームは、変化した部分だけを計算し、残りは前フレームから引き継ぐ構造にすることで、このコストも抑えたとしている。
87.0%削減は、全フレームを処理する場合と比べて、計算量を元の13.0%まで落としたことを意味する。ただし、演算量の削減率がそのまま推論速度の倍率にはならない。端末ではメモリからトークンを読み書きする時間もかかるからだ。Ouroborosはその経路も設計対象にし、実測で最大2.61倍の高速化へつなげた。
対象にした物体検出とインスタンスセグメンテーションは、前者が物体の位置と種類を捉え、後者が個体ごとの輪郭まで分ける処理である。どちらも道路映像、監視カメラ、ロボットの視覚など、連続した映像を扱う用途に近い。精度低下を1%未満にとどめたという結果は、計算を省く場所を画面上の固定位置ではなく、移動後の内容で選んだ効果を示す。
位置ではなく動きを追って再利用する
従来の軽量化手法は、前フレームとの違いや同じ画素位置を基準に、計算を省く領域を決めることが多かった。しかし、カメラが揺れたり車や人が画面を横切ったりすると、視覚情報そのものは残っていても、パッチ格子では別の場所へ移る。そのたびに再計算すれば、動画が持つ時間的な冗長性を活かせない。
Ouroborosは、ハードウェア動画エンコーダーが出すモーションベクトルからアフィン変換を推定し、連続フレームを共通のグローバル座標へ合わせる。移動した車や背景が前フレームのどの情報に当たるかを判定し、変わっていない部分には過去の計算を使う。ここでいうモーションベクトルは、圧縮動画でブロックがどちらへどれだけ動いたかを表す情報であり、新しい画像認識器を追加するための入力ではない。
画面の端を越えた内容を捨てないため、入力空間の上下左右をつないだトーラス状の扱いも導入した。端をまたいだときに乱れる位置情報は、再配置して整える。ViTはパッチの内容と位置情報の両方を参照するため、内容の追跡と位置エンコーディングの調整を組み合わせなければ、再利用したトークンの意味がずれる。
変化した場所だけを計算するキャッシュ設計
座標を合わせただけでは、ViTの計算は軽くならない。Ouroborosは変化したトークンだけを処理し、以前のフレームで得たKeys、Values、最終層の特徴をキャッシュから使う部分計算方式を採る。フレーム全体を毎回通さずに済む領域が増え、計算削減が実際の処理速度とエネルギー消費の削減へつながる仕組みだ。
映像全体をサーバーへ送り続ける代わりに、端末で再利用できる情報を増やせれば、回線に流すデータも減らせる。ソウル大学は、サーバー処理のシナリオでも既存手法より少ないネットワーク帯域で高い精度を得たとしている。
複雑な動きと端末依存が残る
ただし、2.61倍の高速化と64.5%のエネルギー消費削減はJetson Orinで得た最大値である。スマートフォン、ドローン、ロボットで同じ比率になるかは、ViTの構成と動画コーデックが変われば影響を受ける。メモリ帯域や映像の動き方も効く。対応するモーションベクトルを端末のハードウェアから取り出せることも前提になる。
ACM MobiSysの公開レビューは、単一のグローバルなアフィン変換では、複数の物体が別々に動く場面、変形する対象、奥行き差で見え方が変わる映像を合わせにくくなると指摘した。ViTの自己注意は全トークンに依存するため、部分的なキャッシュ更新をどこまで正確に扱えるかも検証課題として残る。研究チームが次に示すべきなのは、動きの複雑さや端末の違いに対して、精度、遅延、エネルギー消費がどこで崩れるかである。