オンデバイス処理

オンデバイス処理とは、AIの推論やデータ解析などの計算処理を、外部のクラウドサーバーに送信することなく、ユーザーが手元で操作しているデバイス（スマートフォン、タブレット、PCなど）の内部で行う技術のことである。この方式の主な利点は、データがデバイス外に出ないためプライバシーが高度に保護されること、インターネット接続が不要または不安定な環境でも動作すること、通信による遅延（レイテンシ）が発生しないことなどが挙げられる。近年、Appleシリコンなどのモバイル向けプロセッサに搭載されるNPU（ニューラル処理ユニット）の性能向上により、高度な生成AIモデルをデバイス上で直接動かすことが可能になりつつある。