別名: ViT
Googleの研究チームが提案した、自然言語処理で主流のTransformerアーキテクチャを画像認識タスクに適用したモデル。画像をパッチ状に分割して入力し、自己アテンション（Self-Attention）メカニズムを用いることで、従来のCNNを凌駕する性能を発揮する。次世代の画像認識技術として注目されており、本研究ではこの最新アーキテクチャにおいてもノイズ学習による過信抑制が有効であることが示された。
AIが「自分が間違っているかもしれない」と疑う能力を持たない過信が、ハルシネーションや人命に関わるシステムでの誤判断を引き起こすことが問題視されている。KAISTの研究チームは、ディープラーニングのランダム初期化直後に、まだ何も学習していないネットワークがランダムノイズに対して高い確信度で誤った判断を下すことを発見した。これは、ネットワーク内の微小な偏りがソフトマックス関数で強調され、初期段階で過信が形成されるためであり、胎児の脳が外界に触れる前にノイズを処理するメカニズムから着想を得た「ランダムノイズによるウォームアップ学習」が、この過信を抑制する可能性を示唆している。
Meta AIは、自己教師あり学習を未曾有の規模でスケールアップした次世代コンピュータビジョンモデル「DINOv3」を発表した。人間によるラベル付けを一切必要とせず、17億枚の画像と70億パラメータで訓練されたDINOv […]
大規模言語モデル（LLM）をはじめとする現代のAIは、時に人間と見紛うほど自然な文章を生成し、複雑なタスクをこなす。しかし、その「思考」プロセスはブラックボックスとされ、人間と同じように答えを導き出しているのか、それとも […]
