テクノロジー
Sakana AI、自己適応型言語モデルを実現する革新的手法「Transformer²」を発表
Sakana AIは17日、大規模言語モデル（LLM）に新たな適応能力を付与する画期的な手法「Transformer²」（トランスフォーマー・スクエアード）を発表した。この技術は、言語モデルが異なるタスクに効率的に適応で […]
Term
Singular Value Fine-tuning
別名: SVF
Overview
最終更新: 2026年7月9日Singular Value Fine-tuning (SVF) は、重み行列そのものを更新するのではなく、特異ベクトルのスケーリングを制御する「専門知識ベクトル」を学習する手法です。LoRAよりも大幅に少ないパラメータ（約97%削減）でタスク適応が可能であり、メモリ節約や破滅的忘却の抑制に優れた効果を発揮します。
Mentioned Articles
1 件External Mentions
8 件- arXivLoCA: Spatially-Aware Low-Rank Convolutional Adaptation of Vision Foundation Models
- arXivCORA: Per-Slice Coherent Orthogonal Rotation for SVD-based Low-Rank Adaptation
- arXivEvil Spectra: How Optimisers can Amplify or Suppress Emergent Misalignment
- arXivTrustErase: Auditable Instant Machine Unlearning with Passport-Embedded Representations
- arXivSDS-LoRA: Overcoming Anisotropic Gradient Scaling in Low-Rank Adaptation
- arXivParameter-Efficient Continual Learning for Automatic Speech Recognition
- arXivInterior marginally outer trapped surfaces in Hayward black holes
- arXivEigenvectors of Experts are Training-free Non-collapsing Routers