中国のAIスタートアップ「SenseTime」社は、マルチモーダル大規模言語モデル（LLM）の「SenseNova 5.0」を発表した。これまであまり名前を聞いたことのないこの企業は、今回ある主張によって一挙に注目を集めることとなった。それは、この新たなAIモデルが、ほぼ全てのベンチマークテストにおいて、OpenAIのマルチモーダル大規模言語モデルであるGPT-4 Turboに匹敵し、中国語のコンテキストにおいてはその性能を超えたというのだ。
SenseNova 5.0
SenseTimeは、上海で開催されたTech DayイベントでSenseNova 5.0を発表すると共に、「Cloud-To-Edge」フルスタック大型モデル製品マトリックスも発表した。
この新しい生成AIモデルは、AIの領域における重要な進歩を象徴している。このモデルはTransfomerと回帰型ニューラルネットワーク（RNN)の両方のアーキテクチャを統合した、ハイブリッドとして機能している。さらに、このモデルは、複数の言語とソースからの100億以上のトークンからなる多様なデータセットでトレーニングされている。
SenseTimeによると、SenseNova 5.0は10TBを超えるトークンの訓練を受け、大量の合成データをカバーしたという。
このモデルは、推論中に約20万のコンテキストウィンドウをカバーするためにMoE（Mixture of Experts）アーキテクチャを採用し、その有効性を高めている。主な改良点は、知識、数学、推論、コーディング機能である。
SenseNova 5.0の優れた性能はOpenAIのGPT-4に匹敵し、その高度な学習最適化技術により、大量のデータを効率的に処理することが可能だ。このため、より正確なアウトプットを生成し、さまざまな業界にアプリケーションを提供することが出来る。
「AGIの時代において、データ、アルゴリズム、コンピューティングパワーの3つの要素は新たな進化を遂げつつあります。モデルパラメーターの数は指数関数的に増加し、データ量はマルチモダリティの導入により大量に増加するため、コンピューティングパワーに対する需要が急増し続けるでしょう」と、SenseTimeの会長兼CEOであるXu Li博士は公式声明の中で述べている。
Xu博士は、同社がAGI時代のインフラをSenseCoreで構築し、その基盤モデルを“絶え間ない更新、日々の更新、さらなる更新”を意味する、“SenseNova”と名付けたことを強調した。「モデルの反復速度と問題解決能力を継続的に更新し、AGIの可能性をさらに広げていきたい」と、Xu博士は述べている。
SenseTimeの共同設立者であり、チーフ・サイエンティストであるWang Xiaogang教授は、AGIは強力な基礎モデルに基づく新たな研究パラダイムを生み出し、強化学習と人間のフィードバックによって新たな能力を引き出し、その結果、オープンエンドなタスクを効率的に解決することができると述べた。「AGIは、“データのフライホイール”から“知恵のフライホイール”へと進化し、最終的には人間と機械の共生につながるでしょう」と、Wang教授は述べている。
Wang氏は、SenseTimeはフルスタックの基盤モデル研究開発システムを確立し、複数の産業におけるアプリケーションを開発してきたと主張した。「シナリオの多様性、タスクの複雑さ、データの豊富さはすべて、我々の基礎モデルの能力と可能性を示しています」と、述べている。
Source
コメント