大手テクノロジー企業の人工知能（AI）実験における主要な問題は、AIが人類を支配する可能性があることではない。OpenAIのChatGPT、GoogleのGemini、MetaのLlamaなどの大規模言語モデル（LLM）が間違いを犯し続けており、この問題が解決困難であることだ。
幻覚として知られるこの現象の最も顕著な例は、おそらく2023年にChatGPTによって性的嫌がらせで虚偽の告発を受けた米国の法学教授Jonathan Turleyのケースであろう。
OpenAIの解決策は、基本的にTurleyを「消去」し、ChatGPTが彼に関する質問に回答できないようにプログラムすることであったが、これは明らかに公正でも満足のいく解決策でもない。事後的に、そしてケースバイケースで幻覚を解決しようとすることは、明らかに正しい方法ではない。
同様のことが、LLMがステレオタイプを増幅したり、西洋中心的な回答を提供したりすることについても言える。また、LLMがそもそもどのようにしてその結論に達したのかを確認することが困難であるため、この広範囲にわたる誤情報に対する説明責任が完全に欠如している。
LLMの問題
LLMは深層学習と呼ばれる技術を使用して動作し、膨大な量のテキストデータを与えられ、高度な統計を使用して、任意の応答における次の単語や句が何であるべきかを決定するパターンを推論する。各モデルは、学習したすべてのパターンとともに、ニューラルネットワークとして知られる大規模データセンター内の強力なコンピュータの配列に格納される。
LLMは、訓練データで見られたパターンに基づいて、人間が論理的に結論に到達する方法を模倣する多段階の応答を生成する、思考の連鎖と呼ばれるプロセスを使用して推論しているように見える。
間違いなく、LLMは優れた工学的成果である。テキストの要約や翻訳において印象的であり、間違いを見つけるのに十分勤勉で知識豊富な人々の生産性を向上させる可能性がある。それにもかかわらず、彼らの結論は常に確率に基づいており、理解に基づいていないため、誤解を招く大きな可能性を持っている。
人気のある回避策は「ヒューマン・イン・ザ・ループ」と呼ばれるもので、AIを使用する人間が最終的な決定を下すことを確実にするものである。しかし、人間に責任を転嫁することは問題を解決しない。彼らは依然として誤情報によって誤解されることが多いからだ。
LLMは現在、進歩するために非常に多くの訓練データを必要とするため、合成データ、つまりLLMによって作成されたデータを供給しなければならなくなっている。このデータは、独自のソースデータから既存のエラーをコピーし増幅する可能性があり、新しいモデルが古いモデルの弱点を継承することになる。その結果、訓練後にAIをより正確にプログラムするコスト、いわゆる「事後モデル調整」が急騰している。
また、モデルの思考プロセスのステップ数がますます大きくなり、エラーを修正することがますます困難になるため、プログラマーが何が間違っているのかを理解することもますます困難になる。
ニューロシンボリックAI
ニューロシンボリックAIは、ニューラルネットワークの予測学習と、人間がより信頼性の高い熟慮を行うために学習する一連の形式的ルールをAIに教えることを組み合わせる。これには、「もしaならばb」のような論理ルール（例：「雨が降っているなら、外のすべてのものは通常濡れている」）、「もしa = bかつb = cならばa = c」のような数学的ルール、そして単語、図表、記号などの合意された意味が含まれる。これらの一部はAIシステムに直接入力され、他の部分は訓練データを分析し「知識抽出」を行うことによってAI自身が推論する。
これにより、決して幻覚を起こさず、知識を明確で再利用可能な部分に整理することによって、より速く、よりスマートに学習するAIが作成されるはずである。例えば、雨が降ったときに外のものが濡れることに関するルールをAIが持っている場合、外で濡れる可能性のあるもののすべての例を保持する必要はない。そのルールは、以前に見たことのない新しいオブジェクトにも適用できる。
モデル開発中、ニューロシンボリックAIは「ニューロシンボリックサイクル」として知られるプロセスを使用して、学習と形式的推論を統合する。これは、部分的に訓練されたAIが訓練データからルールを抽出し、その統合された知識をネットワークに再び注入してから、データでさらに訓練することを含む。
これは、AIが多くのデータを保存する必要がないため、よりエネルギー効率的であり、ユーザーがAIが特定の結論にどのように到達し、時間の経過とともにどのように改善するかを制御しやすくなるため、AIがより説明責任を果たせるようになる。また、「AIによって行われる決定について、結果は人の人種や性別に依存してはならない」などの既存のルールに従うようにできるため、より公正でもある。
第三の波
1980年代のAIの第一の波は、シンボリックAIとして知られ、実際にはコンピュータに形式的ルールを教え、それを新しい情報に適用できるようにすることに基づいていた。深層学習は2010年代の第二の波として続き、多くの人がニューロシンボリックAIを第三の波と見なしている。
ルールを明確に定義できるため、ニッチな分野でAIにニューロシンボリック原理を適用するのが最も簡単である。そのため、薬物発見を支援するためにタンパク質構造を予測するGoogleのAlphaFoldや、複雑な幾何学問題を解決するAlphaGeometryで最初に出現したのは驚くことではない。
より広範囲なAIについては、中国のDeepSeekが同じ方向への一歩である「蒸留」と呼ばれる学習技術を使用している。しかし、一般的なモデルでニューロシンボリックAIを完全に実現可能にするためには、一般的なルールを識別し、知識抽出を実行する能力を洗練するためのより多くの研究が必要である。
LLMメーカーがすでにこれに取り組んでいる程度は不明である。彼らは確かに、モデルにより巧妙に考えるように教える方向に向かっているように聞こえるが、これまで以上に大量のデータでスケールアップする必要性にも固執しているようである。
現実は、AIが進歩し続けるならば、わずかな例から新規性に適応し、理解をチェックし、マルチタスクを実行し、知識を再利用してデータ効率を改善し、洗練された方法で確実に推論できるシステムが必要になるということである。
このように、よく設計されたデジタル技術は、チェック・アンド・バランスがアーキテクチャに組み込まれ、おそらく業界全体で標準化されるため、規制に代わる選択肢を提供する可能性さえある。長い道のりがあるが、少なくとも前進する道筋はある。
