技術革新は絶え間なく続くように見える。コンピューティングの分野では、「機械学習における1年は他の分野における1世紀に相当する」と宣言する者もいる。しかし、これらの進歩が誇大宣伝なのか現実なのかをどのように判断すればよいのだろうか。
新しい技術が大量に登場する際、特にこれらの開発が適切にテストされていなかったり、十分に理解されていなかったりする場合、失敗は急速に増大する。信頼できる研究室や組織からの技術革新でさえ、時には壮大な失敗に終わることがある。2011年にIBMががん治療の革命的なツールとして称賛した AIプログラムIBM Watsonを考えてみよう。しかし、患者の転帰に基づいてツールを評価する代わりに、IBMはそれほど関連性のない指標、おそらく患者の転帰ではなく専門家の評価のような無関係なものさえも使用した。その結果、IBM Watsonは医師に信頼できる革新的な治療推奨を提供できなかっただけでなく、有害な推奨も行った。
2022年11月にChatGPTがリリースされると、AIへの関心は産業界および科学界で急速に拡大し、その有効性に関する主張も膨れ上がった。しかし、大多数の企業が生成AIを組み込む試みが失敗に終わる中、この技術が開発者が約束したことを実現するかどうかという疑問が前面に出てきている。
急速な技術変化の世界において、緊急の問題が生じる。新しい技術的驚異が本当に機能し、使用するのに安全であるかどうかを人々はどのように判断できるのか。
科学の言語から借用すると、この問題は実際には妥当性に関するものである。つまり、主張の健全性、信頼性、信頼度についてである。妥当性は、科学的主張が現実を正確に反映しているかどうかの最終的な判定である。これを科学の品質管理と考えてほしい。これにより、研究者は薬が本当に病気を治すのか、健康追跡アプリが本当にフィットネスを向上させるのか、ブラックホールのモデルが宇宙での振る舞いを真に記述しているのかを知ることができる。
新しい技術や革新の妥当性を評価する方法は不明確であった。これは部分的に、科学が主に自然界に関する主張の妥当性を検証することに焦点を当ててきたためである。
分野を超えた科学を評価する方法を研究する研究者としての我々の研究において、新しい技術であれ政策であれ、あらゆる設計の妥当性を評価するための枠組みを開発した。妥当性のための明確で一貫した基準を設定し、それを評価する方法を学ぶことで、人々は技術に関して情報に基づいた決定を下し、新しい技術が本当にその約束を果たすかどうかを判断できるようになると我々は考えている。
妥当性は知識の基盤である
歴史的に、妥当性は主に科学的測定の精度を確保することに関心があった。たとえば、温度計が温度を正しく測定するか、心理検査が不安を正確に評価するかといったことである。時間の経過とともに、妥当性には1種類以上のものがあることが明らかになった。
異なる科学分野には妥当性を評価する独自の方法がある。エンジニアは新しい設計を安全性と性能基準に照らしてテストする。医学研究者は管理された実験を使用して、治療法が既存の選択肢よりも効果的であることを検証する。
研究者は分野を超えて、行っている主張の種類に応じて異なる種類の妥当性を使用する。
内的妥当性は、2つの変数間の関係が本当に因果関係であるかどうかを問う。たとえば、医学研究者はランダム化比較試験を実施して、新薬がプラセボ効果などの他の要因ではなく、患者の回復につながったことを確認する。
外的妥当性は一般化に関するものである。つまり、それらの結果が実験室の外や、より広範囲または異なる集団においても有効であるかどうかである。外的妥当性が低い例として、マウスで機能する多くの初期研究が常に人間に適用されるわけではないことが挙げられる。
一方、構成概念妥当性は意味に関するものである。心理学者や社会科学者は、テストや調査が測定すべきとされる概念を本当に捉えているかどうかを問うときにこれに依存する。グリット尺度は実際に忍耐力を反映しているのか、それとも単なる頑固さなのか。
最後に、生態学的妥当性は、理想的な実験室条件下だけでなく、現実世界で何かが機能するかどうかを問う。行動モデルやAIシステムはシミュレーションでは見事に機能するかもしれないが、人間の行動、ノイズの多いデータ、または組織の複雑性が入り込むと失敗する可能性がある。
これらすべての種類の妥当性において、目標は同じだ。実験室での実験からアルゴリズムまで、科学的ツールが説明しようとする現実に忠実に結びついていることを保証することである。
技術の主張を評価する
我々は、研究者が分野を超えて自分たちの発明と理論の信頼性と有効性を明確にテストするのを助ける方法を開発した。デザインサイエンス妥当性フレームワークは、研究者が通常、技術、革新、理論、モデル、または方法の有用性について行う3つの重要な種類の主張を特定する。
第一に、基準主張は、発見が有益な結果をもたらすことを主張するもので、通常は現在の基準を上回ることによってである。これらの主張は、既存の代替案に対する明確な利点を示すことによって、技術の有用性を正当化する。
たとえば、ChatGPTのような生成AIモデルの開発者は、技術がユーザーを称賛し同意するほど、技術へのエンゲージメントが高まることを確認するかもしれない。その結果、彼らはより肯定的になるように技術をプログラムする可能性がある。この機能は追従性と呼ばれ、ユーザー維持率を高めるために使用される。AIモデルは、ユーザーが人と話すよりもより称賛的だと考えるという基準主張を満たす。しかし、これはメンタルヘルスの問題や人間関係の問題の解決を支援するようなタスクにおいて、技術の有効性を向上させることにはほとんど貢献しない。
AIの追従性は、ユーザーが関係を修復するのではなく破壊する原因となる可能性がある。
第二に、因果主張は、技術の特定の構成要素や機能が、その成功または失敗にどのように直接貢献するかを扱う。言い換えれば、これは研究者が技術を効果的にする要因と、それがなぜ機能するのかを正確に知っていることを示す主張である。
AIモデルと過度の称賛を見ると、研究者は、より追従的なモデルと対話することで、ユーザーの対人関係の葛藤を修復する意欲が減少し、自分が正しいという確信が高まることを発見した。ここでの因果主張は、AIの追従性という機能がユーザーの葛藤を修復したいという欲求を減少させるということである。
第三に、文脈主張は、技術がどこで、どのような条件下で効果的に機能すると期待されるかを特定する。これらの主張は、技術やシステムの利点が実験室を超えて一般化でき、他の集団や設定に到達できるかどうかを探求する。
同じ研究で、研究者はRedditの「Am I the Asshole」コミュニティを含む他のデータセットで、過度の称賛がユーザーの行動にどのように影響するかを調査した。彼らは、ユーザーが操作的または有害な行動を説明している場合でさえ、AIモデルは人々よりもユーザーの決定をより肯定的に扱うことを発見した。これは、AIモデルからの追従的行動が異なる会話の文脈と集団にわたって適用されるという文脈主張を支持する。
消費者としての妥当性の測定
科学的革新と消費者技術の妥当性を理解することは、科学者と一般大衆の両方にとって重要である。科学者にとっては、自分たちの発明が厳密に評価されることを保証するためのロードマップである。そして一般大衆にとっては、健康アプリ、医薬品、金融プラットフォームなど、彼らが依存するツールやシステムが本当に安全で効果的で有益であることを知ることを意味する。
あなたの周りで起こっている科学的および技術的革新を理解するために、妥当性を使用する方法を以下に示す。
2つの技術のすべての機能を互いに比較することは難しいため、技術やモデルから最も重視する機能に焦点を当てる。たとえば、チャットボットが正確であることを好むか、プライバシーに優れていることを好むか。その分野での主張を調査し、主張通りに優れているかどうかを確認する。
技術について行われている主張の種類だけでなく、どの主張が行われていないかも考慮する。たとえば、チャットボット企業はそのモデルのバイアスに対処しているか。これは、テストされていない潜在的に安全でない誇大宣伝を見ているのか、それとも真の進歩を見ているのかを知るための鍵だ。
妥当性を理解することで、組織と消費者は誇大宣伝を切り抜けて、最新技術の背後にある真実にたどり着くことができる。
