AI幻覚に関するOpenAIの画期的な進歩は、AI全体にとって後退である

OpenAI の ChatGPT などの命令に従う大規模な言語モデルや、Google の Bard や Anthropic の Claude などの競合システムには、ビジネスに革命を起こす可能性があります。 しかし、多くの企業はそれらをどのように活用するかに苦戦しています。 その主な理由は、それらは信頼性が低く、権威があるように聞こえても不正確な情報を提供する傾向があるためです。 これらの AI モードが生成するコンテンツがリスクを引き起こす可能性があるためでもあります。 これらは有害な言葉を出力したり、ユーザーに危険な行為や違法行為を奨励したりする可能性があります。 企業が保護したいデータを暴露する可能性があります。 数十の企業がこの問題を解決する方法を見つけようと競い合っています。そして、最初に解決した人には金塊が用意されています。

先週、OpenAIは研究論文と付随するブログ投稿を発表し、その目標に向けて、そしてより大きな「調整問題」の解決に向けて潜在的に大きな前進となる可能性があると主張した。 「調整問題」とは、強力な AI システムに人間の概念や価値観の理解をどのように吹き込むかということです。 「AI の安全性」として知られる分野で活動する研究者らは、将来の AI ソフトウェアが人類に絶滅レベルの脅威をもたらさないようにするためには、これが重要であると考えています。 しかし、これから説明するように、OpenAI が提案するソリューションは、今日の大規模な言語モデルがいかに制限されているかを実際に示していると思います。 生成 AI 用に根本的に異なるアーキテクチャを考え出さない限り、「調整」と「パフォーマンス」の間の緊張により、テクノロジーがその潜在能力を最大限に発揮できないことになる可能性があります。 実際、OpenAI が最新の研究で示唆している方法で LLM をトレーニングすることは、この分野にとって後退であると主張する人もいるでしょう。

その理由を説明するために、OpenAI の最新の研究が示したことを見てみましょう。 まず、研究者が大規模な言語モデルの荒々しい出力を飼いならそうと試みてきた 1 つの方法が、人間のフィードバックからの強化学習 (略して RLHF) と呼ばれるプロセスを介していることを理解する必要があります。 これは、LLM が生成する回答を人間が評価し、通常は単純な「賛成」または「反対」だけで (ただし、バイナリの少ないフィードバック システムを実験した人もいます)、その後 LLM が微調整されて、より可能性の高い回答が生成されることを意味します。高く評価されました。 LLM に、特に論理的な質問や数学などのタスクで、より質の高い回答を生成させるもう 1 つの方法は、単に最終的な回答を生成するのではなく、LLM に「段階的に推論する」または「段階的に考える」よう依頼することです。 このいわゆる「思考の連鎖」が機能を促す正確な理由は完全には理解されていませんが、一貫してより良い結果を生み出すようです。

OpenAI が最新の研究で行ったことは、LLM が思考連鎖推論を使用するように指示され、連鎖内の各論理ステップ (最終的な答えではなく) についても RLHF を使用してトレーニングされたときに何が起こるかを確認することでした。 OpenAI は、これまで使用してきた「結果の監視」とは対照的に、これを「プロセスの監視」と呼びました。 まあ、おそらく驚くことではないかもしれませんが、各ステップについてフィードバックを提供すると、より良い結果が得られることがわかりました。 これは、中学校の数学の先生がいつも試験で「自分の努力を見せなさい」と忠告していたのと似ていると考えることができます。 そうすれば、質問を解くために必要な推論を理解しているかどうかを彼女が確認でき、たとえプロセスのどこかで単純な算術ミスを犯したとしても、部分的な評価を与えることができます。

問題がいくつかあります。 1 つは、他の研究者も指摘しているように、この「プロセスの監視」が、LLM が示すあらゆる種類の幻覚、特に存在しない引用や不正確な引用に関連する幻覚に役立つのか、それとも不正確な部分の一部のみに対処するだけなのかは明らかではありません。ロジックを伴うもの。 企業が恐れている望ましくない結果の多くを回避するために LLM を調整するには、これらのモデルの構築方法とトレーニング方法について、より根本的な再考が必要になる可能性があることがますます明らかになってきています。

実際、ヘブライ大学と AI21 研究所のイスラエルのコンピューター科学者のグループは、最近 RLHF が堅牢な位置合わせ方法であるかどうかを調査し、深刻な問題を発見しました。 今月発表された論文の中で研究者らは、AIモデルが示す可能性のあるあらゆる行動については、たとえどれほど可能性が低くても、その行動を引き出すプロンプトが存在し、可能性の低い行動には単により長いプロンプトが必要であることを証明したと述べた。 「これは、望ましくない動作を軽減するものの、完全には除去しない調整プロセスは、敵対的プロンプト攻撃に対して安全ではないことを意味します」と研究者らは書いている。 さらに悪いことに、RLHF などの手法により、モデルが望ましくない動作を示すように仕向けることが実際に容易になることが判明しました。

さらに大きな問題もあります。 たとえこの手法が成功したとしても、最終的には AI ができることを制限するだけで、強化することはできません。実際、これは Move 37 の天才性を放棄する危険性があります。これはどういう意味ですか? 2016 年、現在の Google DeepMind によって作成された AI システムである AlphaGo は、古代の戦略ボード ゲームである囲碁で世界トップの人間プレイヤーを 5 番勝負のデモンストレーションマッチで破り、コンピューター サイエンスにおける大きなマイルストーンを達成しました。 そのコンテストの第 2 局、ゲームの 37 手目で、AlphaGo は非常に異例で、人間の囲碁専門家にとってはあまりにも直観に反して石を置きました。そのため、ほとんどの人がそれが間違いだと考えました。 AlphaGo 自体は、人間がその手を打つ可能性は 1 万分の 1 未満であると推定しました。 しかし、AlphaGo はまた、この動きによってゲームに勝つための素晴らしい立場に立つだろうと予測し、その通りになりました。 37手目はミスではなかった。 それは天才のひらめきでした。

その後、専門家が何百もの対局にわたる AlphaGo のプレイを分析したところ、最良の囲碁戦略に関する 1,000 年にわたる人類の専門知識と直感を覆すプレイ方法が発見されたことがわかりました。 同様に、DeepMind によって作成された別のシステム、Alpha Zero は、さまざまな戦略ゲームに勝つことができましたが、人間のグランドマスターにとって非常に奇妙でありながら非常に効果的であるように見えるスタイルでチェスをプレイするため、一部の人はそれを「エイリアン チェス」と呼ぶほどでした。 一般に、人間のプレイヤーを不快にさせる方法で盤上の地位を獲得するために、おそらく高価値の駒を犠牲にすることを厭いませんでした。 AlphaGo と同様に、AlphaZero は強化学習を使用して訓練され、自分自身と何百万ものゲームをプレイし、そこで得られる唯一の報酬は勝ったか負けたかだけでした。

言い換えれば、AlphaGo と AlphaZero は、彼らがとった暫定的な措置が肯定的か否定的かについて人間の専門家からフィードバックを受けていません。 その結果、AI ソフトウェアは、人間のゲームに対する既存の理解の限界にとらわれることなく、あらゆる種類の戦略を公平に探索することができました。 もし、OpenAI が LLM に対して主張しているように、AlphaGo が人間のフィードバックによるプロセスの監督を受けていたら、人間の専門家はほぼ確実に Move 37 に低評価を与えていただろう。 結局のところ、人間の囲碁名人は37手目は非論理的だと判断したのだ。 素晴らしいものになりました。 そして、それが OpenAI が提案するアプローチの問題です。 これは最終的には難問であり、LLM の設計の基礎となる問題を解決するために設計された粗雑な回避策です。

今日の生成 AI システムはパスティーシュが非常に得意です。 彼らは人間の知識を吐き出し、再混合します。 しかし、私たちが本当に望んでいるのが、気候変動から病気に至るまで、私たちが直面している最も困難な問題の解決に役立つ AI システムである場合、私たちが必要としているのは、単なる古いアイデアのマサラではなく、根本的に新しいアイデアです。 私たちは、最終的に新しい仮説を推進し、科学的な進歩を遂げ、新しい戦術や方法を発明できる AI を望んでいます。 人間のフィードバックによるプロセスの監視は、その目標の達成に悪影響を与える可能性があります。 最終的には、よく調整されているものの、天才的な能力を発揮できない AI システムが完成するでしょう。

それでは、今週の AI に関するニュースの残りをご紹介します

ただし、読み進める前に、生成 AI 革命を形成する最も重要なプレーヤーの何人かに話を聞いて、企業がそのテクノロジーを使用してビジネスを再発明する方法を知りたいと思いませんか? もちろんそうでしょう！ だから来てくださいFortune のブレインストーミング技術2023年会議、7月10日～12日ユタ州パークシティにある。 面接させていただきますAnthropic CEO ダリオ・アモデイ信頼できる AI の構築についてマイクロソフト社コーポレートバイスプレジデントのジョルディ・リバス氏 AI が Bing と検索をどのように変革するかについて。 からもお聞きしますアントニオ・ネリ氏、ヒューレット・パッカード エンタープライズ CEO、同社がAIの可能性をどのように解き放つかについて、アラティ・プラバーカール、ホワイトハウス科学技術政策局長米国に関するバイデン政権の最新の考えについては、AIの可能性を実現しながら、AIの重大なリスクを確実に防ぐために必要な規制を制定できる可能性があると述べ、メレディス・ウィテカー、シグナル財団会長、AI 時代のプライバシーの保護について、そしてさらにたくさんのの一部を含むベンチャーキャピタルのトップ投資家生成AIブームを後押ししています。 これらすべてに加えて、フライフィッシング、マウンテンバイク、ハイキング 。 Eye on AI読者の皆様もぜひご参加ください！ こちらから参加申し込みができます。

ジェレミー・カーン@[email protected]

オーストラリアがAI規制を計画中。ロイター通信によると、オーストラリアはディープフェイクや誤解を招くAI生成コンテンツの制作を禁止する法案の制定を計画しているという。 オーストラリアの国家科学技術評議会による最近の報告書では、議会選挙中に世論を動かすためにAIが生成したコンテンツが使用される可能性が強調されています。 オーストラリアはまた、著作権、プライバシー、消費者保護などの分野におけるギャップに対処するために法律や規制を更新する予定だ。 オーストラリアは、2018年にAIに関する自主的な倫理枠組みをいち早く導入した国の一つである。欧州の議員らは現在、オーストラリアが従うことを検討するリスクベースの規制アプローチを含む、他の先進国のモデルとなり得る画期的なAI法を完成させている。

摂食障害ヘルプラインは、有害なアドバイスを行ったチャットボットを削除します。 Vice Newsの報道によると、全米摂食障害協会（NEDA）は、危険な食習慣を促進するソーシャルメディアの投稿がバイラルなソーシャルメディア投稿によって暴露されたため、摂食障害を持つ人々にアドバイスするために設計された「Tessa」と呼ばれるチャットボットの使用を一時停止せざるを得なくなった。 活動家シャロン・マックスウェル氏の投稿では、テッサさんがどのように意図的な減量、カロリー計算、厳格なダイエットを奨励したかについて説明されており、これらすべての活動がそもそも彼女が摂食障害を発症する一因となったとマックスウェルさんは述べている。 NEDAは当初マクスウェル氏の説明を否定したが、後にこの問題を認め、テッサ氏の対応は彼らの政策や核心的信念に反していると述べた。 NEDAは以前、ヘルプライン従業員が労働組合を結成しようとしていることに対抗して、職員によるヘルプラインを20年ぶりに廃止し、サービス全体をチャットボットに置き換えるという決定を下したことで批判を集めていた。

プーチン大統領のディープフェイクは、「ロシアが攻撃されている」という誤った情報キャンペーンの一環として使用された。ポリティコは、ハッカーらがサイバー攻撃を仕掛け、ロシアのウラジーミル・プーチン大統領が行っているかのように見せかけて、AIが生成した偽の緊急アピールをテレビ放送したと報じた。 動画の中でプーチン大統領は、ウクライナ軍がロシア領土に侵入したとみられることを受けて戒厳令を布告すると主張した。 本物そっくりのディープフェイク演説は国民に避難を促し、ウクライナとの全面戦争に備えるよう呼びかけた。 しかしプーチン大統領の報道官は、演説は決して行われなかったと認めた。 この事件は、ディープフェイクや偽情報のリスクが増大していることを浮き彫りにしている。

ゲッティは英国裁判所に、Stability AI のマーケティング Stable Diffusion の差し止めを求めています。ロイター通信によると、写真代理店は英国の裁判所に対し、国内でのStability AIの画像生成ソフトウェアの販売差し止めを求めたという。 ゲッティ社はすでに、人気のオープンソースのテキストから画像へのAIソフトウェア「ステーブル・ディフュージョン」の開発を支援したスタビリティ社を、英国と米国の両国で著作権侵害で訴えており、ステーブル・ディフュージョンはゲッティ社が所有する何百万ものスクレイピングされた画像を使ってトレーニングされたと主張している。適切なライセンスを取得せずにインターネットからアクセスした場合。 この訴訟は、AIトレーニングのための同意のない著作物の使用に何らかの「フェアユース」の免除が認められるかどうかを巡る前例となる可能性があるとして、注目されている。

報告書によると、Stability AIの創設者兼最高経営責任者（CEO）は、自身の資格や同社とアマゾンを含むパートナーとの関係を誇張していたという。 Forbes の調査記事によると、Stability AI の創設者兼 CEO であるエマド・モスタク氏が、自身の経歴と会社のパートナーシップについて誤解を招くような主張をしたとのことです。 記事によると、モスタク氏はオックスフォードで修士号を取得していると偽り、これまでの同社の代表的なAIシステム「Stable Diffusion」の開発など、主要なAIプロジェクトにおける自身の役割とStability社の役割を偽り、パートナーシップや戦略性について疑わしい主張を行ったという。 Amazon のクラウドプロバイダー AWS との提携を含む。 元従業員らの報告によると、会社は賃金支払いが遅れ、給与税を期限内に支払わなかったとして捜査され、資金は会社の銀行口座からモスタク氏の妻の個人口座に送金された。 Forbes によると、同社は 10 月に 10 億ドルを超える評価額で 1 億 100 万ドルの資金を確保したが、現在は追加のベンチャーキャピタル資金の確保に苦戦しているという。

なぜ大規模な言語モデルは非常に賢く、同時に非常に愚かに見えるのでしょうか?アレン人工知能研究所、ワシントン大学、シカゴ大学、南カリフォルニア大学のコンピューター科学者らによる研究では、LLM が一見複雑に見える多くのタスクを流暢に処理できるにもかかわらず、タスクに関して正確な結果を生み出すのに苦労している理由を調査しようとしました。人間にとって些細なことだと思うこと。 「これらのエラーは偶発的なものですか、それとも、より重大な制限を示しているのでしょうか?」 研究者らは尋ねた。 彼らは、問題をサブステップに分割し、それらのサブステップの結果を合成して答えを生成する 3 つの「合成タスク」、つまり複数桁の乗算、ロジック グリッド パズル、および古典的な動的プログラミングでの LLM パフォーマンスを調査しました。 彼らの発見は？ LLM は、Transformer と呼ばれる深層学習アーキテクチャの一種に基づいて構築されており、複数ステップの構成推論を、質問の各構成要素に回答する可能性が高い最適な単語のセットを決定する一連の作業に削減することで動作しますが、実際に体系的な学習を行うことはありません。問題解決スキル。 (これは、プロンプトで LLM が「段階的に考える」と主張する方が、単純に答えを求めるよりも良い結果を生み出す理由も説明できるかもしれません。少なくとも、単に試すのではなく、最も可能性の高い応答を求めて AI に一連の連鎖検索を実行させることになります。その結果、タスクがますます複雑になるにつれて、LLM のパフォーマンスは必然的に悪化する (彼らが使う言葉は「急速に減衰する」) と研究者らは主張しています。 言い換えれば、LLM は結局、人間のような知能を高めるための正しい道ではないのかもしれません。 そしておそらく、この現在の誇大宣伝サイクルは崩壊に向かっているのかもしれない。

iPhone の「ダッキング」迷惑な自動修正問題がついに修正される - それもすべて AI のおかげだ - by Prarthana Prakash

IMFのナンバー2当局者は、専門家が自動化によって失われる雇用を無視したのは間違っていたと述べ、AIを規制する「時間的余裕はない」と警告している（プラータナ・プラカシュ著）

ハリウッドの作家たちはスチームパンクの瞬間を過ごしている、とバークレイズ氏は言う。 AI は本当にすべてを変えるでしょう — 今から数十年後 — レイチェル・シン著

AI はキャリアの軌道を変える、HP CEO が語る:「物事を行うことから物事を解釈することへ」—スティーブ・モルマン著

GPU の不足により、発祥の地にあった生成 AI 革命が台無しになってしまうのでしょうか?私は今週初めに、OpenAI CEOのサム・アルトマン氏が数週間前にロンドンに滞在していた際、AI企業の新興企業CEOとAI開発者の非公開会議で語った内容を暴露したとされるブログ投稿について書きました。 (このブログ投稿は OpenAI の要請によりすぐに削除されましたが、インターネット アーカイブにキャプチャされ、ソーシャル メディアや開発者ディスカッション ボードにリンクされるまでは削除されませんでした。) 会議で Altman 氏が明らかにしたことの 1 つは、OpenAI の攻撃の範囲でした。同社の製品に対する急増する需要を満たすのに十分なグラフィックス プロセッシング ユニット (GPU) を確保できないため、成長が抑制されています。 GPU の不足により、OpenAI は、ユーザーに 100,000 トークンという巨大なコンテキスト ウィンドウを提供している Anthropic などの競合他社が提供するものに匹敵する、より長いコンテキスト ウィンドウ (より長いプロンプトと応答を可能にする) などの機能を展開することができません。 しかし、もちろん、Anthropic がこれを実現できたのは、OpenAI や ChatGPT ほどのブランド認知度がまだないからではないかと疑問に思う人もいるでしょう。 突然、より多くのユーザーを引き付け始めた場合、おそらく Anthropic も、その需要に見合う十分な GPU を確保するのに苦労することになるでしょう。

巨大なビッグテック大手さえもこの問題に直面しています。 CNBC の記事によると、OpenAI のパートナーである Microsoft は、Nvidia パートナーである CoreWeave から追加の GPU 容量を購入するために、複数年にわたって潜在的に数十億ドル相当の契約を締結したとのことです。 一方、Google の生成 AI を活用した「検索エクスペリエンス」をテストしたジャーナリストらは皆、システムの応答生成がいかに遅いかを指摘しています。これはおそらく、インターネット巨人の GPU 能力の制約の結果でもあると考えられます。

そして、生成 AI アプリケーションはまだ初期段階にあることを忘れないでください。 現在GPUの主要生産者であるNvidia、あるいはその新興のAI専用チップのライバルが、需要を満たすのに十分な速さで生産を増強できるかどうかは明らかではない。 そしてそれは、生成型 AI 革命が、中止されないにしても、少なくとも減衰することを意味するかもしれません。

これは Eye on AI のオンライン版で、火曜日に受信箱に配信される無料のニュースレターです。 ここからサインアップしてください。