MITの研究者が言語モデルをスケーラブルに開発

前の画像 次の画像

ソクラテスはかつてこう言いました。「本当に重要なのは物の大きさではなく、質である。なぜなら、真の価値は量ではなく物質の性質の中にあるからだ。」

大規模言語モデル (LLM) ではサイズが常に重要ですか? MIT コンピューター科学・人工知能研究所 (CSAIL) の研究者チームは、LLM が中心的な役割を果たすことで目がくらむような技術情勢の中で、特に業界で広く導入されている自然言語理解製品については、より小規模なモデルを無視すべきではないと考えています。

この目的を達成するために、研究者らは、大規模なテキストベースの AI モデルに関連する非効率性とプライバシーという長年の問題に対するアプローチを考案しました。このモデルは、人間を介さずに一部の言語を理解するタスクにおいて、500 倍も大きい対応モデルよりも優れたパフォーマンスを発揮するロジック認識モデルです。プライバシーと堅牢性を高いパフォーマンスで維持しながら、注釈を生成します。

LLM は、言語、アート、コードの生成において有望なスキルを示していますが、計算コストが高く、データのアップロードにアプリケーション プログラミング インターフェイスを使用する場合、そのデータ要件によりプライバシー漏洩の危険が生じる可能性があります。 小規模なモデルは、歴史的に、特にマルチタスクや弱い監視下にあるタスクにおいて、大型のモデルに比べて能力が劣っています。

では、これらの小型モデルが強力に動作するのに何が貢献しているのでしょうか? 「テキスト含意」と呼ばれるもので、これらのモデルがさまざまな言語タスクを理解するのに役立つ方法であり、一方の文 (前提) が真であれば、もう一方の文 (仮説) も同様に真である可能性が高くなります。 たとえば、「すべての猫には尻尾がある」という前提がある場合、「トラ猫には尻尾がある」という仮説がその前提によって含意されます。 この概念は、チームの以前の研究から、他の言語モデルよりも偏りが少ないことが証明された「含意モデル」をトレーニングするために使用されます。 次に、さまざまなタスクに応じて、特定の情報が特定の文またはフレーズに含まれるかどうかをモデルが理解するために使用できる「プロンプト」を作成しました。この方法により、追加のトレーニングなしでさまざまなタスクに適応するモデルの能力が向上しました (ゼロと呼ばれます) -ショットの適応。

「自然言語理解」の領域には、2 つのテキスト間の関係を決定することに依存するさまざまなアプリケーションがあります。 たとえば、感情分類では、「その映画は良いと思います」のような発言は、「ストーリーが好きで、演技も素晴らしい」という映画レビューから推論または含意され、肯定的な感情を示します。 もう 1 つは、ニュース記事の内容からニュース記事のトピックを推測できるニュース分類です。 たとえば、記事の主な内容が NBA の試合に関するものである場合、「ニュース記事はスポーツに関するものです」のような記述が含まれる可能性があります。 重要な洞察は、既存の自然言語理解タスクの多くが含意 (つまり、自然言語での論理推論) タスクとして再構築できるということでした。

「私たちの研究は、自然言語、つまり人間が話したり書いたりする方法を理解し、処理するコンピューター プログラムの能力を向上させることを目的としています。私たちの自己学習された 3 億 5,000 万のパラメータ含意モデルは、人間が生成したラベルを使用せず、教師あり言語モデルを 137 というパフォーマンスで上回っています。」パラメータは 1,750 億個に達します」と、この研究に関する新しい論文の筆頭著者である MIT CSAIL 博士研究員の Honyin Luo 氏は述べています。 「これにより、AI と機械学習の状況が再構築され、よりスケーラブルで信頼性が高く、コスト効率の高い言語モデリングのソリューションが提供される可能性があります」と Luo 氏は言います。 「言語理解に関しては、小型のモデルでも大型のモデルと同じレベルで機能できることを証明することで、この研究は、より持続可能でプライバシーを保護する AI テクノロジーへの道を切り開きます。」

チームは、「自己トレーニング」と呼ばれる手法を使用することで、モデルのパフォーマンスをさらに向上できることを発見しました。この手法では、モデルが独自の予測を使用して学習し、人間の監督や追加の注釈付きトレーニング データなしで効果的に学習します。自己トレーニング方法感情分析、質問応答、ニュース分類など、一連の下流タスクのパフォーマンスが大幅に向上しました。 ゼロショット機能、GPT モデル、その他の教師ありアルゴリズムにおいて、Google の LaMDA と FLAN の両方を上回りました。

ただし、セルフ トレーニングの 1 つの課題は、モデルがパフォーマンスを損なう誤ったラベルやノイズの多いラベルを生成する場合があることです。 これを克服するために、彼らは「SimPLE」（Simple Pseudo-Label Editing）と呼ばれる新しいアルゴリズムを開発しました。これは、学習の最初のラウンドで作成された疑似ラベルをレビューして変更するプロセスです。 ラベルが間違っているインスタンスを修正することで、自己生成されたラベルの全体的な品質が向上しました。 これにより、モデルは言語をより効果的に理解できるだけでなく、敵対的なデータに直面した場合にもより堅牢になりました。

ほとんどの研究と同様に、いくつかの制限があります。 マルチクラス分類タスクの自己トレーニングは、バイナリ自然言語理解タスクほどうまく機能しませんでした。これは、含意モデルを複数選択タスクに適用することが課題であることを示しています。」 この研究は、大規模言語をトレーニングするための効率的かつ効果的な方法を示しています。自然言語理解タスクを文脈含意問題として定式化し、擬似ラベル付け自己トレーニング メカニズムを採用してトレーニング プロセスに大量のラベルなしテキスト データを組み込むことによって、モデル (LLM) を構築しています」と、CSAIL 上級研究員であり、CSAIL 上級研究員の James Glass 氏は付け加えています。紙の著者。 「LLM の分野は急速かつ劇的な変化を遂げていますが、この研究は、ほぼ同じサイズの言語モデル、さらにははるかに大きな言語モデルと比較して、ベンチマーク理解タスクで非常に優れたパフォーマンスを発揮する比較的コンパクトな言語モデルを作成できることを示しています」 。」

「含意タスクは、AI モデルによる特定のコンテキストの『理解』を評価するための一般的な代用手段です」と、MIT-IBM Watson AI Lab の研究スタッフである Leonid Karlinsky 氏は述べています。 「これは、LLM などの単峰性、および VLM (視覚言語モデル) などの多峰性の入力を使用してモデルを分析する多くの分野で使用されており、バイナリ分類問題に対する特定の入力コンテキストに関する質問に答えるタスクを簡素化します。コンテキストは特定の (テキストなど) 結論を伴うかどうか? この論文は、この分野で 2 つの貢献をしています。まず、ゼロショット (追加のチューニングなしで) NLU のパフォーマンスと、合成されたものを使ったチューニングによって敵対的攻撃に対する堅牢性を向上させる方法を提案しています。主要な NLU タスクに対して生成される (特殊な) 含意タスク。第 2 に、大規模な LLM の NLU パフォーマンスをさらに向上させるための、擬似ラベル付けと信頼度ベースのフィルタリングを含む自己監視型 SimPLE メソッドを提供します。

Luo氏とGlass氏は、CSAIL会員でMIT電気工学・コンピュータサイエンス学部助教授のYoon Kim氏、北京大学のJiaxin Ge氏とともにこの論文を執筆した。 彼らの研究は、今年 7 月にオンタリオ州トロントで開催される計算言語学協会の会合で発表される予定です。 この研究は、香港イノベーション AI プログラムからの助成金によって支援されました。

前の項目 次の項目