LlamaIndex は大規模な言語モデルにプライベート データを追加します

昨秋、OpenAI の GPT-3 テキスト生成 AI モデル (GPT-4 の前身) を試した後、Uber の元研究科学者ジェリー・リューは、プライベート データを扱うモデルの機能に関して、彼が言うところの「制限」を発見しました (例:個人ファイル）。 これを解決するために、彼は GPT-3 や GPT-4 などの大規模言語モデル (LLM) の機能とユースケースを解放することを目的としたオープンソース プロジェクト LlamaIndex を立ち上げました。

「LLMは、知識の抽出と推論のための素晴らしい機能を提供します。質問応答、要約、洞察の抽出、さらには外部環境との逐次的な意思決定を実行することもできます」とLiu氏は電子メールインタビューでTechCrunchに語った。 「しかし、LLMには限界があります。」

プロジェクトの人気が高まるにつれて (月間 200,000 件のダウンロードに達しました)、Liu は Uber の昔の同僚の 1 人である Simon Suo と協力して、LlamaIndex を本格的な会社に育てました。 現在、LlamaIndex (同社) は、開発者が個人データや組織データに基づいて LLM の機能を活用できるように支援するフレームワークを提供しています。

「LlamaIndex は、開発者が LLM アプリケーションのデータを管理するのに役立ちます」と Liu 氏は述べています。 「私たちのツールキットにはこの面で最も奥深い内容が含まれており、開発者が使用している他のツールと簡単に統合できるようにしています。」

画像クレジット:ラマインデックス

LlamaIndex フレームワークを使用すると、開発者は PDF、PowerPoint などのファイル、Notion や Slack などのアプリ、Postgres や MongoDB などのデータベースからのデータを LLM に接続できます。 このフレームワークには、データ ソースとデータ形式を取り込むためのコネクタのほか、LLM で簡単に使用できるようにデータを構造化する方法が含まれています。

さらに、LlamaIndex には、開発者が任意の LLM 入力プロンプトを入力して、Liu 氏の説明によると「コンテキストと知識が強化された」出力を取得できるデータ取得およびクエリ インターフェイスが備えられています。

「LLM アプリケーションとエージェントの基本的な構成要素を提供する LLM アプリケーション フレームワークは他にもあります」と Liu 氏は言います。 「LlamaIndex の特徴は、データ ソースと LLM の接続に重点を置いており、LLM アプリケーションに関するデータの取り込み、データ管理、インデックス作成、およびデータの取得に関する広範なツールを備えていることです。」

このようにして LLM を強化できるという見通しは投資家を魅了し、最近終了したシード資金調達ラウンドで LlamaIndex に 850 万ドルを約束しました。 グレイロック氏は、ジャック・アルトマン氏、レニー・ラチツキー氏、チャールズ・シー氏などのエンジェル投資家らの参加を得て主導した。

それでは、LlamaIndex は何にお金を使うのでしょうか? Liu氏によると、これは今年後半に開始予定のオープンソースLlamaIndexプロジェクトの上に「エンタープライズソリューション」を構築するために使用されるという。 1 つの機能により、顧客は「保護グレード」のデータ コネクタを使用して大量のデータを解析および転送できるようになり、もう 1 つの関連機能により、「ドメイン固有」データのインデックス付けが可能になります。

「LlamaIndex は特定のテクノロジーに結び付けられていないため、テクノロジーが進化しても LLM とともに使用し続けることができます」と Liu 氏は述べています。 「AI 業界の進歩は非常に速いため、登場する初期スタックは今後数か月以内に変更される可能性があります。」