Vertex AI のグラウンディング: モデルの信頼性の向上とハルシネーションの削減

※この投稿は米国時間 2024 年 12 月 3 日に、Google Cloud blog に投稿されたものの抄訳です。

9 月に開催されたイベント「Gemini at Work」では、生成 AI による企業の働き方の変革についてご紹介しました。今回のイベントで取り上げたお客様のイノベーションを見渡したときにはっきりと言えることは、昨年が生成 AI の探求とテストの 1 年であったとすれば、今年は実用面での成果を達成する 1 年であるということです。

生成 AI は、私たちの働き方を刷新する可能性を秘めていますが、それには、出力の信頼性と関連性が高いことが前提となります。大規模言語モデル（LLM）では、知識がトレーニング期間内に得たものに限定されるため、最新情報や自社の内部データにアクセスできないことがよくあります。また、創造性を備え、確率に基づいて動作する設計となっているため、ハルシネーションが避けられません。それに加えて、情報源の帰属情報が組み込まれていません。こうした制限により、コンテキストとの関連性が高く、信頼できる最新の回答を LLM で提供することが難しくなっています。

これらの課題を解決するには、LLM と信頼できる情報源を接続する必要があります。そのために役立つコンセプトが、グラウンディング、検索拡張生成（RAG）、検索です。グラウンディングとは、実際の回答の根拠となる外部情報を LLM に提供することを意味します。これにより、ハルシネーションや事実の捏造が発生する可能性が低くなります。RAG は、グラウンディングの手法の一つで、ナレッジベースから関連性の高い情報を見つけ出し、LLM にコンテキストとして提供します。検索は、RAG を支える中核的な取得テクノロジーで、ナレッジベースの適切な情報をシステムが特定する仕組みです。

生成 AI が備える本来の可能性を引き出すために企業がすべきことは、Google が「企業の実体」と呼ぶデータに基づいて、LLM のグラウンディングを行うことです。企業の実体とは、ドキュメント、メール、ストレージ システム、サードパーティ アプリケーションなど、多岐にわたる信頼性の高い内部データです。これには、ナレッジ ワーカーがより適切に職務を遂行するために活用できる、インターネットから取得した最新情報も含まれます。

企業の実体を活用してグラウンディングされた LLM は、コンテキストとの関連性が向上した、より正確かつ最新の回答を提供できるため、ユーザーは生成 AI を利用して実用的な成果を達成できます。たとえば、パーソナライズされた的確なサポートによるカスタマー サービスの拡充、��度の高いレポートの生成やドキュメントの要約といったタスクの自動化などが挙げられます。さらに、複数のデータソースからの詳細な分析情報に基づくトレンドや機会の特定、そして顧客のニーズや市場トレンドをより深く把握したうえで新製品や新サービスを開発することによるイノベーションの促進が可能になります。

それでは、Google Cloud の AI プラットフォームである Vertex AI の最新の機能強化を活用して、これらの課題を簡単に解決する方法を見ていきましょう。

インターネット上の最新の知識を活用する

LLM には根本的な限界があります。それは、知識がトレーニング対象のデータに固定されており、そのデータが時間の経過に応じて古くなってしまうという点です。これは、新着ニュース、会社の年次報告書、スポーツ イベントやコンサートの日程など、新しいデータを必要とするあらゆる質問への回答の質に影響を及ぼします。Google 検索によるグラウンディングを使用すると、言語モデルでインターネット上の最新情報を特定できます。さらにソースのリンクも提供されるため、ユーザーはファクト チェックを行ったり、詳細を確認したりできます。Google 検索によるグラウンディングは、Gemini モデルで標準提供されています。この機能をオンに切り替えるだけで、Gemini による回答が Google 検索を使用してグラウンディングされるようになります。

次回のリクエストで Google 検索によるグラウンディングが必要になるかどうかご不明な場合は、新しい「動的取得」機能をお試しください。この機能をオンにすると、Gemini がクエリを分析し、回答の精度を高めるために最新の情報が必要かどうかを予測します。Gemini で Google 検索によるグラウンディングがトリガーされる予測スコアしきい値を設定することも可能で、これにより両方のメリットを手に入れることができます。つまり、最新の情報が必要な場合は回答の質が向上する一方、ユーザーのクエリに必要な場合だけ Google 検索が利用されるため、費用を抑えることができます。

企業の実体データすべてを接続する

新しい情報への接続は出発点にすぎません。企業にとって重要なのは、自社の専有データに基づくグラウンディングです。RAG は、LLM をトレーニング データ以外のデータソースに接続することで LLM を進化させる手法です。LLM は、回答を生成する前にこのデータから情報を取得できます。RAG には複数のオプションがありますが、その多くは質、信頼性、拡張性が低いため、企業には効果的ではありません。グラウンディングされた生成 AI アプリの質は、内部データの取得能力によって決まります。

ここで真価を発揮するのが Vertex AI です。「すぐに機能するシンプルなソリューションを探している」、「API を使用して独自の RAG システムを構築したい」、「RAG に高性能なベクトル エンベディングを使用したい」など、Vertex AI にはさまざまなニーズを満たせる幅広い機能が用意されています。

次に、企業で RAG を利用する場合の手順を簡単に説明します。 

まず、大部分のエンタープライズ アプリケーションに対応した、すぐに使える RAG を利用します。Vertex AI Search は、Google 品質の RAG（検索）によって情報発見プロセス全体を簡素化します。Google Cloud は、Vertex AI Search を使用して RAG サービスと RAG システム構築にかかわるあらゆる要素（光学式文字認識（OCR）、データの理解とアノテーション、スマート チャンキング、エンベディング、インデックス処理、保存、クエリの書き換え、スペルチェックなど）を管理します。Vertex AI Search は、組み込みのコネクタを使って、ドキュメント、ウェブサイト、データベース、構造化データ、さらに JIRA や Slack といったサードパーティ製アプリなどのデータに接続します。最大のメリットは、ほんの数分で設定できることです。

開発者の皆さんは、GitHub の Vertex Grounded Generation Playground で、クエリに対するグラウンディングされた回答とグラウンディングされていない回答を並べて比較し、Google 検索とエンタープライズ データによるグラウンディングを体験できます。

次に、特定のユースケース向けの RAG を独自に構築します。独自の RAG システムを構築する必要がある場合、レイアウト パース、ランク付け、グラウンディングされた生成、グラウンディングのチェック、テキスト エンベディング、ベクトル検索などに対応した、Vertex AI に付属する各種 API を使用できます。レイアウト パーサーは、非構造化ドキュメントを構造化表現に変換でき、グラフと図をマルチモーダルで把握します。これにより、多くの RAG システムが苦手とする、表や画像が埋め込まれた PDF などのドキュメントでの検索の質が大幅に向上します。

Google のベクトル検索機能は、高性能なカスタム エンベディングに基づいた情報検索を必要とする企業にとって、特に価値があります。ベクトル検索は数十億のベクトルに拡張でき、数ミリ秒で最近傍を見つけることができるため、大規模な企業のニーズに最適です。また、ベクトル検索では、エンベディングとセマンティック検索テクノロジーを組み合わせて関連性の高い正確な回答をユーザーに確実に提供する、ハイブリッド検索も可能になりました。

生成 AI アプリの構築方法にかかわらず、特定のニーズを確実に満たすには念入りな評価が不可欠です。Vertex AI の Gen AI Evaluation Service を利用すると、一般的なベンチマークの範囲を超えて、独自の評価基準を定義できます。これにより、創造的なコンテンツを生成する、ドキュメントを分析するなどの独自のユースケースとモデルとの適合性を正確に把握できます。

ブームを超えて実用面での成果を達成するために

生成 AI にまつわる初期の熱狂は終わり、現在は実世界への応用と具体的なビジネス価値に現実的な注目が集まっています。この目標を達成するために重要なのがグラウンディングです。AI モデルによって、単にテキストが生成されるのではなく、固有の企業の実体に基づいてグラウンディングされた分析情報が生成されるようになります。

• アラスカ航空は自然言語検索 chatbot を開発しており、まるで知識豊富な旅行代理店とやり取りするような、AI を利用した会話機能を旅行者に提供しています。これにより、旅行予約の効率化、カスタマー エクスペリエンスの向上、ブランド アイデンティティの強化を目指しています。

• Motorola Mobility の Moto AI は、Gemini と Imagen を利用してスマートフォン ユーザーを楽しませ、その生産性と創造性を強化しています。会話の要約、通知ダイジェスト、画像作成、自然言語検索などの機能を備えており、Google 検索に基づいてグラウンディングされた信頼性の高い回答を提供します。

• Cintas は、カスタマー サービスとセールスチームが重要な情報を簡単に見つけることができるよう、Vertex AI Search を使用して社内ナレッジ センターを開発して��ます。

• Workday は、Vertex AI の自然言語処理を使用して、技術系ユーザーも非技術系ユーザーも等しく簡単にデータ分析情報にアクセスできるようにして���ます。

グラウンディングを活用する企業は、生成 AI の可能性を幅広く引き出し、この変革の時代の先頭に立つことができます。詳しくは、Gemini at Work で私が担当したセッションをご覧ください。Google のグラウンディング ソリューションについて詳細に説明しています。こちらの電子書籍では、優れた検索（グラウンディングを含む）によってビジネス成果を向上させる方法について取り上げていますので、ぜひダウンロードしてご覧ください。

また、Vertex AI Search のすぐに使える RAG を活用して生成 AI アプリケーションを強化するために、1,000 ドル分の無料クレジットをご利用いただけます。

-Google Cloud、プロダクト管理担当ディレクター Vladimir Vuskovic