行政機関と公的セクターにおける生成AIのメリット

Elasticsearch + 生成AI + 内部データで、必要とするミッションクリティカルな回答を見つける

blog-elastic-GAI-public-sector.jpg

過去数か月にわたり、生成AI(GAI)には多大な関心が寄せられています。人びとはChatGPTのようなGAIアプリケーションを試し、ビジネスはGAIが顧客体験、会計、マーケティングなどに与える影響を慎重に検討しています。テクノロジーが急速に変化する中で、何が不確かで、何が実際に実装可能で価値があるのかを判断するのは困難な場合があります。

現在行政機関の責任者は、GAIから最大限の価値を引き出すために組織の内部データを整備する方法や、GAIを使用して市民や職員のエクスペリエンスを向上させる方法を、真剣に検討すべき段階にきています。

GAIのみでは訓練したデータの範囲でしか役に立たない

現状において、GAIは優れたコンテンツ、会話、画像などを生成できます。しかしこれらの成果は、ツールを訓練したデータのみを対象とするものです。訓練用のデータセット(大規模言語モデル(LLM)内で知識の出現をもたらす)がインターネット上の公的に利用可能なデータに基づいている場合、生成される回答の範囲は限定的です。公開データに基づくGAIはハルシネーション(誤った情報をあたかも正確であるかのように提示すること)を起こしやすくなります。

一方で、組織の内部データを利用してGAIを使用すると、任務の成果を大幅に加速し、市民サービスを向上させ、アナリストやサイバーセキュリティ担当者といった行政機関のナレッジワーカーが適切なデータを適切なタイミングで提供しやすくなります。その理由は、これらの機関データによって重要なコンテキストが付加されるためです。

GAIとプライベートな機関データを組み合わせることで、相乗効果が生まれます。ネイティブのソリューションではプライベートデータをモデルそのものに取り込みますが、AIモデルを訓練または調整する複雑さとコストは、行政機関内のドメインややり取りのポイントの数を加味すると、手に負えなくなります。代わりにLLMに同じ質問をすると、質問はまずElasticのAIを活用する検索機能に取り込まれ、内部データに基づいた最も関連性の高い事実に基づく回答が見つかります。

内部データがGAIにもたらすこのドメイン固有のコンテキストにより、アウトプットがより正確で関連性が高く、任務において実用的なものになります。"内部データを利用する"ための前提条件は、1か所でデータを見つけてアクセスできる一元的なデータプラットフォームにデータが格納されていることです。

プライバシーとセキュリティについて

特に公共セクターにおいては、非常に機密性の高いデータをパブリックアクセスが可能なGAIその他、内部データの管理を維持できないシステムと混同させることは避ける必要があります。公的に利用可能なGAI製品(ChatGPTなど)に送信された検索クエリはそのモデルによって利用され、これは内部データがもはや内部データではなくなることを意味します。組織が公式にはGAIをテクノロジースタックの一部として使用していなかったとしても、職員がGAIを使用する可能性はかなり高くなります。

ITチームが管理でき、インサイトを得られる方法でGAIと機密データを戦略的に統合して、内部データを適切に保持できるようにしましょう。それができなければ、職員が機密性の高いデータを意図せずChatGPTのようなセキュリティを確保できないパブリックGAIサービスに提供してしまう可能性があります。理想的には、組織のデータを完全に管理でき、ロールベースのアクセス制御(RBAC)を有効化できる、機密情報を扱うために設計されたプラットフォームに機密データを統合します。詳しくは以下のセクションで説明します。

GAIで任務の遂行を加速する

データは、今日の公共セクター組織が保有する最も戦略的なアセットの1つです。データを統合して、GAIや検索技術を活用できる単一のプラットフォームに格納すると、実際の影響は広範囲におよび、次のようなメリットが得られます。

公共サービスに対するパーソナライズされたアクセス

ある市民が公共住宅サービスに申し込むとします。申請プロセスには、ニーズと場所に応じていくつかの手順と書類が必要になります。Webページに一般的な情報を記載するだけでは分かりにくく、市民の固有の状況に対応できない可能性が高くなります。一方、組織が内部データをGAIに取り込めば、市民は個々の状況にカスタマイズされた情報や手順を見つけることができます。このように非常に関連性の高い情報を提供することで、そもそも利用者が重要なサービスにアクセスしづらい原因となっている複雑性を低減できる可能性があります。

合理化された市民のエクスペリエンス

または別の例として、陪審員義務の召喚状が届いたため、今後の流れを知りたいとします。どこに行く必要があるのか、どのくらいの時間がかかるのか、陪審員として任命されているのか、裁判官は法廷に携帯電話を持ち込むことを許可しているのか、といった疑問があるとします。GAIはデータを活用し、これらの複雑な情報を合理化してパーソナライズすることができ、その結果市民のエクスペリエンスを向上させ、行政機関のサービスや責任者に対する信頼を構築できる可能性があります。

正確な調査と情報活動

法執行機関と情報活動コミュニティにおいては、誰もが適切なデータにリアルタイムでアクセスできることが重要です。これは1つのプロジェクトについて複数の組織が連携しており、さまざまな形式の情報が異なるデータベースに存在する場合に特に当てはまります。異なるデータタイプやデータソースにわたり、単一のGAIクエリを介して回答を見つけられると、より正確な結果をより迅速に入手し、時間のかかる手作業を削減できる可能性があり、全員が必要に応じて同一の正確なデータセットで作業できるようになります。

職員の生産性の向上

GAIをドメイン固有のコンテキストと統合すると、組織内のチームが業務に役立つ必要な情報をすばやく見つけられるようになります。複数のデータセットやフォーマットにまたがる簡単なクエリにより、非常に関連性の高い情報をリアルタイムで入手できます。大量の書類やサイロ化されたデータベースを丹念に(そして延々と)調べる必要はありません。また多くの場合、チームが探している情報は、公共のインターネットやAIモデル用の訓練セットにはありません。そのためGAIを活用するツールを提供して、機密情報をすばやく見つけられるようにし、職員がデータセキュリティを侵害する可能性のある公共ツールを利用しなくて済むようにすることが重要です。

職員が無意味な検索や手作業によるデータの関連付けに費やす時間を減らせば、職員の日々の不満の原因を1つ取り除くことができ、(最初からリソースが不足している場合は特に)仕事の満足度と士気を向上させることができます。

GAI + Elasticsearch + 内部データ

組織のデータとGAIを統合する方法を検討するにあたり、Elasticsearchプラットフォームは非常に協力なツールとなり得ます。Elasticsearchではあらゆる種類のデータをインジェストし、経済的に格納し、データの場所を問わずアクセスでき、GAIの変換器モデルと統合できます。
Elasticは10年以上にわたり検索の民主化に取り組んでおり、その多くの時間をAIと機械学習(ML)に費やしてきました。その成果として、Elasticは最近Elasticsearch Relevance Engine(ESRE)をリリースしました。これはElasticのお客様がElasticsearchプラットフォームでAIとMLを通じて、質問に対する関連性の高い回答を見つけられるようサポートするものです。

Elasticsearch Relevance Engine(ESRE)とは

ESREはAIの長所とElasticのテキスト検索を組み合わせ、大規模言語モデル(LLM)と連携する機能を提供します。Elasticのコミュニティからすでに大きな信頼が寄せられているシンプルかつ統合されたAPIを使ってアクセスできるため、開発者はすぐに使い始めて検索の関連性を高めることができます。

言い換えると、独自のGAIモデルやサードパーティのGAIモデルを、Elasticsearchプラットフォームに格納された内部データと接続できるようになりました。これによりドメイン固有のデータでGAIの持つ力を活用し、正確で関連性が高く、実用的で安全な回答を構築することができます。

ESREの詳細については、リリースに関するブログ記事をお読みください

GAIとプライベートデータでElasticsearchを使用すべき理由

1. 一元的なデータストレージとアクセスの民主化。すべてのデータをElasticsearchプラットフォームに低コストで格納でき、アクセスを民主化し、データを見つけやすく、インサイトを獲得しやすくなります。プラットフォームにデータを格納したら、脅威ハンティングやインフラストラクチャの監視など、その他のユースケースに利用できます。

2. 次のようなミッションクリティカルな回答を見つけられます。

  • 正確:GAIおよび内部データから取得される回答は、ハルシネーションではなく、任務と関連する事実に基づいています。
  • 関連性が高い:Elasticsearchの機密データを使用することで、LLMを内部データで何度も訓練する必要がなくなり、時間と訓練コストを節約でき、常に最新の情報を維持できます。
  • 実用的:Elasticsearchプラットフォームではデータやインサイトへのアクセスが民主化され、チームがどこからでも連携し、リアルタイムで意思決定を行うことができます。
  • 安全:すべての職員がすべてのドキュメントにアクセスできるわけではなく、データ主権の目的で特定のデータを特定の場所に配置する必要もあります。Elasticsearchではデータへのアクセス権を組織内の特定のロールに制限しながら、すべてのデータストアにわたり検索できる機能を維持することができます。

3. コスト効率の高い実装。何十年にもわたる情報検索の最適化により、Elasticsearchは、訓練済みまたは調整済みの大規模言語モデルから同じ知識を抽出するよりも桁違いにCPU効率の高い方法で、GAIのインタラクションに知識を提供することができます。一部では、セマンティック検索がChatGPT 3.5のみを使用した場合と比較して5倍、またはGPT-4のCPUコストと比較して250倍効率化されると推測されています。

GAIが自組織にどれほどの価値をもたらすかは、組織のデータとそのデータが一元化されていてアクセス可能かどうかによって異なります。データが複数のツールやチームに分散されている場合は、GAIを任務の目的と密接に関連させるために必要なコンテキストやコンテンツが不足している場合があります。Elasticsearchプラットフォームは組織の全データの単一のデータストアとして機能し、コラボレーション、AIインサイト、自動化の一元化された出発点となります。

次のステップ

このブログ記事では、それぞれのオーナーが所有・運用するサードパーティの生成AIツールを使用したり、参照したりしている可能性があります。Elasticはこれらのサードパーティのツールについていかなる権限も持たず、これらのコンテンツ、運用、使用、またはこれらのツールの使用により生じた損失や損害について、一切の責任も義務も負いません。個人情報または秘密/機密情報についてAIツールを使用する場合は、十分に注意してください。提供したあらゆるデータはAIの訓練やその他の目的に使用される可能性があります。提供した情報の安全や機密性が確保される保証はありません。生成AIツールを使用する前に、プライバシー取り扱い方針や利用条件を十分に理解しておく必要があります。

Elastic、Elasticsearch、ESRE、Elasticsearch Relevance Engine、および関連するマークは、米国およびその他の国におけるElasticsearch N.V.の商標、ロゴ、または登録商標です。他のすべての会社名および製品名は、各所有者の商標、ロゴ、登録商標である場合があります。