DataGemmaとは？Googleの新AIモデルと活用法 | とあるエンジニアの備忘録ブログ

概要

背景と目的

近年、生成AIは目覚ましい発展を遂げ、様々な分野で活用され始めています。しかし、生成AIが抱える大きな問題の一つとして「ハルシネーション」（幻覚）と呼ばれる、誤った情報を生成してしまう現象があります。このハルシネーションは、AIによる意思決定支援の信頼性を著しく損なう可能性を秘めています。特に、政策決定や医療診断など、人々の生活や安全に直結する分野では、生成AIの出力する情報の正確性が極めて重要です。

このような背景から、AIによる意思決定支援の信頼性向上を目指し、DataGemmaが開発されました。

DataGemmaの定義

DataGemmaは、Googleから2024年9月に発表されたオープンな大規模言語モデル（LLM）です。DataGemmaは、Googleの軽量版LLMである「Gemma」をベースとし、信頼性の高いデータセットである「Data Commons」の情報を活用することで、出力の正確性向上を実現しています。

具体的には、DataGemmaは、生成AIが抱える「ハルシネーション」（誤情報生成）の問題に対処するため、RIG（Retrieval-Interleaved Generation）とRAG（Retrieval-Augmented Generation）と呼ばれる2つの主要技術を採用しています。これらの技術は、モデルが生成する情報とData Commonsのデータを突合したり、ユーザーの質問に関連する情報を事前に取得してプロンプトに組み込むことで、より正確で信頼性の高い回答を生成することを可能にします。

DataGemmaは、Apache License 2.0のもとで提供されており、商用利用や改変が可能です。このオープン性により、世界中の開発者や研究者がDataGemmaを活用し、さらなる技術革新や社会実装を推進することが期待されています。

技術的特徴

RIG（Retrieval-Interleaved Generation）

RIGは、モデルがテキストを生成する際に、Data Commonsのデータと照合することで、事実確認を行うプロセスです。

モデルがテキストを生成する
生成されたテキストをData Commonsのデータと照合する
矛盾や不一致がある場合は、生成をやり直すか、警告を発する

このプロセスにより、モデルはData Commonsに含まれる事実に基づいてテキストを生成するようになり、ハルシネーションを抑制することができます。

例えば、「アメリカの現在の人口は？」という質問に対し、従来のモデルでは誤った数値を生成してしまう可能性があります。しかし、RIGを搭載したDataGemmaは、Data Commonsに格納されている最新の人口統計データを参照し、正しい数値を回答として生成することができます。

RAG（Retrieval-Augmented Generation）

RAGは、ユーザーの質問に対して、関連する情報を事前にData Commonsから取得し、それをプロンプトに組み込む仕組みです。

ユーザーが質問を入力する
DataGemmaは、質問に関連する情報をData Commonsから検索する
検索された情報をプロンプトに付加する
プロンプトを基に、モデルが回答を生成する

この仕組みにより、モデルはユーザーの質問に関連する背景情報や文脈を理解した上で回答を生成することができ、より包括的で精度の高い回答が可能となります。

例えば、「日本の高齢化問題の現状は？」という質問に対し、RAGを搭載したDataGemmaは、Data Commonsから日本の人口統計データや高齢化率の推移などの情報を取得し、それらをプロンプトに組み込みます。これにより、モデルは単なる統計数値だけでなく、高齢化問題の背景や現状をより深く理解した上で、包括的な回答を生成することができます。

Data Commonsとの連携

DataGemmaは、Data Commonsと密接に連携しています。Data Commonsは、国連、WHO、CDC、国勢調査局などの信頼性の高いデータソースから収集された、膨大なオープンデータセットです。

DataGemmaは、RIGとRAGのプロセスにおいて、このData Commonsのデータを活用します。

RIG: 生成されたテキストとData Commonsのデータを照合し、事実確認を行う
RAG: ユーザーの質問に関連する情報をData Commonsから取得し、プロンプトに組み込む

Data Commonsとの連携により、DataGemmaは信頼性の高いデータに基づいた、正確で包括的な回答を生成することができます。

ライセンスとオープン性

DataGemmaは、Apache License 2.0のもとで提供されています。

このライセンスにより、DataGemmaは商用利用や改変が可能です。つまり、誰でも自由にDataGemmaを利用、改変、再配布することができ、商用製品に組み込むこともできます。

このオープン性により、世界中の開発者や研究者がDataGemmaを活用し、さらなる技術革新や社会実装を推進することが期待されています。

活用例、活用シーン

ビジネス・行政での応用

DataGemmaは、ビジネスや行政の様々な分野で活用することができます。例えば、以下のような活用例が考えられます。

政策決定: DataGemmaは、政策立案に必要な統計データやエビデンスを迅速かつ正確に提供することができます。例えば、ある地域の人口動態や経済状況に関するデータを分析し、それに基づいた政策提言を行うことができます。
経済分析: DataGemmaは、企業の意思決定に必要な市場データや競合情報を正確に提供することができます。例えば、ある商品の売上予測や市場シェア分析を行うことができます。
都市計画: DataGemmaは、都市計画に必要な人口データや交通データなどを正確に提供することができます。例えば、新しい交通インフラの整備計画を立案する際に、DataGemmaを用いて人口分布や交通量の予測を行うことができます。

医療・教育、研究分野での活用

DataGemmaは、医療、教育、研究分野でも活用することができます。例えば、以下のような活用例が考えられます。

医療統計: DataGemmaは、医療従事者が必要とする医療統計データを正確に提供することができます。例えば、ある病気の罹患率や死亡率に関するデータを分析し、それに基づいた医療アドバイスを行うことができます。
教育データ: DataGemmaは、教育関係者が必要とする教育データを正確に提供することができます。例えば、ある地域の学力テストの平均点や進学率に関するデータを分析し、それに基づいた教育プログラムを開発することができます。
学術研究: DataGemmaは、研究者が必要とする様々な分野のデータを正確に提供することができます。例えば、ある研究テーマに関する先行研究を調査したり、実験データを分析したりすることができます。

実際のケーススタディ

DataGemmaの有効性を示すために、以下のようなケーススタディが報告されています。

ケーススタディ1: 「アメリカの失業率は？」という質問に対し、従来のモデルでは古いデータや誤った数値を回答してしまうことがありましたが、RIGを搭載したDataGemmaは、Data Commonsから最新の失業率データを取得し、正確な数値を回答することができました。
ケーススタディ2: 「日本の少子高齢化問題の対策は？」という質問に対し、従来のモデルでは一般的な対策しか回答できませんでしたが、RAGを搭載したDataGemmaは、Data Commonsから日本の人口統計データや少子高齢化対策に関する情報を取得し、より具体的で包括的な対策を回答することができました。

これらのケーススタディは、DataGemmaが従来のモデルに比べて、より正確で信頼性の高い回答を生成できることを示しています。

まとめ

DataGemmaの意義

DataGemmaは、生成AIの「ハルシネーション」問題解決における革新的な技術であり、生成AIの正確性向上に大きく寄与すると期待されています。

ハルシネーションの抑制: RIGとRAGの技術により、DataGemmaは生成AIが誤った情報を生成するリスクを大幅に低減します。
正確性の向上: Data Commonsとの連携により、DataGemmaは信頼性の高いデータに基づいた、正確な回答を生成することができます。
オープン性: Apache License 2.0のもとで提供されることで、DataGemmaは世界中の開発者や研究者によって活用され、さらなる技術革新や社会実装が進むことが期待されます。