富士通、ナレッジグラフと大規模言語モデルを融合する研究開発を強化し生成AIの業務活用を加速

富士通株式会社は、経済産業省が推進する国内の生成AIの開発力強化プロジェクトのもと、国立研究開発法人新エネルギー・産業技術総合開発機構（以下、NEDO）が公募したポスト5G情報通信システム基盤強化に関する研究開発助成事業に採択され、論理推論を可能にする大規模言語モデル（以下、LLM）の研究開発を開始すると発表した。

汎用LLMでは、計算量やコスト、精度などが業務要件を満たさない場合、業務特化型のLLMが有効であり、富士通は「富岳」を用いて学習した日本語能力に優れた「Fugaku-LLM」の開発と提供を行っている。同社は今後も様々な業種や業務に特化した特化型LLMの開発を強化していく予定だ。

また、現行のLLMは、知識不足の事柄について根拠に基づかない誤りを回答する幻覚（ハルシネーション）が発生することや、LLMが保有する知識を把握する手段がないため、信頼性が求められる業務へのLLM導入が進まないことが課題だった。

そこで富士通は、LLMに回答させる際に、業務知識を自然言語ではなくナレッジグラフの形式で追加入力することで、業務知識に従って回答させられることに着目。ナレッジグラフとLLMを融合する技術の開発に着手し、2024年度中の業務活用実現を目指すとしている。

この新たな技術は、2023年9月に富士通が発表した幻覚検出技術を強化するだ。新技術は最終的に、人間が理解しやすい形式で根拠を説明しながら、業務知識に従って論理推論を進めるLLMを実現する計画だ。

この技術の助成事業では、ナレッジグラフの生成と推論に特化したLLMを開発することで、自然言語の規制や規則から生成したナレッジグラフに従ってLLMに回答を論理推論させる技術の実現を目指す。

助成事業では、「自然言語文書をナレッジグラフに変換して形式知にするLLM（ナレッジグラフ生成LLM）」と、「与えられた質問に対してナレッジグラフ上で関連情報を探索し、論理的に集約し回答するLLM（ナレッジグラフ推論LLM）」の二つの特化型LLMを開発する。

また、開発期間を効率よく進めるために、両特化型LLMに共通の事前学習済みLLMを開発する。

開発の特徴として、自然言語文書とナレッジグラフの双方を同等に扱う能力をLLMに獲得させるために、自然言語文書とナレッジグラフとの対訳コーパスを事前学習データに追加することが挙げられている。

その上で、一方にはナレッジグラフ生成向けの指示学習を、もう一方にはナレッジグラフ推論向けの指示学習をそれぞれ実施することで、各特化型LLMを同時並行で開発する。

なお、助成事業の成果物である、ナレッジグラフの生成や推論に特化したLLM、評価スクリプト、開発中に得た知見やノウハウなどは、利用規約や著作権などの問題がない形で、Hugging FaceやGitHub、同社技術ブログ、GENIACコミュニティなどで公開予定だ。また、同社のAIサービス「Fujitsu Kozuchi」にも搭載していくとしている。