[事例ニュース]

生成AI/LLMの業務利用における「良い開発テーマの選び方」─ナウキャストが活用成果を報告

2023年10月13日(金)日川 佳三、河原 潤(IT Leaders編集部)

ビッグデータ分析サービスを提供しているナウキャスト(本社:東京都千代田区)は、決算短信からセグメント別の売上情報を抽出するタスクを生成AI/大規模言語モデル(LLM)を用いて半自動化して成果を挙げている。アマゾン ウェブ サービス ジャパン(AWSジャパン)が2023年10月13日に開催した生成AIクラウドサービスの説明会に登壇し、自社の活用事例と、そこから得られた生成AI/LLMの業務利用における「良い開発テーマの選び方」について解説した。

 ナウキャスト(本社:東京都千代田区)は、機関投資家向けの情報サービスなど、ビッグデータ分析サービスを提供している。同社は、決算短信からセグメント別の売上情報を抽出するタスクを大規模言語モデル(LLM)で半自動化して成果を挙げている。

 決算短信は、四半期に1度開示する企業の決算に関する情報をまとめた資料で、機関投資家や証券アナリストが参照する。売上や利益などの主要な情報はXBRL形式(HTML)で得られるので機械的に収集できるが、セグメント別の売上については構造化されておらず、アナリストやデータベンダーは人力で情報を収集している。同社は今回、決算短信からセグメント別の売上情報を自動で抽出する用途にLLMを活用した(図1)。

図1:ナウキャストがLLMを適用した、決算短信からセグメント別の売上情報を抽出するタスクの概要(出典:ナウキャスト)
拡大画像表示

LLMの業務利用における「良い開発テーマの選び方」

 ナウキャストは、LLMに適した開発テーマの4つの評価軸として図2を示した。同社が取り組んだ、決算短信から情報を抽出するタスクはこれら4つをすべて満たしているという。「シンプルなタスクだが、セグメント別の売上を収集するコストを大きく削減できるので、ビジネス的なインパクトは大きい」(同社)。

図2:ナウキャストが挙げる、LLMに適した開発テーマの4つの評価軸(出典:ナウキャスト)
拡大画像表示
  1. タスクの正解が簡単に判断できる。もしくは正解がない
  2. 深いドメイン知識が必要ない。もしくはそのドメインに関する知識が世に広く出回っている
  3. タスクの完了に必要なコンテキストが少なく、かつコンテキストの言語化が容易
  4. ユーザーがプロンプトを入力しない

(1)「タスクの正解が簡単に判断できる。もしくは正解がない」
 レポートの作成や複雑なQ&A対応など、正解の判断を人が行っても難しいものはLLMにやらせても難しいからである。「利用者が1秒で正解か判断できる、もしくは機械的に精度が検証できるテーマが望ましい」(同社)。

(2)「深いドメイン知識が必要ない。もしくはそのドメインに関する知識が世に広く出回っている」
 社内データを検索参照するRAG(Retrieval-Augmented Generation:検索拡張生成)の手法にも限界があるため、「できるだけドメイン知識が求められないタスクを選ぶことが望ましい」と同社は指摘する。

(3)「タスクの完了に必要なコンテキストが少なく、かつコンテキストの言語化が容易」
 「必要なコンテキストが1つのプロンプトに収まることがほぼ必須要件」と指摘する。加えて、コンテキストの言語化が容易である必要もある。例えば、提案書の作成などは、商談の背景、ステークホルダー、会社の事業戦略、担当者の能力など、言語化の難しいコンテキストが多く存在するため難しいという。

(4)「ユーザーがプロンプトを入力しない」
 「ユーザーは、思ったようには動いてくれない。ただでさえLLMの出力ロジックがブラックボックスな中、ユーザーの入力という変数まで加わると、難易度が跳ね上がる」(同社)。

 同社が取り組んだ、決算短信から情報を抽出するタスクの場合、(1)の条件については、決算短信と見比べることで、誰でも正解か不正解かの判断が行える。(2)については、表から情報を抽出する単純な作業のため、ドメイン知識は必要ない。(3)については、セグメントから数値を抽出するだけなので、LLMに共有が必要なコンテキストもほとんどない。(4)については、もちろんユーザーからの入力は存在しない。

●Next:決算短信からセグメント別の売上情報を抽出する仕組み

この記事の続きをお読みいただくには、
会員登録(無料)が必要です
  • 1
  • 2
関連キーワード

Bedrock / 大規模言語モデル / 生成AI / サービス業 / RAG / Streamlit

関連記事

トピックス

[Sponsored]

生成AI/LLMの業務利用における「良い開発テーマの選び方」─ナウキャストが活用成果を報告ビッグデータ分析サービスを提供しているナウキャスト(本社:東京都千代田区)は、決算短信からセグメント別の売上情報を抽出するタスクを生成AI/大規模言語モデル(LLM)を用いて半自動化して成果を挙げている。アマゾン ウェブ サービス ジャパン(AWSジャパン)が2023年10月13日に開催した生成AIクラウドサービスの説明会に登壇し、自社の活用事例と、そこから得られた生成AI/LLMの業務利用における「良い開発テーマの選び方」について解説した。

PAGE TOP