大日本印刷(DNP)は2023年12月14日、PDFやWordなどの文書ファイルを生成AIの学習に適したデータ形式に整形する技術を開発したと発表した。2024年1月に外販を予定している。同技術で整形したデータを生成AIに学習させることで、誤回答や非回答の件数が減り、回答精度が向上するという。
大日本印刷(DNP)は、PDFやWordなどの文書ファイルを生成AIの学習に適したデータ形式に整形する技術を開発したと発表した。同技術で整形したデータを生成AIに学習させることで、誤回答や非回答の件数が減り、回答精度が向上する。膨大なマニュアルや文書を参照しながら業務を行う、審査やコンタクトセンターなどの業務で生成AIの回答精度の向上が期待できるとしている(図1)。
拡大画像表示
DNPは2023年5月に生成AIを社内で活用する環境を構築している。今回開発した技術の検証として、社内規定、品質マニュアル、決算短信などのデータを整形し学習させたところ、誤回答が約90%減少したという。
仕組みとして、同社が開発したAIモデルを用いて、テキスト、画像、表組などが混在した文書から、タイトルや本文、画像や表の内容・キャプションなどの要素ごとにコンテンツを分割し、生成AIが学習・参照しやすいデータ形式に整形する。データ整形は、人手をほぼ介さずに機械処理で行い、大量の文書も高速に処理可能である(図2)。
拡大画像表示
DNPによると、複雑で異なるレイアウトを持つ文書を扱うためには、文書構造を認識するAIモデルの強化・拡充がポイントとなるという。一般的なディープラーニング(深層学習)モデルでは数百~数千ページのデータ学習が必要になるところ、同社が開発したAIモデルは、数十ページのデータ学習で生成AI向けのデータを整形できるという。
「生成AIの回答精度を高めるアプローチとして、外部から正しい知識・情報・データを継続的に提供することが有効である。日本政府の場合、政府保有のデータを開発者に提供する方針を定めている。一方で、データの多くはPDF形式であり、生成AIが効果的に学習できるような構造に情報を整形する必要がある」(DNP)