[市場動向]
NEC、映像認識AIとLLMを使い長時間の動画から要約版と説明文を自動生成する技術を開発
2023年12月6日(水)IT Leaders編集部
NECは2023年12月5日、長時間の動画から、その要約版と説明文を自動生成する技術を開発したと発表した。2024年3月に試用版を提供する予定である。大規模言語モデル（LLM）と映像認識AIを組み合わせた技術で、ドライブレコーダーの動画から事故調査報告書を作成するユースケースに適用して検証。シーンの探索や報告書案の作成を自動化し、報告書作成にかかる時間を半減できることを確認した。
NECは、長時間の動画から、その要約版と説明文を自動生成する技術を開発した。同社開発のLLMとデータ検索システムを用いて、1時間以上の動画から、利用者の目的に適ったシーンを含む要約版の動画と説明文を数秒間で作成可能という。
「交通、物流、製造、建設、小売など各領域で、安全管理や業務効率化を目的とした動画の活用が進んでいる。しかし、長時間に及ぶ動画の確認と作業のヒヤリハットや改善点に関する報告書の作成に膨大な工数と時間がかかっていた」（同社）問題を解決するとしている（図1）。
図1：長時間の動画から短縮動画と説明文章を自動生成する技術の概要（出典：NEC）拡大画像表示
静止画については、生成AIを用いた説明文の自動生成はすでに可能だが、情報量が多く、時間経過と共に変化する動画映像への適用が困難だった。今回NECが開発した技術は、映像認識AIとLLMを組み合わせることで、動画を構成する各シーンを理解する。
100以上の映像認識AIを用いて、シーンを構成する人物、車、建物、動物、樹木、天気などを、それぞれの変化と共に個別に認識する。動画全体を通して解析するのではなく、認識結果のみをLLMで解析することで、利用者が求めるシーンを効率的に見つけ出すことが可能になるという。
説明文の作成では、対象分野のサンプル映像でLLMを事前にファインチューニングすることで品質を高める。例えば、ドライブレコーダーの動画に適用する場合、事前に道路交通関係の動画を学習し、動画内で起こった事象を正しく理解できるようにしている。生成AIの正確性の課題であるハルシネーションを解消しながら信頼性の高い報告書を作成できるとしている。
同技術の検証では、ドライブレコーダーの動画から事故調査報告書を作成するユースケースに適用した。検証の結果、シーンの探索や報告書案の作成を自動化し、報告書作成にかかる時間を半減できることを確認したという（画面1）。
画面1：長時間の動画から短縮動画と説明文章を自動生成する技術を、ドライブレコーダーの動画から事故調査報告書を作成するユースケースに適用したデモ画面（出典：NEC）拡大画像表示
2024年3月には、同技術の試用版を損害保険会社や自動車メーカーなどに提供する。ドライブレコーダーの動画を活用した事故報告書などの資料作成を支援する。
NECは今後、同技術の適用分野を拡大していく。例えば、看護・介護記録や製造・建設現場での作業記録の作成、自動運転用AIに学習させる事故シーンの収集と説明文の作成、放送映像向け特定コンテンツの収集とナレーション原稿の作成などのユースケースを想定している。
