[新製品・サービス]
ELYZA、700億パラメータの日本語LLM「Llama-3-ELYZA-JP-70B」を開発、ベンチマークでGPT-4などを上回る
2024年6月26日(水)日川 佳三（IT Leaders編集部）
ELYZA（イライザ、本社：東京都文京区）は2024年6月26日、同社が米Meta Platformsの「Llama 3」をベースに開発した最新の大規模言語モデル（LLM）として、700億パラメータの「Llama-3-ELYZA-JP-70B」と、80億パラメータの「Llama-3-ELYZA-JP-8B」の性能ベンチマーク結果を公開した。70Bモデルは「GPT-4」や「Claude 3 Sonnet」などを上回る性能を実現したとしている。
東京大学松尾研究室発のAIスタートアップであるELYZA（イライザ）。同社の「Llama-3-ELYZA-JP-70B」と「Llama-3-ELYZA-JP-8B」は、日本語の性能に注力した大規模言語モデル（LLM）である。それぞれ、米Meta PlatformsのLLM「Llama-3-70B」と「Llama-3-8B」をベースに事後学習（日本語を追加した事前学習・指示学習）を実施して開発した。これにより、元々のモデルよりも日本語性能を高めている。
700億パラメータの70Bモデルの性能は、2種類の日本語ベンチマークテスト（ELYZA Tasks 100と英Stability AIのJapanese MT-Bench）において、「GPT-4」「Claude 3 Sonnet」「Gemini 1.5 Flash」などグローバルの主要LLMモデルと同等あるいは上回る性能を達成している（図1）。
図1：「Llama-3-ELYZA-JP-70B」と主要グローバルモデルの性能比較（出典：ELYZA）拡大画像表示
ELYZAは、70Bモデルについて、APIサービスや共同開発プロジェクトなどを通じ、各種の形態で順次企業向けに提供を開始する。また、チャット形式のデモサイトを公開している。
一方、80億パラメータの8Bモデルの性能は、LLMとしては軽量の部類に入るが、上述の2種類の日本語ベンチマークテストにおいて、「GPT-3.5 Turbo」「Claude 3 Haiku」「Gemini 1.0 Pro」など主要な軽量クラスのLLMに匹敵する性能を達成している（図2）。
図2：「Llama-3-ELYZA-JP-8B」と主要な軽量グローバルモデルの性能比較（出典：ELYZA）拡大画像表示
8Bモデルについては一般公開を開始している。LLAMA 3 COMMUNITY LICENSEに準拠しており、利用規定の下で研究および商業目的での利用が可能である。
なお、ELYZAは、両日本語LLMの開発プロセスや評価の詳細を、同社のnoteで解説している。
