[新製品・サービス]

ELYZA、商用利用可能な130億パラメータの日本語LLM「ELYZA-japanese-Llama-2-13b」を公開

自社ベンチマークで1750億パラメータのGPT-3の性能を上回る

2023年12月27日(水)日川 佳三(IT Leaders編集部)

ELYZA(イライザ、本社:東京都文京区)は2023年12月27日、130億パラメータの日本語LLM「ELYZA-japanese-Llama-2-13b」の一般公開を開始した。Llama 2 Community Licenseに準拠し、研究だけでなく商業目的での利用が可能である。同社独自の性能評価では、1750億パラメータのGPT-3.5(text-davinci-003)の性能を上回るという。

 東京大学松尾研究室発のAIスタートアップであるELYZA(イライザ)が「ELYZA-japanese-Llama-2-13b」の公開を開始した。130億パラメータの日本語大規模言語モデル(LLM)で、Llama 2 Community Licenseに準拠しており、研究だけでなく商業目的で利用できる。

 ELYZAが独自に作成・公開している日本語LLMベンチマーク「ELYZA Tasks 100」の性能評価では、1750億パラメータのGPT-3.5(text-davinci-003)の性能を上回っている(表1)。

表1:ELYZAの日本語ベンチマーク「ELYZA Tasks 100」によるLLMの性能評価。1750億パラメータのGPT-3.5(text-davinci-003)を上回った(出典:ELYZA)
拡大画像表示

 米Meta PlatformsのLLM「Llama-2-13b-chat」をベースに、約180億トークンの日本語テキストデータ(OSCARやWikipediaなどにある整理された日本語テキストデータ)で追加事前学習を実施。学習処理は、産業技術総合研究所(産総研)が運用する「AI橋渡しクラウド(ABCI)」で行っている。ABCI上では700億パラメータモデルの開発も進めているという。

 ELYZA-japanese-Llama-2-13bには複数のバリエーションがある。ユーザーの指示からさまざまなタスクを解くことを目的に、ELYZA独自の事後学習を施した「ELYZA-japanese-Llama-2-13b-instruct」、日本語の語彙を追加して高速化を図った「ELYZA-japanese-Llama-2-13b-fast」を挙げている。各モデルの詳細を同社の技術ブログで説明している。なお、表1にある1750億パラメータのGPT-3.5の性能を上回るスコアは2-13b-instructのものである。

 なお、2-13b-fastには、2023年8月公開の前モデル「ELYZA-japanese-Llama-2-7b-fast」で作成したトークナイザーをさらに効率化する改良を加えている。前モデルの1万3042個よりも少ない1万2581個の日本語の語彙を追加して、同じ日本語の文章を表すのに必要なトークン数を「Llama 2」の47%に削減した(前モデルは55%削減)。推論速度換算で約2.27倍の性能にあたるという。

 ELYZAは、2-13bの公開に伴い、体験可能なデモを示している。デモ環境はNVIDIA A100 GPUで、「vLLM」ライブラリを用いて推論を高速化し、その効果を最大限体感できるようにしたという(画面1)。

画面1:デモで公開している、ELYZA-japanese-Llama-2-13b-instructによるチャット画面の出力例(出典:ELYZA)
拡大画像表示
関連キーワード

ELYZA / 大規模言語モデル / 生成AI / GPT / R&D

関連記事

トピックス

[Sponsored]

ELYZA、商用利用可能な130億パラメータの日本語LLM「ELYZA-japanese-Llama-2-13b」を公開ELYZA(イライザ、本社:東京都文京区)は2023年12月27日、130億パラメータの日本語LLM「ELYZA-japanese-Llama-2-13b」の一般公開を開始した。Llama 2 Community Licenseに準拠し、研究だけでなく商業目的での利用が可能である。同社独自の性能評価では、1750億パラメータのGPT-3.5(text-davinci-003)の性能を上回るという。

PAGE TOP