AIスタートアップのELYZA（イライザ）は2023年11月15日、プログラミングコード生成・補完に特化した70億パラメータの日本語LLM（大規模言語モデル）「ELYZA-japanese-CodeLlama-7b」の一般公開を開始した。研究・商業目的で利用可能である。米Meta Platformsが開発したコード生成専用LLM「Code Llama」をベースに日本語による追加事前学習を行って構築している。
ELYZA（イライザ）が公開した「ELYZA-japanese-CodeLlama-7b」は、プログラミングコード生成・補完に特化した70億パラメータの日本語LLM（大規模言語モデル）である。米メタ（Meta Platforms）が開発したコード生成専用LLM「Code Llama」をベースに日本語による追加事前学習を行って構築している（画面1）。
画面1：コード生成・補完に特化した日本語LLM「ELYZA-japanese-CodeLlama-7b」を使ってPythonのコードを生成させた例（出典：ELYZA）拡大画像表示
ELYZAは2023年8月に、「Llama 2」ベースの日本語LLM「ELYZA-japanese-Llama-2-7b」を公開している。同社は、日本語の追加事前学習のメソッドがLlama 2以外のモデルでも汎用的に適用できるかを検証する取り組みの中で、Code Llamaベースの日本語LLMを構築した。「元々のモデルが持つ能力を保持したまま、日本語能力を獲得できることを示す一例になる」（同社）としている。
Code Llamaではコードを扱うための工夫として、例えば、扱える系列長をLlama 2の4096から10万に拡張している。また、IDE（統合開発環境）などでコードを補完する用途のために専用のチューニングを行っている。ELYZAによると、Code Llamaモデルをベースにファインチューニングしたモデルが、各種のコード生成タスクでGPT-3.5 TurboやGPT-4に匹敵する性能を発揮することが報告されているという。
ELYZAは、東京大学松尾研究室発のAIスタートアップである。日本語のLLMに焦点を当て、企業との共同研究やクラウドサービスの開発を行っている。研究開発とコンサルティングを通じて生成AIの導入・実装を推進している。
