サイバーエージェント社が独自の日本語LLM（大規模言語モデル）を開発 ー自然な日本語の文章生成を実現

LLM（大規模言語モデル）とは　

LLMとは、Large Language Modelの略で、大量のテキストデータを基に学習された、自然言語処理の人工知能（AI）のことです。LLMとは簡単に言うと、入力の文字列に対し、過去のテキストデータから出力の文字列を予測する仕組みのことです。

LLM（大規模言語モデル）の代表的な例としては、2018年にGoogleが発表した「BERT」や、2020年にOpenAIが発表した「GPT-3」などが挙げられるでしょう。現在Googleは自身の検索エンジンに組み込んだり、OpenAIは従量課金制のサービスを開始したりするなど、広範囲での活用がはじまっています。

さらにLLM（大規模言語モデル）をベースに微調整（ファインチューニング※２）することで、単に検索対応するだけでなく、文章の要約や抽出、質問への応答から作文まで、より自然な言語処理タスクに適用させての利用を可能にします。「ChatGPT」は、2022年リリースの「GPT-3.5シリーズ」を基にチャットに特化させてファインチューニングしたものであり、LLM（大規模言語モデル）の応用例の一つと言えます。

※２：ファインチューニング：あるデータセットを使って事前学習した訓練済みモデルの一部もしくは全体を、別のデータセットを使って再学習（トレーニング）すること

サイバーエージェント社の日本語LLM（大規模言語モデル）の特徴

サイバーエージェント社は国内有数のネット広告会社であり、同社に蓄積された情報を基に今回の独自LLMを開発しました。その特徴は以下の３つです。

• 自然な日本語の生成が可能
• 業界特化型からビジネス開発まで対応
• 国内最大級のLLM開発を予定

それぞれを詳しくみていきましょう。

自然な日本語の生成が可能

既存のLLMのほとんどは英語を中心に学習されており、現状では日本語および日本文化に強いLLMは少ない状況です。このため、サイバーエージェント社は日本語に特化した独自の大規模モデルを開発。

サイバーエージェント社が保有する大規模な日本語データを活かした独自モデルを開発したことで、従来よりも自然な日本語の文章生成が可能となったとしています。

業界特化型からビジネス開発まで対応

サイバーエージェント社がこれまでAI技術の社会実装のために行ってきたノウハウや知見を生かし、広告制作だけでなくチャットボットやRPAをはじめとする業界特化型のLLMの構築に成功しています。

また今後は各企業と連携し、LLMを活用したビジネス開発の推進等も予定していると発表しました。

国内最大級のLLM開発を予定

サイバーエージェント社は、国内初導入した「NVIDIA DGX H100」を活用し国内最大級のLLM開発を予定しており、本モデルはすでに130億パラメータまでの開発が完了したと公表しました。これにより、サイバーエージェント社が提供する「極予測AI」「極予測TD」「極予測LP」など、AIを活用した広告クリエイティブ制作領域のサービスにおいて活用が始まっているようです。

さらに今後より性能の高いモデルの開発もすすめているとリリースしました。

サイバーエージェント社の今回発表した独自LLMは、これまでの海外発LLMよりも、より自然な日本語生成が可能なLLMだということだけではなく、サイバーエージェント社の持つ広告展開へのノウハウや、ビジネスへの応用まで見据えられたLLMといえそうです。