コラム

大規模言語モデル（LLM）は、自然言語処理（NLP）の分野で最も注目されている技術の一つです。LLMは大量のテキストデータを学習し、テキスト生成、翻訳、要約、質問応答などのタスクを行うことができます。

現在は学習量が大規模化しており、その提供元も大企業になってきています。そうしたLLMについて、幾つかの代表的なモデルを紹介します。

GPT

GPTは、OpenAIによって開発されたLLMファミリーになります。GPTはGenerative Pre-trained Transformerの略で、大量のテキストデータを学習し、テキスト生成に優れています。特に翻訳や要約などの自然言語処理において高い性能を発揮します。

GPT-4 | OpenAI

T5

T5は、Googleによって開発されたLLMモデルのシリーズになります。初回のリリースが2019年で、最新リリースはT5Xになります。T5はText-to-Text Transfer Transformerの略で、テキストからテキストへの変換を行います。チャットボット、機械翻訳システム、テキスト要約ツール、コード生成、ロボット工学など、さまざまなアプリケーションに採用されています。

google-research/text-to-text-transfer-transformer

BERT

BERTはBidirectional Encoder Representations from Transformersの略で、2018年にGoogleより発表されたLLMモデルファミリーになります。Transformerを組み込むことで、文章を文頭・文末の双方向から学習し、より高いレベルで文章を解釈できるようになりました。

google-research/bert

XLNet

XLNetはBERTの改良版として開発されたLLMです。340Mのパラメータを持ち、330億語で学習されたモデルで、2019年にApache License 2.0にて公開されています。BERTで用いられていたMasked Language Model（MLM）を改良し、Permutation Language Model（PLM）を採用しています。

[1906.08237] XLNet: Generalized Autoregressive Pretraining for Language Understanding

Llama

LlamaはMeta社の開発したLLMモデルになります。Llama2は、ChatGPT 3.5に匹敵するモデルと言われており、Llama3はさらに高い性能を誇ります。オープンソースなので、派生版モデルも数多くあります。

Llama 3.1

Gemini

Geminiは、Googleが開発したLLMモデルになります。Geminiは、GPT-4のライバルとして位置づけられています。モデルのサイズが複数用意されており、最小のGemini Nanoはスマートフォンへの搭載を想定しています。

‎Gemini と話してアイデアを広げよう

Gemma

GemmaはGeminiをベースにしたLLMモデルになります。Gemmaはオープンモデルとしており、Gemmaをベースに独自のチューニングを行って専用AIエンジンを開発できます。商業利用も可能とのことです。

Google AI Gemma オープンモデル |Google for Developers | Google AI for Developers

OpenELM

OpenELMはAppleの発表したLLMです。最小のモデルは2.7億パラメータで、最大のモデルは30億パラメータを持ちます。最小のモデルはiPhoneへの搭載も可能です。iOS 18以降から搭載されるApple Intelligenceでも利用される可能性があります。

OpenELM

まとめ

LLMの多くは汎用的なものであり、これらのモデルをベースに独自のチューニングを行ったり、追加学習を行って特徴を持たせられます。日本語をさらに強化したり、医療分野や法律分野に特化させたりすることも可能です。

それぞれのモデルに特徴や強みがありますので、用途に合わせて選択してください。