大規模言語モデル (LLM)

大規模言語モデル（LLM）は、膨大なテキストコーパスを用いて人間の言語を理解・生成するニューラルネットワークです。LLMは数十億ものパラメータを用いて言語パターンを捉えます。

目的

目的は、テキスト生成、要約、翻訳といった高度なNLPタスクを可能にすることです。LLMは、チャットボット、検索、生産性向上ツールなどで使用されています。

重要性

• 最新の会話型 AI を強化します。
• 偏見、誤情報、幻覚のリスク。
• 計算コストと環境コストが高い。
• 慎重な調整とガバナンスが必要です。

仕組み

1. 大規模なテキスト データセットを収集します。
2. テキストを数値表現にトークン化します。
3. 数十億のパラメータを持つトランスフォーマー モデルをトレーニングします。
4. コンテキスト内で次のトークンを予測する方法を学びます。
5. 下流のタスクを微調整または適応します。

例（実世界）

• GPT-4 (OpenAI): ChatGPT で使用されます。
• PaLM (Google): 研究と製品のための大規模な LLM。
• LLaMA (Meta): オープンリサーチに重点を置いた LLM。

参考文献 / さらに読む

• Vaswaniら「必要なのは注意力だけ」NeurIPS 2017。
• OpenAI GPT-4 システム カード。
• スタンフォードCRFM。「基礎モデル」
• LLM について知っておくべきことすべて