パラメータ効率的な微調整 (PEFT) は、モデル全体ではなくパラメータの小さなサブセットのみを更新することで、大規模な事前トレーニング済みモデルを新しいタスクに適応させる手法です。
目的
目的は、強力なタスクパフォーマンスを維持しながら、計算コストとストレージのニーズを削減することです。
重要性
- 膨大なリソースを持たない組織でも微調整が可能になります。
- 完全なモデルトレーニングと比較して、二酸化炭素排出量を削減します。
- 生産における効率的なタスク切り替えを可能にします。
- LoRA やアダプタなどのメソッドに関連します。
仕組み
- 大規模な事前トレーニング済みベースモデルを選択します。
- パラメータのサブセット (低ランクのアダプタなど) を識別します。
- ターゲット タスク データでこれらのサブセットのみをトレーニングします。
- その他のパラメータは固定したままにします。
- 最小限のリソースオーバーヘッドでデプロイします。
例（実世界）
- LoRA (低ランク適応): LLM の微調整に広く使用されています。
- Hugging Face PEFT ライブラリ: 効率的な微調整ツールキット。
- Google の調査: 多言語 NLP タスク用のアダプター。
参考文献 / さらに読む
- Hu et al. 「LoRA: 大規模言語モデルの低ランク適応」arXiv。
- Houlsbyら「NLPのためのパラメータ効率の高い転移学習」ACL。
- Hugging Face PEFT ドキュメント。
