教師あり微調整 (SFT) は、特定のタスクのラベル付きデータで事前トレーニング済みモデルをトレーニングし、そのパラメータのすべてまたは一部を調整するプロセスです。
目的
目的は、汎用モデルを精度を向上させて特殊なタスクに適応させることです。
重要性
- NLP とビジョンタスクにおけるコアテクニック。
- 高品質のラベル付きデータが必要です。
- 小さなデータセットでは過剰適合のリスクがあります。
- 多くの場合、RLHF の前兆となります。
仕組み
- 事前トレーニングされたモデルを選択します。
- 対象タスクのラベル付きデータを収集します。
- 教師あり学習でモデルをトレーニングします。
- 保留中のテスト セットで検証します。
- デプロイしてパフォーマンスを監視します。
例（実世界）
- GPT は顧客サービスの会話に合わせて微調整されています。
- 名前付きエンティティの認識用に微調整された BERT。
- 医療画像分類向けに微調整されたビジョントランスフォーマー。
参考文献 / さらに読む
- Devlin他「BERT：ディープ双方向トランスフォーマーの事前トレーニング」NAACL 2019。
- ハギングフェイストランスフォーマーのドキュメント。
- スタンフォード CS224N: ディープラーニングによる NLP。
- SFT とは何ですか? なぜ重要なのですか?
