AIモデルの成功は、システムに供給されるデータの品質にかかっています。 MLシステムは大量のデータで実行されますが、データだけで実行することは期待できません。 それはする必要があります 高品質のAIトレーニングデータ. 言うまでもなく、AIモデルからの出力が本物で正確である必要がある場合、システムをトレーニングするためのデータは高水準である必要があります。
AIモデルとMLモデルがトレーニングされるデータは、ビジネスがそこから有意義で関連性のある洞察を引き出すために最高品質である必要があります。 それでも、大量の異種データを調達することは、企業にとって課題となっています。
企業は、この課題に対処するために、プロセスに厳格なデータ品質管理手段を実装しているShaipのようなプロバイダーに依存する必要があります。 さらに、Shaipでは、進化する課題に対応するために、システムの継続的な変革にも取り組んでいます。
Shaipのデータ品質管理の概要
Shaipでは、信頼できるトレーニングデータの重要性と、MLモデルの開発におけるその役割とAIベースのソリューションの結果を理解しています。 従業員のスキルのスクリーニングに加えて、知識ベースの開発と自己啓発にも同様に焦点を当てています。
トレーニングデータが品質ベンチマークを満たすように、プロセスのすべてのレベルで実装された厳格なガイドラインと標準の操作手順に従います。
品質管理
私たちの品質管理ワークフローは、機械学習とAIモデルの提供に役立ちました。 フィードバックインループを備えた当社の品質管理モデルは、科学的にテストされた方法であり、クライアントにいくつかのプロジェクトを成功裏に提供するのに役立ちました。 当社の品質監査プロセスフローは、次のように進行します。
- 契約の確認
- 監査チェックリストを作成する
- ドキュメントソーシング
- 2層監査の調達
- 注釈テキストのモデレーション
- アノテーション2層監査
- 仕事の配達
- クライアントフィードバック
クラウドソースワーカーの選択とオンボーディング
私たちの厳格な労働者の選択とオンボーディングプロセスは、他の競合他社とは一線を画しています。 品質チェックリストに基づいて、最も熟練したアノテーターのみを採用するための正確な選択プロセスを実施します。 私たちは考慮します：
- 彼らのスキルと経験が私たちの要件に一致することを保証するためのテキストモデレーターとしての以前の経験。
- 生産性、品質、出力を確保するための以前のプロジェクトのパフォーマンスは、プロジェクトのニーズと同等でした。
- 広範なドメイン知識は、特定の業種の特定の労働者を選択するための必要条件です。
選択プロセスはここで終わりではありません。 労働者にサンプルの注釈テストを実施して、資格とパフォーマンスを検証します。 試行のパフォーマンス、不一致分析、およびQ＆Aに基づいて、それらが選択されます。
作業員が選出されると、プロジェクトのニーズに応じて、プロジェクトSOW、ガイドライン、サンプリング方法、チュートリアルなどを使用した徹底的なトレーニングセッションが行われます。
データ収集チェックリスト
二重層の品質チェックが実施され、 高品質のトレーニングデータ 次のチームに渡されます。
レベル1：品質保証チェック
ShaipのQAチームは、データ収集のためにレベル1の品質チェックを行います。 彼らはすべての文書をチェックし、必要なパラメータに対して迅速に検証されます。
レベル2：重要な品質分析チェック
資格のある、経験豊富で資格のあるリソースで構成されるCQAチームは、遡及的サンプルの残りの20％を評価します。
データソーシングの品質チェックリスト項目には、次のものが含まれます。
- URLソースは本物ですか？データのWebスクレイピングは可能ですか？
- バイアスを回避できるように、最終候補のURLに多様性がありますか？
- コンテンツの関連性は検証されていますか？
- コンテンツにはモデレートカテゴリが含まれていますか？
- 優先ドメインはカバーされていますか？
- ドキュメントタイプの配布を念頭に置いて、ドキュメントタイプを調達していますか？
- 各モデレーションクラスには最小ボリュームスラブが含まれていますか？
- フィードバックインループプロセスが実行されていますか？
データ注釈チェックリスト
データ収集と同様に、データ注釈用のXNUMX層の品質チェックリストもあります。
レベル1：品質保証チェック
このプロセスにより、チームとクライアントによって設定された品質パラメータに対して、ドキュメントの100％が正しく検証されます。
レベル2：重要な品質分析チェック
このプロセスにより、遡及的サンプルの15〜20％も検証され、品質が保証されます。 このステップは、品質管理と黒帯保有者で最低10年の経験を持つ資格のある経験豊富なCQAチームによって行われます。
CQAチームは、次のことを保証します。- ユーザーによるテキストモデレーションの一貫性
- 各ドキュメントに正しいフレーズとモデレーションクラスが使用されているかどうかを確認する
- メタデータを確認する
また、に基づいて毎日フィードバックを提供します パレート分析 パフォーマンスがクライアントの要件と同等であることを確認します。
パフォーマンス分析の別のレイヤーを追加して、Bottom QuartileManagementを使用してパフォーマンスが最も低いアノテーターに焦点を当てます。 最終納品の前に、サンプルの衛生チェックも完了していることを確認します。
パラメータしきい値
プロジェクトのガイドラインとクライアントの要件に応じて、90〜95％のパラメータしきい値があります。 私たちのチームは、より高い品質管理基準を確保するために、以下の方法のいずれかを実行するための設備と経験を持っています。
- F1スコアまたはFメジャー– 2つの分類子のパフォーマンスを判断する– XNUMX *（（適合率*再現率）/（適合率+再現率））
- DPOまたは機会ごとの欠陥の方法は、欠陥を機会で割った比率として計算されます。
サンプル監査チェックリスト
Shaipのサンプル監査チェックリストは、プロジェクトとクライアントの要求を満たすように調整できる完全なカスタマイズ手順です。 クライアントから受け取ったフィードバックに基づいて変更し、徹底的な議論の後に完成させることができます。
- 言語チェック
- URLとドメインのチェック
- ダイバーシティチェック
- 言語およびモデレーションクラスごとのボリューム
- ターゲットを絞ったキーワード
- ドキュメントの種類と関連性
- 有毒なフレーズチェック
- メタデータチェック
- 整合性チェック
- アノテーションクラスチェック
- クライアントの好みに応じたその他の必須チェック
CQAチームは、次のことを保証します。すべてのAIベースのモデルはデータ駆動型であると理解しているため、データ品質基準を維持するために厳格な対策を講じています。 そして、持っている 高品質のトレーニングデータ は、すべてのAIおよび機械学習モデルの必須条件です。 質の高いトレーニングデータの重要性と、AIモデルのパフォーマンスと成功に対するその重要性を理解しています。