人工知能（AI）モジュールのパフォーマンスは、トレーニングフェーズで提供されるデータセットの品質に完全に依存することは誰もが理解しています。 ただし、通常は表面的なレベルで説明されます。 オンラインのリソースのほとんどは、AIトレーニングデータステージに品質データの取得が不可欠である理由を示していますが、品質と不十分なデータを区別する知識にはギャップがあります。
データセットを深く掘り下げると、見過ごされがちな複雑さと微妙な点に気付くでしょう。 私たちは、これらのあまり話されていないトピックに光を当てることに決めました。 この記事を読むと、データ収集中に犯しているいくつかの間違いと、AIトレーニングデータの品質を最適化できるいくつかの方法を明確に理解できます。
始めましょう。
AIプロジェクトの構造
初心者の場合、AIまたはML（機械学習）プロジェクトは非常に体系的です。 それは線形であり、堅実なワークフローを持っています。
例を挙げると、一般的な意味で次のようになります。
- コンセプトの証明
- モデルの検証とモデルのスコアリング
- アルゴリズム開発
- AIトレーニングデータの準備
- モデルの展開
- アルゴリズムトレーニング
- 展開後の最適化
統計によると、すべてのAIプロジェクトの78％近くが、展開段階に到達する前に、いずれかの時点で停止しています。 一方には大きな抜け穴、論理エラー、またはプロジェクト管理上の問題がありますが、プロジェクトの大規模な故障を引き起こす微妙なエラーやミスもあります。 この投稿では、最も一般的な微妙な点のいくつかを探求しようとしています。
データバイアス
データバイアスとは、特定の結果に向かって、または特定の結果に対して結果を不利に歪める要因または要素の自発的または非自発的な導入です。 残念ながら、バイアスはAIトレーニングスペースの悩みの種です。
これが複雑に感じる場合は、AIシステムには独自の心がないことを理解してください。 したがって、倫理、道徳などの抽象的な概念は存在しません。 それらは、設計で使用される論理的、数学的、および統計的概念と同じくらいスマートまたは機能的です。 したがって、人間がこれらXNUMXつを開発するとき、明らかにいくつかの偏見と好意が埋め込まれるでしょう。
バイアスは、AIに直接関連付けられているのではなく、AIを取り巻く他のすべてのものに関連付けられている概念です。 つまり、それは人間の介入に由来し、任意の時点で導入される可能性があります。 考えられる解決策のために問題が解決されているとき、データ収集が行われているとき、またはデータが準備されてAIモジュールに導入されているときである可能性があります。
バイアスを完全になくすことができますか？
偏見をなくすことは複雑です。 個人的な好みは完全に白黒ではありません。 それは灰色の領域で繁栄します、そしてそれはそれが主観的でもある理由です。 偏見があると、あらゆる種類の全体的な公平性を指摘するのは難しいです。 その上、偏見はまた、精神が特定の信念、ステレオタイプ、または慣行に無意識に傾いている場合に、特定または特定することも困難です。
そのため、AIの専門家は、潜在的なバイアスを考慮してモジュールを準備し、条件やコンテキストを通じてそれらを排除します。 正しく行われれば、結果の偏りを最小限に抑えることができます。
データ品質
データ品質は非常に一般的ですが、深く見ると、いくつかの微妙な層があります。 データ品質は次のもので構成されます。
- 推定データ量の可用性の欠如
- 関連するコンテキストデータの欠如
- 最近または更新されたデータがない
- 使用できない豊富なデータ
- 必要なデータタイプの欠如-たとえば、画像の代わりにテキスト、ビデオの代わりにオーディオなど
- バイアス
- データの相互運用性を制限する条項
- 注釈が不十分なデータ
- 不適切なデータ分類
AIスペシャリストの96％近くがデータ品質の問題に苦しんでおり、その結果、マシンが効果的に最適な結果を提供できるように、品質を最適化するための時間が追加されています。
非構造化データ
データサイエンティストとAIエキスパートは、完全なデータよりも非構造化データに取り組んでいます。 その結果、彼らの時間のかなりの部分が、非構造化データの意味を理解し、それをマシンが理解できる形式にコンパイルすることに費やされています。
非構造化データとは、特定の形式、モデル、または構造に準拠していない情報です。 それはまとまりがなく、ランダムです。 非構造化データは、ビデオ、オーディオ、画像、テキスト付きの画像、調査、レポート、プレゼンテーション、メモ、またはその他の形式の情報である可能性があります。 非構造化データセットからの最も関連性の高い洞察を特定し、専門家が手動で注釈を付ける必要があります。 非構造化データを使用する場合、次のXNUMXつのオプションがあります。
- データのクリーニングにより多くの時間を費やします
- 歪んだ結果を受け入れる
信頼できるデータ注釈のための中小企業の欠如
今日議論したすべての要因の中で、信頼できるデータ注釈は、私たちが重要に制御できる微妙な点のXNUMXつです。 データ注釈は、AI開発の重要なフェーズであり、何をどのように学習するかを決定します。 注釈が不十分または誤っているデータは、結果を完全に歪める可能性があります。 同時に、正確に注釈が付けられたデータは、システムの信頼性と機能性を高める可能性があります。
そのため、データの注釈は、ドメイン知識を持つ中小企業やベテランが行う必要があります。 たとえば、医療データには、そのセクターのデータを扱った経験のある専門家が注釈を付ける必要があります。 したがって、モデルが人命を救う状況で展開されると、期待どおりに機能します。 同じことが、不動産、フィンテックeコマース、およびその他のニッチな分野の製品にも当てはまります。
アップラッピング
これらすべての要因は一方向を示しています。スタンドアロンユニットとしてAI開発に取り組むことはお勧めできません。 代わりに、これは共同プロセスであり、すべての分野の専門家が集まってXNUMXつの完璧なソリューションを展開する必要があります。
そのため、連絡を取ることをお勧めします データ コレクション & 注釈 Shaipのような専門家が、製品やソリューションをより機能的にします。 私たちはAI開発に伴う微妙な点を認識しており、それらを即座に排除するための意識的なプロトコルと品質チェックを行っています。
