ヒューマンアノテーションによる検索クエリ理解の強化
ポーランドを拠点とする大手電子商取引コングロマリットでは、人間の判断と構造化された分類法を活用して、曖昧なエッジケースを一貫して処理し、検索の関連性を向上させています。
プロジェクト概観
ポーランドに拠点を置くeコマース大手のクライアントは、毎日何百万もの検索クエリを受信します。これらのクエリの多くは あいまいな含む スペルミス、または参照 複数の製品カテゴリ自動検索エンジンにとって課題が生じています。
改善するには検索精度と顧客体験シャイプはベイマードの研究にヒントを得て、構造化されたアノテーションフレームワークを開発した。クエリは体系的に次のように分類された。 11カテゴリ （例：商品カテゴリー、テーマ、特定の属性、正確、販売業者、症状、非商品など） 優先規則 一貫した分類を確保するため。
主要統計
50,000以上のクエリに注釈が付けられています
複数のカテゴリーにわたって
11 個のアノテーションクラス
明確な定義と優先ルール
3ステップのワークフロー
注釈 ➔ QA ➔ SME 仲裁
プロジェクト範囲
このプロジェクトは、 包括的な分類学 大規模マーケットプレイスプラットフォームにおけるユーザーの検索行動を包括的に把握すること。調査範囲は以下のとおりです。
- 11のカテゴリーの分類を開発 クエリが複数のクラスに当てはまる場合に対処するために、明確な定義と優先順位階層を備えています。
- 何千もの実際のクエリに注釈を付ける 製品領域と非製品領域の両方にわたって分類システムをトレーニングおよび調整します。
- 曖昧なクエリの解決 主題専門家 (SME) にエスカレーションすることで、エッジ ケースの処理方法の一貫性を確保します。
- 注釈付きの例と根拠の提供 QA 調整のために、将来の注釈者が参照できるトレーニング セットを作成します。
含まれるサンプル注釈:
- De Dietrich ELENSIO ➔ Exact
- E 91 ➔ 言いにくい
- tezfiles ➔ 販売者
- スバルBRZ トヨタGT86 ➔ 非製品
- okulary BHP ➔ 製品カテゴリー
- stawu skokowego ➔ 症状
チャレンジ
このプロジェクトはいくつかの課題を乗り越えなければならなかった データの複雑さの問題 電子商取引の検索環境ではよくあることです。
曖昧さ
「E 91」のようなクエリは、まったく異なる製品（車のモデル、ヒューズホルダー、カプセルの刻印）に対応する可能性があるため、解釈が非常に不確実になります。
タイプミスとバリエーション
「lampa uf zestaw」などのスペルミスや省略形は、「lampa UV zestaw」として理解するために、人間による文脈の解釈が必要でした。
重複するカテゴリー
クエリは複数のクラス (例: 完全、互換性、特定の属性) と一致することが多く、一貫性を確保するために優先順位ルールが必要でした。
無効な入力
製品と一致しないシリアルコードまたは識別子は、誤分類されるのではなく、「無効なフレーズ」としてタグ付けする必要がありました。
拡張性
微妙な分類ルールを一貫して適用する 数万件のクエリ 強力な QA と注釈ガバナンスが求められます。
解決策
これらの課題に対処するために、 構造化注釈フレームワーク 自動化と人間による監視のバランスをとる方法が導入されました。
注釈のガイドライン
複雑なシナリオでも注釈者が一貫して分類できるように、詳細な定義、例、および手順が作成されました。
優先順位ルール
階層が確立されたため (例: 互換性 > 正確 > 特定の属性)、重複するケースが体系的に解決されました。
多層QAプロセス
- 訓練を受けた注釈者による初期注釈付け。
- QA スペシャリストによる二次レビュー。
- エッジケースや意見の不一致に関する仲裁のために中小企業にエスカレーションする
実際のクエリを使ったガイドラインの実践的な応用
- 4008146044786 ➔ 無効なフレーズ
- ミラクルム・クロリカ ➔ テーマ属性
- ZCD 銀河グレー ➔ 互換性のあります
- owczarek belgijski ➔ テーマ
これにより、 調整、品質、信頼性 アノテーション パイプライン全体にわたって。
結果
この取り組みにより、クライアントの検索エコシステムに目に見える改善がもたらされました。
- 50,000件以上のクエリを分類 高精度で、検索の改善のための堅牢なトレーニング データセットを形成します。
- 検索結果の関連性の向上、ユーザー満足度を直接的に向上させ、無関係な一致によるフラストレーションを軽減します。
- 曖昧さの軽減 SME 主導の仲裁および優先ルールを通じてエッジケースを体系的に解決します。
- 強化された製品の発見可能性これにより、ユーザーはカテゴリ、属性、テーマにわたってアイテムをより正確に見つけられるようになります。
全体として、このプロジェクトは、 よりインテリジェントでユーザー中心の検索エクスペリエンス顧客が電子商取引市場で競争力を維持できるよう支援します。
ヒューマンアノテーションワークフローにより、複雑な検索クエリが明確になりました。構造化されたタクソノミーと優先順位ルールにより、検索エンジンの精度が大幅に向上し、ユーザーエクスペリエンスがよりシームレスになりました。
– ポーランドに拠点を置くEコマースコングロマリットの検索＆発見部門責任者
