ヒューマンアノテーションによる検索クエリ理解の強化
ポーランドを拠点とする大手電子商取引コングロマリットでは、人間の判断と構造化された分類法を活用して、曖昧なエッジケースを一貫して処理し、検索の関連性を向上させています。
プロジェクト概観
ポーランドに拠点を置く大手eコマース企業であるクライアントは、毎日数百万件の検索クエリを受け取っています。これらのクエリの多くは曖昧であったり、スペルミスが含まれていたり、複数の製品カテゴリを参照していたりするため、自動検索エンジンにとって課題となっています。
検索精度と顧客体験を向上させるため、ShaipはBaymardの研究にヒントを得た構造化注釈フレームワークを開発しました。クエリは、一貫性のある分類を保証するための優先順位ルールに基づいて、 11のカテゴリ（製品カテゴリ、テーマ、特定属性、完全一致、販売者、症状、非製品など）に体系的に分類されました。
主要統計
50,000以上のクエリに注釈が付けられています
複数のカテゴリーにわたって
11 個のアノテーションクラス
明確な定義と優先ルール
3ステップのワークフロー
注釈 ➔ QA ➔ SME 仲裁
プロジェクト範囲
このプロジェクトは、大規模なマーケットプレイスプラットフォームにおけるユーザーの検索行動の全範囲を捉えるための包括的な分類体系の構築を中心としていました。対象範囲は以下のとおりです。
- 11のカテゴリーの分類を開発 クエリが複数のクラスに当てはまる場合に対処するために、明確な定義と優先順位階層を備えています。
- 何千もの実際のクエリに注釈を付ける 製品領域と非製品領域の両方にわたって分類システムをトレーニングおよび調整します。
- 曖昧なクエリの解決 主題専門家 (SME) にエスカレーションすることで、エッジ ケースの処理方法の一貫性を確保します。
- 注釈付きの例と根拠の提供 QA 調整のために、将来の注釈者が参照できるトレーニング セットを作成します。
含まれるサンプル注釈:
- De Dietrich ELENSIO ➔ Exact
- E 91 ➔ 言いにくい
- tezfiles ➔ 販売者
- スバルBRZ トヨタGT86 ➔ 非製品
- okulary BHP ➔ 製品カテゴリー
- stawu skokowego ➔ 症状
チャレンジ
このプロジェクトでは、eコマースの検索環境でよく見られる、データ複雑性に関するいくつかの問題を克服する必要がありました。
曖昧さ
「E 91」のようなクエリは、まったく異なる製品（車のモデル、ヒューズホルダー、カプセルの刻印）に対応する可能性があるため、解釈が非常に不確実になります。
タイプミスとバリエーション
「lampa uf zestaw」などのスペルミスや省略形は、「lampa UV zestaw」として理解するために、人間による文脈の解釈が必要でした。
重複するカテゴリー
クエリは複数のクラス (例: 完全、互換性、特定の属性) と一致することが多く、一貫性を確保するために優先順位ルールが必要でした。
無効な入力
製品と一致しないシリアルコードまたは識別子は、誤分類されるのではなく、「無効なフレーズ」としてタグ付けする必要がありました。
拡張性
数万件ものクエリに対して、微妙な分類ルールを一貫して適用するには、強力な品質保証と注釈管理が不可欠だった。
解決策
これらの課題に対処するため、自動化と人間の監視のバランスをとった構造化された注釈フレームワークが導入された。
注釈のガイドライン
複雑なシナリオでも注釈者が一貫して分類できるように、詳細な定義、例、および手順が作成されました。
優先順位ルール
階層が確立されたため (例: 互換性 > 正確 > 特定の属性)、重複するケースが体系的に解決されました。
多層QAプロセス
- 訓練を受けた注釈者による初期注釈付け。
- QA スペシャリストによる二次レビュー。
- エッジケースや意見の不一致に関する仲裁のために中小企業にエスカレーションする
実際のクエリを使ったガイドラインの実践的な応用
- 4008146044786 ➔ 無効なフレーズ
- ミラクルム・クロリカ ➔ テーマ属性
- ZCD 銀河グレー ➔ 互換性のあります
- owczarek belgijski ➔ テーマ
これにより、アノテーションパイプライン全体における整合性、品質、および信頼性が確保された。
結果
この取り組みにより、クライアントの検索エコシステムに目に見える改善がもたらされました。
- 50,000件以上のクエリを分類 高精度で、検索の改善のための堅牢なトレーニング データセットを形成します。
- 検索結果の関連性の向上、ユーザー満足度を直接的に向上させ、無関係な一致によるフラストレーションを軽減します。
- 曖昧さの軽減 SME 主導の仲裁および優先ルールを通じてエッジケースを体系的に解決します。
- 強化された製品の発見可能性これにより、ユーザーはカテゴリ、属性、テーマにわたってアイテムをより正確に見つけられるようになります。
全体として、このプロジェクトはよりインテリジェントでユーザー中心の検索体験の基盤を築き、クライアントがeコマース市場における競争優位性を維持するのに役立った。
ヒューマンアノテーションワークフローにより、複雑な検索クエリが明確になりました。構造化されたタクソノミーと優先順位ルールにより、検索エンジンの精度が大幅に向上し、ユーザーエクスペリエンスがよりシームレスになりました。
