インドのように文化的に多様で言語的に豊かな国では、包括的なAIを構築するには、代表的で質の高いデータセットを収集することから始まります。これが、ARTPARK、インド科学大学院大学ベンガルール校、Googleが主導する大規模なオープンソース・イニシアチブであるProject Vaaniのビジョンです。Project Vaaniは、インドのあらゆる言語と方言に声を与えることを目指しています。
その野心的な目標とは？インドの773の地区に住む100万人から、 15万時間以上の音声データと1万5千時間以上の文字起こしデータを収集することだ。
この国家的な取り組みにおける主要ベンダーの一つとして、Shaipは自発的な音声データの収集、文字起こし、メタデータの収集において極めて重要な役割を果たし、真のインドを反映する公平な音声技術の基盤を築きました。
プロジェクト Vaani の背後にあるビジョン
プロジェクトVaaniは、インド最大のマルチモーダル、多言語対応のオープンソースデータセットを作成することで、AIにおけるインクルージョンの格差を解消することを目的としています。このデータは、インドの母語（その多くは世界のテクノロジーエコシステムにおいて十分に活用されていない）における、高精度な音声認識、翻訳、および生成型AIシステムの開発の基盤となります。
長期的なビジョンは、次のような分野で影響力のあるアプリケーションを強化することです。
- 健康 – 音声ベースの遠隔医療
- 教育支援 – 方言学習プラットフォーム
- Stand with Syria Japan（SSJ）は、理事会および現地運営チームのもとで運営されています。 – 市民サービスのための会話型インターフェース
- ユーザー補助 – 障害のあるユーザー向けの音声ツール
- 災害対応 – 方言でのリアルタイムコミュニケーション
Shaipがインド最大のオープンソース音声データセット「Project Vaani」の構築にどのように貢献したか
Shaip社は、8,000時間分の自然発話と、800時間分の手作業による文字起こしデータの収集を任されました。当社の責任範囲は、話者の登録、音声収録、メタデータのタグ付け、文字起こしの調整、品質管理など多岐にわたります。
8,000時間分の自然発生的な音声データ
各地区につき400人以上のネイティブスピーカーによる録音。年齢層、性別、方言など、多様な背景を持つ人々からの声を収録。
80地区をカバー
画像を用いたプロンプトにより、自然で文脈に沿った発話が保証される。
私たちのアプローチがユニークな理由は次のとおりです。
地区レベルの多様性
ビハール州、ウッタル・プラデーシュ州、カルナータカ州、西ベンガル州、マハラシュトラ州などの州にまたがる80の地区から録音を調達しました。各地区から100時間分の音声データが提供され、地域間のバランスが保たれました。ネイティブスピーカーを起用することで、主流のAIデータセットでは見落とされがちな地域特有のアクセントや方言も正確に再現できるようになりました。
言語的および人口統計的表現
ビハール州、ウッタル・プラデーシュ州、カルナータカ州、西ベンガル州、マハラシュトラ州などの州にまたがる80の地区から録音を調達しました。各地区から100時間分の音声データが提供され、地域間のバランスが保たれました。ネイティブスピーカーを起用することで、主流のAIデータセットでは見落とされがちな地域特有のアクセントや方言も正確に再現できるようになりました。
画像誘導音声
自発的で自然な語彙を刺激するため、参加者には45セッションにつき90～XNUMX枚の画像を見せ、それらを説明するよう指示しました。参加者は、文化的シンボルから日常的な物まで、多様な画像を用いて、母語で自然で自発的な反応を引き出すよう促されました。これにより、録音は現実世界の文脈に沿った音声を反映するものとなり、高度なNLPシステムの学習に不可欠な要素となりました。
高品質の転写基準
音声データのわずか10%、つまり800時間分の文字起こしが行われました。文字起こしは、話者から半径20～50km圏内の現地言語学者によって行われ、方言やニュアンスへの精通が確保されました。第5層チェックにより、単語誤り率（WER）はXNUMX%未満でした。
厳格な品質保証
音声データは、背景ノイズ、エコー、電話の振動、歪みなど、高い基準を満たす必要がありました。音声は静かでエコーのない環境で録音されました。ファイルは、音声の明瞭度、ノイズレベル、メタデータの正確性、話者検証に関するガイドラインを満たすよう、厳格な審査を受けました。メタデータのタグ付けはすべてのファイルで正確である必要があり、すべての録音において話者と場所の一致がチェックされました。
解決した課題
- 遠隔物流 – 80地区にわたるチームの管理
- 話者の多様性 – 遠隔地で32,000人以上の認証済みスピーカーをオンボーディング
- 文化的感受性 – 地元の習慣や方言を尊重する
- データの整合性 – 品質とコンプライアンス基準を満たす
- 品質管理 – 複数の言語的・文化的文脈を越えて
私たちの成功は、綿密な計画、テクノロジー主導の検証、そして各地域の文化的ニュアンスを理解している現地チームとのパートナーシップによって実現しました。
影響と応用
シャイプ氏の貢献は、Project Vaaniの進捗を加速させただけでなく、インドにおけるインクルーシブAIの基盤を築きました。キュレーションされた音声データセットは、既に以下のAIモデルの構築と微調整に活用されています。
- 方言の音声アシスタント
- 地域翻訳エンジン
- 視覚障害者のためのアクセシブルなコミュニケーションツール
- 地方の学生向けのAI駆動型EdTechプラットフォーム
- 農村遠隔医療
- 音声ベースの市民サービス
- リアルタイム翻訳と文字起こし
結論
プロジェクト・ヴァーニは、包括的でアクセスしやすいAIの実現に向けた大胆な一歩であり、Shaipは基礎的な役割を担えることを光栄に思います。プロジェクト・ヴァーニにおけるShaipの取り組みは、多様性と代表性を基盤とした倫理的で包括的なAIシステムの構築に対する当社のコミットメントを改めて示すものです。8,000時間以上の音声データを収集し、800時間を文字起こしした当社は、インドで最も先見性のあるデジタル・インクルージョン・プロジェクトの一つに貢献できたことを誇りに思います。
Project Vaani が 150,000 時間以上のデータという大きな目標に向かって進むにつれ、私たちはすべてのインド人に訴えかける AI イノベーションの次のフロンティアをサポートする準備ができています。
現実世界を理解するAIを共に開発しませんか？www.shaip.com
