LLMおよびAIトレーニング用のライセンス取得済みテキストデータセット
LLM、NLP、生成AIのトレーニングにすぐに使えるテキストコーパスのライセンスを取得できます。会話形式のQ&A、コード、ニュース、臨床データ、学術データ、多言語データなど、プロジェクトに合わせてカスタマイズ可能です。
LLMおよびNLPトレーニング用のライセンス付きテキストデータセット
Shaipのテキストデータカタログは、AIチームが大規模言語モデル（LLM）や自然言語処理（NLP）システムをトレーニング、微調整、評価するための、ライセンス取得済みのテキストデータセットを提供します。カタログは8つのカテゴリを網羅しており、各データセットは実世界のデータから収集され、プロジェクトに合わせてカスタマイズ可能です。
このカタログには、現代標準アラビア語、サウジアラビア方言、アラブ首長国連邦方言、エジプト方言、レバント方言を網羅した、英語とアラビア語の対話型Q&Aおよび指示データセットが含まれています。また、9つのプログラミング言語のコードリポジトリデータセットも含まれており、そのうちいくつかはプルリクエストとコミットの履歴が完全に記録されています。時事問題モデルとRAG向けには、1999年まで遡る97万5000件の記事アーカイブを含む、英語、スペイン語、アラビア語のニュースデータセットが用意されています。医療AIチームは、匿名化処理済みのゴールデンセットとシルバーセットとして利用可能な臨床Q&Aおよび症例データセットを使用できます。
事前学習には、生テキストとウェブ規模のコーパスが用意されており、2000万語のアラビア語コーパスも含まれています。スキャンされた文書コーパスは、文書AIと情報抽出をサポートします。学術論文や出版社のテキストは12の科学技術分野を網羅し、脚本付きエンターテイメントテキストは映画、テレビ、アニメーション、マイクロドラマをカバーしています。
すべてのデータセットには明確なライセンスと品質レビューが付いています。サンプルもご用意しておりますので、ご購入前にデータセットを評価いただけます。下記のカテゴリからお選びいただくか、カスタムテキストデータ収集についてご相談ください。
対話型Q&Aおよび指示データセット
これらのデータセットには、現代標準アラビア語に加え、サウジアラビア、アラブ首長国連邦、エジプト、レバント方言を含む、人間が作成した質問と回答のペア、および指示形式のプロンプトがアラビア語と英語で収録されています。分野別のセットでは、STEM（科学、技術、工学、数学）分野、食品、農業を網羅しています。これらのデータセットは、地域方言の網羅性や文化的背景に基づく知識が重要な言語モデルの、指示の調整、微調整、および評価を支援します。
コードおよびソフトウェアリポジトリデータセット
C#、React、TypeScript、Angular、Java、Go、PHP、Swift、BrightScriptといった言語で実際に出荷されたソフトウェアから抽出された、本番環境向けのコードベースです。いくつかのエントリには、プルリクエストとコミットの履歴がすべて含まれており、レビュー中にコードがどのように変更されたかを確認できます。これらのコードは、コード補完、コード生成、コード理解、コードレビューモデルのトレーニングをサポートしており、ライセンス取得前に評価用のリポジトリが利用可能です。
ニュースおよびジャーナリズムのテキストデータセット
大手国際ニュース機関が専門的に執筆・編集したニュース記事を、英語、スペイン語、アラビア語の定期配信フィードとして、また1999年以降に公開された97万5000件の記事を収録したアーカイブとして提供しています。すべての記事には、執筆者名、日付、見出し、本文、トピックのタグが付いています。これらの記事は、時事問題モデルのトレーニング、検索拡張型生成、および時間推論タスクに適しています。
臨床に関するQ&Aと症例データセット
医療関連のQ&Aセット、臨床症例概要、および医療専門誌の全文記事を、医療分野に特化したモデルのトレーニングと評価に活用します。ゴールデンデータセットとシルバーデータセットが用意されており、ゴールデンデータセットはベンチマーク用に高い審査基準に基づいて作成されています。ソース資料に個人を特定できる情報や保護対象となる医療情報が含まれている場合は、編集、匿名化、マスキングなどの処理が契約範囲に含まれます。
生テキストとウェブスケールコーパス
現代標準アラビア語および地域方言を網羅した、大量の生テキスト、プロンプト、およびテキスト読み上げスクリプトのコーパス。20万語の生コーパスも含まれています。これらは、言語モデルの事前学習や、現代標準アラビア語は得意だが地域方言の音声表現には弱いモデルにおける語彙および方言範囲の拡大に役立ちます。
文書およびスキャンされたテキストコーパス
実世界の文書をスキャンし、構造化されたフォームをPDF形式で配信します。合成レンダリングではなく、実際のレイアウトとスキャン品質を維持します。これらは、文書AI、OCRに隣接する自然言語処理、情報抽出をサポートし、特にレイアウトがテキスト自体と同じくらい重要な意味を持つキーバリュー型文書や表形式文書の理解に役立ちます。
学術・出版社テキストデータセット
学術出版社からライセンス供与を受け、API経由で配信される書籍および学術論文の全文。対象分野は、天文学、生物医学、土木工学、電気・電子工学、エネルギー工学、産業工学、材料科学、機械工学、ナノテクノロジー、物理学、高分子科学、セキュリティ管理の12分野に及びます。査読済みの情報源に基づいた科学技術系の事前学習や情報検索に適しています。
脚本付きエンターテイメント＆物語テキスト
長編映画、テレビ番組、アニメーション、縦型マイクロドラマなど、ドラマ、コメディ、SF、西部劇、アクション、ミステリー、ロマンス、スリラー、宗教といったジャンルを網羅した膨大な脚本付きエンターテイメント作品カタログから抽出された制作スクリプト、トランスクリプト、ナレーションテキスト。これらは、ナレーションとセリフの生成、脚本フォーマットのモデリング、スクリプトとシーンの整合をサポートします。
よくある質問（FAQ）
1. AIトレーニングにおけるテキストデータセットとは何ですか？
AIトレーニング用のテキストデータセットは、質問と回答のペア、指示書、記事、コード、臨床記録、書籍、スクリプトなど、厳選された文章データのコレクションであり、大規模言語モデル（LLM）や自然言語処理（NLP）システムの事前学習、微調整、評価に使用されます。Shaipのテキストデータカタログは、実世界の資料から収集された8つのカテゴリにわたる、すぐにライセンス供与可能なデータセットを提供しています。
2. Shaipはどのような種類のテキストデータセットを提供していますか？
このカタログは、会話形式の質疑応答および指示データセット、コードおよびソフトウェアリポジトリデータセット、ニュースおよびジャーナリズムテキスト、臨床に関する質疑応答および症例データセット、生テキストおよびウェブスケールコーパス、スキャンされた文書コーパス、学術および出版社のテキスト、脚本付きエンターテイメントおよび物語テキストの8つのカテゴリを網羅しています。
3. どの言語と方言が対象となりますか？
データセットは英語、アラビア語、スペイン語で利用可能です。アラビア語版は、現代標準アラビア語に加え、サウジアラビア、アラブ首長国連邦、エジプト、レバント方言を網羅しており、現代標準アラビア語は得意でも地域ごとの話し言葉のバリエーションには苦戦するモデルにとって役立ちます。
4. これらのデータセットは、どのようなAIのユースケースをサポートしていますか？
一般的なユースケースとしては、LLMの事前学習、指示チューニングとファインチューニング、モデルの評価とベンチマーク、検索拡張生成（RAG）、コード補完とコードレビュー、ヘルスケアAI、ドキュメントAIと情報抽出、対話と脚本の生成などが挙げられます。
5. ライセンスを取得する前にデータセットを評価することはできますか？
はい。データセットのライセンスを取得する前に、サンプルまたは評価アクセスを手配できますので、お客様のチームは適合性、フォーマット、品質を確認できます。該当するカテゴリのサンプルをご希望の場合は、お客様のユースケースを添えてお問い合わせください。
6. 個人情報や医療情報などの機密データはどのように取り扱われますか？
臨床データなど、個人を特定できる情報や保護対象となる健康情報を含む資料の場合、データがお客様のプライバシーおよびコンプライアンス要件を満たすよう、編集、匿名化、マスキングが業務範囲に含まれます。
7. ゴールデンデータセットとシルバーデータセットの違いは何ですか？
ゴールデンデータセットは、より高い審査基準に基づいて作成されており、ベンチマークや評価に最適です。シルバーデータセットは標準的な審査を経ており、データ量がより重要となる大規模なトレーニングに適しています。
8. データセットはカスタマイズまたは拡張できますか？
はい。データセットは、言語、分野、ボリューム、フォーマットなど、プロジェクトに合わせて範囲を絞り込むことができます。カタログに必要なものが含まれていない場合は、Shaipがお客様の仕様に合わせてカスタムテキストデータを収集し、注釈を付けることができます。
9. どのようなライセンス オプションが利用可能ですか?
ライセンスは、データセット、データ量、使用目的、および期間に基づいて、各利用案件ごとに設定されます。ニュースコンテンツなどの一部のデータセットは、定期的なフィードと、一度限りのアーカイブ用データとしての両方で利用可能です。
10．データセットはどのように提供されますか？
配信方法はデータセットによって異なります。構造化ファイル、スキャン文書用のPDF、ニュース用の定期配信、学術コンテンツや出版社コンテンツ用のAPI配信など、様々なオプションがあります。配信形式は、お客様のトレーニングパイプラインに合わせて調整可能です。
11. テキストデータセットの費用はいくらですか？
価格は、カテゴリー、数量、独占権、ライセンス条件によって異なります。お客様のプロジェクトに合わせたお見積もりをご希望の場合は、ご要望を弊社チームまでお聞かせください。
12. どうやって始めればいいですか?
ご自身のユースケースに合ったカテゴリをご確認の上、Shaipまでご要望をお知らせください。弊社のチームがデータセットの詳細、サンプル、そしてプロジェクトに適したライセンスの範囲をご案内いたします。
