ジェネレーティブ AI によるヘルスケア予測モデルの強化
肺炎検出と癌のステージ分類に関する事例研究
プロジェクト概観
急速に進歩するヘルスケアの分野では、臨床レポートから病状を予測するために生成 AI、特に大規模言語モデル (LLM) を採用することは、大きな飛躍を意味します。健康分析の先駆者であるクライアントは、病状予測モデルを改良するというミッションに乗り出しました。オープンソースの MIMIC CXR データベースを活用し、初期分析に生成 AI 予測を組み込み、続いて Label Studio で手動検証を行うことで、臨床レポート分析、特に放射線レポートのモデルの精度と信頼性を高めることが目標でした。
課題
生成 AI 予測をヘルスケア ワークフローに統合するには、数多くの課題がありました。
MIMIC-CXR のような高品質のオープンソース医療データセットへのアクセスを保護するには、プライバシーと倫理基準への準拠を保証する厳格な認証プロセスが必要でした。
生成 AI モデルからの初期出力では、病状の予測に不正確な点が時々見られ、精度を高めるために手動でチェックする必要がありました。
特に生成 AI を使用する場合、臨床レポートの微妙な言語から病状を正確に分類することは大きな障害となります。
Label Studio ツール内で高品質で正確な注釈を確保するには、医学的疾患状態に関する専門知識と理解が必要でした。
解決策
シャイプ氏はこれらの課題に対処するために包括的な戦略を採用しました。
- 合理化された認証: チームは、MIMIC-CXR アクセスの認証プロセスを迅速に進め、効率性と倫理的な研究慣行への取り組みを実証しました。
- ガイドラインの開発: LLM 予測の注釈付けにおける一貫性と品質を確保するために、手動検証者向けの洞察に満ちたガイドラインを開発しました。
- AI予測に関する専門家の注釈: 医学的専門知識に裏打ちされた Label Studio を使用して、LLM 予測の綿密な手動検証と修正を実施しました。
- パフォーマンス指標： Shaip は詳細な分析を通じて、一致率、精度、再現率、F1 スコアなどの LLM のパフォーマンス メトリックを計算し、継続的な改善を可能にしました。
結果
- 精度の向上 放射線学的レポートから病状を予測する。
- 開発 の 高品質のグラウンドトゥルース 将来の製品開発と生成 AI 予測の評価のためのデータセット。
- 理解の向上 病気の状態を特定し、より信頼性の高い予測を可能にします。
ユースケース 1: 機械学習モデルの検証
シナリオ： 生成 AI による肺炎予測の精度向上 この例では、生成 AI モデルが胸部 X 線レポートを精査し、肺炎の兆候を検出しました。「右下葉の不透明度が上昇し、感染過程を示唆している」というレポートは、レポートの表現が曖昧であったため、AI によって当初「不確実」と分類されました。
検証プロセス:
- 医療専門家がLabel Studio内でレポートを検査し、AIによって強調表示されたテキストに注目しました。
- 専門家は、臨床状況を評価し、放射線学的知識を適用して、報告書を肺炎の確定的な「陽性」として再分類しました。
- この専門家による修正は AI モデルに再び統合され、継続的な学習と改良を促進します。
成果：
- モデルの精度の向上
- パフォーマンスメトリクスの精度と再現性の向上
ユースケース 2: グラウンドトゥルースデータセットの生成
シナリオ： 生成 AI による癌の TNM ステージングのベンチマーク データセットの作成
がんの進行に関する製品開発を進めることを目指して、クライアントは包括的なグラウンド トゥルース データセットを収集しようとしました。このデータセットは、臨床ナラティブからがんの TNM ステージを正確に予測するための新しい AI モデルのトレーニングと評価のベンチマークとなります。
データセット生成プロセス:
- 病理学的所見や診断概要を含む、癌関連の幅広いレポートが収集されました。
- 生成 AI モデルは、学習したパターンと知識を活用して、各レポートの初期 TNM ステージング予測を提供しました。
- 医療専門家は、AI が生成した予測の正確性を確認し、エラーを修正し、AI 予測が不完全または不正確な場合には情報を補足しました。
成果：
- 高品質のグラウンドトゥルースデータセットの作成。
- がんの診断とステージングに関する次世代モデルの改良を目的とした未来製品財団。
Shaip との連携により、病気の予測に対する当社のアプローチは大きく変わりました。Shaip のドメイン エキスパートによる注釈により、当社のモデルの精度と信頼性が大幅に向上しました。これは、Shaip の綿密な検証プロセスのおかげです。
