【AI/論文】ハイスペックな医療用マルチモーダル生成AI「Med-PaLM M」が登場
1．Med-PaLMからMed-PaLM 2，そしてMed-PaLM Mへ
■Googleが開発した医療用テキスト生成AIにMed-PaLMというものがある．Med-PaLMは医学論文から学習したデータセットでトレーニングされた生成AIである．そして，Med-PaLMはバージョンアップしてMed-PaLM 2が2023年1月18日にリリースされた．Med-PaLM 2は医学論文のみならず，医師の診察記録，患者の健康記録，医療ニュース記事など，より広範なデータセットでトレーニングされている．そして，モデルのパラメータ数も137億から1000億に拡大された．さらに，Med-PaLM 2ではテキストのみならず，画像，音声をも使える，マルチモーダルな医療タスクを扱える生成AIとなっている．そして，7月26日にさらにバージョンアップした最新のMed-PaLM Mの概要がarXivにpublishされた．そのパラメータ数はMed-PaLM 2のさらに10倍となる1兆に拡大された．
■医療は本質的にマルチモーダルな分野で，テキスト，画像，ゲノムなど，多様なデータ形式を解釈する必要がある．しかし，現在のバイオメディカルAIの多くは，一つのモード，一つのタスクに特化したものがほとんどである．これは，我々が持つ豊富なデータを最大限に活用する機会を逃していると言える．Med-PaLM Mは，臨床言語，画像，ゲノムなどのバイオロジカルデータを柔軟にエンコードして解釈する大規模なマルチモーダル生成モデルである．つまり，これ一つで複数のデータ形式を扱い，複数のタスクをこなすことが可能である．
2．Med-PaLMの評価と可能性
■Med-PaLM Mの開発にあたっては，まず新たなマルチモーダルバイオメディカルベンチマークであるMultiMedBenchが作成された．これは14の多様なタスクを包含しており，医療の質問と応答，マンモグラフィーと皮膚科の画像解釈，放射線画像検査の報告の生成と要約，ゲノム変異の呼び出し，病理学画像の扱いなどが含まれている．これらのタスクは，Med-PaLM Mの訓練と評価に使用された．その結果，Med-PaLM MはすべてのMultiMedBenchタスクで最先端のパフォーマンスに匹敵するかそれを上回るパフォーマンスを達成した．これは，一つのAIシステムが多様なタスクとデータ形式を同時に扱うことが可能であることを示している．
■また，ゲノム変異のタスクでは，Med-PaLM Mはゲノムデータを解釈し，遺伝的なリスク要因や疾患の可能性を予測するのに役立つ可能性があり，個々の患者に対する個別化医療の実現に一歩近づく．
■さらに，新たな医療概念やタスクへのゼロショットの一般化，タスク間でのポジティブな転移学習，そしてゼロショットの医療推論の出現などの例も報告されている．これは，Med-PaLM Mが未知のタスクや概念に対しても適応し，学習する能力を持っていることを示している．これは新たな疾患や症状，治療法が出現したときに，Med-PaLM Mがそれらに迅速に適応し，有用な情報を提供することができることを意味する．
■モデルが生成した胸部X線報告の放射線科医の評価では，モデルのスケール全体で人間の専門家と同等のパフォーマンスを達成し，場合によってはそれを上回ることが可能であることを示していた．
■Med-PaLM Mの開発とその結果は，一般的なバイオメディカルAIシステムの開発に向けた重要なマイルストーンであり，我々がこれから直面する課題を明確に示している．これらのモデルを実際の使用ケースで検証し，その効果を評価するためにはまだ大量の作業が必要である．しかし，その可能性は無限大で，科学的発見からケア提供まで，影響力のあるアプリケーションを可能にすることが期待されている．
■Googleが開発した医療用テキスト生成AIにMed-PaLMというものがある．Med-PaLMは医学論文から学習したデータセットでトレーニングされた生成AIである．そして，Med-PaLMはバージョンアップしてMed-PaLM 2が2023年1月18日にリリースされた．Med-PaLM 2は医学論文のみならず，医師の診察記録，患者の健康記録，医療ニュース記事など，より広範なデータセットでトレーニングされている．そして，モデルのパラメータ数も137億から1000億に拡大された．さらに，Med-PaLM 2ではテキストのみならず，画像，音声をも使える，マルチモーダルな医療タスクを扱える生成AIとなっている．そして，7月26日にさらにバージョンアップした最新のMed-PaLM Mの概要がarXivにpublishされた．そのパラメータ数はMed-PaLM 2のさらに10倍となる1兆に拡大された．
■医療は本質的にマルチモーダルな分野で，テキスト，画像，ゲノムなど，多様なデータ形式を解釈する必要がある．しかし，現在のバイオメディカルAIの多くは，一つのモード，一つのタスクに特化したものがほとんどである．これは，我々が持つ豊富なデータを最大限に活用する機会を逃していると言える．Med-PaLM Mは，臨床言語，画像，ゲノムなどのバイオロジカルデータを柔軟にエンコードして解釈する大規模なマルチモーダル生成モデルである．つまり，これ一つで複数のデータ形式を扱い，複数のタスクをこなすことが可能である．
2．Med-PaLMの評価と可能性
■Med-PaLM Mの開発にあたっては，まず新たなマルチモーダルバイオメディカルベンチマークであるMultiMedBenchが作成された．これは14の多様なタスクを包含しており，医療の質問と応答，マンモグラフィーと皮膚科の画像解釈，放射線画像検査の報告の生成と要約，ゲノム変異の呼び出し，病理学画像の扱いなどが含まれている．これらのタスクは，Med-PaLM Mの訓練と評価に使用された．その結果，Med-PaLM MはすべてのMultiMedBenchタスクで最先端のパフォーマンスに匹敵するかそれを上回るパフォーマンスを達成した．これは，一つのAIシステムが多様なタスクとデータ形式を同時に扱うことが可能であることを示している．
■また，ゲノム変異のタスクでは，Med-PaLM Mはゲノムデータを解釈し，遺伝的なリスク要因や疾患の可能性を予測するのに役立つ可能性があり，個々の患者に対する個別化医療の実現に一歩近づく．
■さらに，新たな医療概念やタスクへのゼロショットの一般化，タスク間でのポジティブな転移学習，そしてゼロショットの医療推論の出現などの例も報告されている．これは，Med-PaLM Mが未知のタスクや概念に対しても適応し，学習する能力を持っていることを示している．これは新たな疾患や症状，治療法が出現したときに，Med-PaLM Mがそれらに迅速に適応し，有用な情報を提供することができることを意味する．
■モデルが生成した胸部X線報告の放射線科医の評価では，モデルのスケール全体で人間の専門家と同等のパフォーマンスを達成し，場合によってはそれを上回ることが可能であることを示していた．
■Med-PaLM Mの開発とその結果は，一般的なバイオメディカルAIシステムの開発に向けた重要なマイルストーンであり，我々がこれから直面する課題を明確に示している．これらのモデルを実際の使用ケースで検証し，その効果を評価するためにはまだ大量の作業が必要である．しかし，その可能性は無限大で，科学的発見からケア提供まで，影響力のあるアプリケーションを可能にすることが期待されている．
ジェネラリストバイオメディカルAIを目指して
Tu T, Azizi S, Driess D, et al. Towards Generalist Biomedical AI. arXiv 2023 Jul.26[arXiv:2307.14334]
https://arxiv.org/abs/2307.14334
Abstract
医療は本質的にマルチモーダルであり，テキスト，画像，ゲノムなどにまたがる豊富なデータモダリティが存在する．このようなデータを柔軟に符号化し，統合し，解釈する汎用バイオメディカル人工知能（AI）システムは，科学的発見からケア提供まで，インパクトのあるアプリケーションを可能にする可能性がある．
このようなモデルの開発を可能にするために，我々はまず，新しいマルチモーダル生物医学ベンチマークであるMultiMedBenchをキュレートする．MultiMedBenchは，医学的な質問応答，マンモグラフィと皮膚科の画像解釈，放射線医学のレポート生成と要約，ゲノムのバリアントコーリングなど14の多様なタスクを含んでいる．
次に，Med-PaLM Multimodal (Med-PaLM M)を紹介する．Med-PaLM Mは，ジェネラリストバイオメディカルAIシステムの概念実証である．Med-PaLM Mは大規模なマルチモーダル生成モデルであり，臨床言語，画像，ゲノミクスを含むバイオメディカルデータを同じモデル重みセットで柔軟に符号化し解釈する．Med-PaLM Mは，すべてのMultiMedBenchタスクにおいて最先端技術に匹敵するか，それを上回る性能を達成し，しばしば専門モデルを大きく上回る．
また，新しい医療概念やタスクへのゼロショット汎化，タスク間の正の転移学習，および創発的なゼロショット医療推論の例も報告する．
さらにMed-PaLM Mの能力と限界を調査するために，モデルによって生成された（そして人間によって生成された）胸部X線レポートの放射線科医による評価を実施し，モデル規模を超えた有望なパフォーマンスを観察した．246枚のレトロスペクティブ胸部X線写真を並べたランキングでは，臨床医は最大40.50％の症例で放射線科医が作成した報告書よりもMed-PaLM Mの報告書を優先すると回答しており，潜在的な臨床的有用性を示唆している．
これらのモデルを実世界のユースケースで検証するにはかなりの作業が必要であるが，我々の結果はジェネラリストバイオメディカルAIシステムの開発に向けたマイルストーンである．
by DrMagicianEARL
| 2023-07-29 08:31
| 医学・医療とAI
