「動画を見せれば動作を分析してくれる」「音声から状態が分かる」——マルチモーダルAI、つまり画像・動画・音声・テキストを同時に扱えるAIが一般に使えるようになって、この種の期待が一気に膨らみました。理学療法士・作業療法士にとっては、まさに本業が乗る領域です。

ところが2026年6月、Nature Communicationsに載った検証が、この期待に冷や水を浴びせました（Buckley TA ほか, Nat Commun. 2026;17(1):7475, PMID: 42285926）。ハーバード医科大学の研究チームが、商用・オープンソース合わせて8つのマルチモーダル基盤モデルを、1,090件のマルチモーダル症例で評価したものです。

結論はこうでした。画像に対する予測は、実はほとんどテキストによって駆動されている。

しかも、その影響の出方が厄介です。テキストの情報量が増えるほど精度は単調に上がる。ここまでは良い話です。ところがテキストに誤った診断がわずかに示唆されるだけで、画像だけなら正解できていた症例の精度が崩れます。論文が挙げた具体例では、o3の正答率が84%から28%へ落ちました。誤解を招く臨床要約を1つ添えただけで、です。

さらに逆方向の現象も報告されています。テキストがすでに情報豊富な場合、画像を追加すると精度が下がるか、少なくとも向上しない。69件の臨床病理カンファレンス症例で、GPT-4Vは情報量の多いテキストに画像を足したときに精度が低下しました。

つまり、現在のマルチモーダルAIは「見て、聞いて、読んで、統合する」というより、読んだ内容を主軸に置き、画像はその補強材料として扱っている——そう理解したほうが、実際の挙動に近いということです。

これは、動作評価に使う人にとって他人事ではない

「画像診断の話でしょう」と読み飛ばしたくなるところですが、療法士にとってはむしろ直撃する話です。

私たちがAIに動画を渡すとき、たいてい一緒に文字情報を添えます。「70代女性、変形性膝関節症、右膝痛」。この一文が、AIの見え方を決めてしまう可能性がある。Buckley 2026の結果を素直に読めば、あなたが先に書いた診断名に沿った説明が返ってくる確率が上がり、動画そのものから拾えたはずの所見が薄まるということになります。

さらに困るのは、出力を見てもそれが「見た結果」なのか「読んだ結果」なのかが区別できない点です。AIは、どちらの場合も同じくらい自信ありげな日本語で書いてきます。

もう一つ。動作評価に使えるモダリティは動画だけではありません。マーカーレスの姿勢推定、発話の音声解析、そして電子カルテのテキスト。これらは「マルチモーダル」とひとくくりに語られますが、実は一つひとつ、実証された精度も、信頼してよい条件も、まったく違います。ここを混ぜたまま導入すると、信じてよい数字と信じてはいけない数字が同じ画面に並ぶことになります。

以下では、日本語データでの検証を含む実在論文6本をPubMedで書誌照合したうえで、モダリティごとの信頼幅、AIの出力が「見た結果」かを見分ける方法、そして療法士が今日から使える5つの実務基準までを、具体的に整理していきます。