日曜の夜、来週の科内勉強会の担当が回ってきたあなたは、パソコンの前で途方に暮れています。テーマは「脳卒中後の歩行練習の最新エビデンス」。PubMedで検索すると、それらしい論文が数百本。英語のアブストラクトを1本ずつ読む時間はない。そこで生成AIに打ち込みます。「脳卒中後の歩行練習について、最近の重要な論文を5本挙げて要約して」——30秒後、著者名・雑誌名・年号つきの整然としたリストと、流暢な日本語の要約が返ってきます。あまりに整っているので、つい忘れそうになります。この5本のうち何本かは、この世に存在しない論文かもしれないということを。

これは脅しではなく、測定された事実です。後述するとおり、ChatGPT（GPT-3.5）が文献レビューで挙げた引用の55%は実在しない論文であり、GPT-4でも18%が捏造でした。一方で同じ生成AIは、実在する抄録を渡して要約させれば精度92.5点（100点満点中央値）の高品質な要約を返し、2万4千件の文献スクリーニングを人間の合意とほぼ一致する精度でこなします。つまりAIは、論文を「探す」道具としては危険なままで、渡された論文を「処理する」道具としては急速に実用化した——この非対称を理解することが、AI時代の論文の読み方の出発点です。この記事では「論文 AI 要約」「論文の読み方」を調べているセラピストに向けて、①AI要約の便利さと危うさの構造、②実在論文6本の個別レビュー、③当サイトが記事制作で実際に使っている「AI要約→原文確認」の実務フロー、④批判的吟味のチェックリスト、⑤限界、の順に整理します。

なお、生成AIで症例報告・学会抄録を「書く」ことの倫理と著作権は生成AIと症例報告・学会抄録の記事で、書類作成など臨床実務への活用はChatGPT・生成AIの臨床実務ガイドで扱っています。本記事は「読む」——文献の検索・選別・要約・吟味——に焦点を絞ります。

AI要約の何が便利で、何が危険か——工程で分けて考える

「AIで論文を読むのは危険か」という問いは、粒度が粗すぎて答えられません。文献を読む作業は複数の工程——探す・選ぶ・要約する・中身を抜き出す・質を吟味する——に分かれ、AIの信頼性は工程ごとにまったく違うからです。

図1 文献ワークフロー5工程×AIの信頼性マップ

最も危険なのは「探す」をAIに任せることです。生成AIは言語の予測器であり、文献データベースではありません。「それらしい著者名・雑誌名・年号」を流暢に生成する能力と、実在する文献を正確に想起する能力は別物で、前者だけが高性能です。捏造された引用（幻覚）は形式が完璧なぶん、見た目では見抜けません。

対照的に、実在する文献をAIに渡して処理させる工程——渡した抄録の要約、渡した論文からのデータ抽出、渡したタイトル・抄録の選別——では、検証研究が軒並み高い精度を報告しています。入力に真実（実在の論文テキスト)が含まれていれば、AIはそれを歪めにくい。入力が空（「良い論文を挙げて」）だと、もっともらしい嘘で空白を埋める。「AIに文献を出させるな、文献をAIに入れろ」——本記事で繰り返し出てくる原則です。

もう一つの見落とされがちな危険は、AI以前からある問題の増幅です。抄録は論文の「宣伝文」であり、都合のよい結果が強調され、限界は省かれがちです。AI要約は多くの場合抄録のさらに要約ですから、原文からの距離が二段階に広がります。伝言ゲームの段数が増えるほど、最後に残るのは「効いた」という結論だけになり、対象者の条件も効果量も限界も削ぎ落とされていきます。だからこそ、AI要約は「読む論文を決めるための地図」にとどめ、実務を変える判断は原文で行う——この線引きが必要になります。

論文の選び方——選定基準の明示

本記事の6本は次の基準で選びました。①PubMed（E-utilities API）で書誌情報とアブストラクトを取得し、記事中の数値を原文と照合できた実在論文であること。②生成AI・大規模言語モデル（LLM）の文献業務への応用（検索・引用・要約・スクリーニング・データ抽出・質評価）を定量評価した研究であること。③2023〜2024年の直近研究に限定したこと。④「引用の捏造」「要約の精度」「選別」「抽出」「質評価」と工程ごとに論点が分散し、肯定的結果と否定的結果の両方を含むこと。⑤当サイト既刊の生成AI×症例報告の記事（Gao 2023・Bhattacharyya 2023・Tang 2023等）およびLLM×臨床推論の記事で扱った文献と重複しないこと。各論文には「研究の限界」を必ず1文添えます。

図2 エビデンス整理マップ——6論文と文献ワークフローの対応

エビデンスレビュー——実在論文6本を1本ずつ読む

論文1：Walters & Wilder 2023（Scientific Reports）——ChatGPTの引用、55%は実在しなかった

何を調べたか。 GPT-3.5とGPT-4に42の学際的テーマで短い文献レビューを書かせ、生成された84本のレビューに含まれる636件の引用文献を、データベースを引いて1件ずつ実在確認した研究です。

何が分かったか。 引用の捏造率はGPT-3.5で55%、GPT-4で18%。さらに、実在した引用に限っても、GPT-3.5の43%・GPT-4の24%に実質的な書誌エラー（巻号・ページ・年などの誤り）がありました。GPT-4はGPT-3.5より大幅に改善しているものの、「挙げられた文献の2割前後は存在しないか間違っている」水準です。

臨床でどう使うか。 「AIに文献を挙げさせてはいけない」の定量的根拠です。勉強会資料や院内研修で「AIが挙げた論文リスト」をそのまま使えば、確率的に架空文献が混入します。恐ろしいのは捏造引用の形式が完璧なことで、DOIやページ番号がついていても実在の証拠にはなりません。引用の実在確認は、タイトルでPubMed・Google Scholarを直接引く以外にない——これを機械的な習慣にしてください。

研究の限界。 評価されたのは2023年時点の特定モデルであり、検索機能を統合した最新のAIツールの捏造率をそのまま示すものではありません。

論文2：Chelli et al. 2024（Journal of Medical Internet Research）——システマティックレビューを再現させたら、有用な文献はほぼ拾えなかった

何を調べたか。 実際に出版された11本のシステマティックレビュー（肩腱板障害ほか）の選択基準をGPT-3.5・GPT-4・Bard（現Gemini）に与え、「このレビューに含まれるべき文献」を挙げさせ、元のレビューの引用文献（計471件を解析）を正解として精度と幻覚率を測った研究です。

何が分かったか。 正解文献を挙げられた精度（precision）はGPT-3.5で9.4%、GPT-4で13.4%、Bardは0%。幻覚率（タイトル・筆頭著者・年のうち2つ以上が誤り）はGPT-3.5で39.6%、GPT-4で28.6%、Bardは91.4%でした。著者らは「LLMをシステマティックレビューの主要・単独ツールにすべきでない」と明確に結論しています。

図3 引用の捏造率・幻覚率の実測（Walters 2023・Chelli 2024）

臨床でどう使うか。 論文1が「引用の実在」の問題なら、こちらは「網羅性」の問題です。仮に挙がった文献がすべて実在でも、あるべき文献の9割弱を取りこぼす検索は、エビデンスの全体像を系統的に歪めます。「このテーマの重要論文を挙げて」という、誰もが最初にやりたくなる使い方が、実は最も成績の悪い使い方である——文献検索はPubMed等のデータベースで行い、AIには検索語の候補や同義語の展開を手伝わせる、という分担が正解です。

研究の限界。 対象は整形外科領域中心の11レビューで、モデルも2023年時点のものであり、領域と時点を超えた一般化には追試が必要です。

論文3：Hake et al. 2024（Annals of Family Medicine）——渡した抄録の要約なら、精度92.5点

何を調べたか。 14誌の査読済み論文140本の抄録を渡してChatGPTに要約させ、医師らが質・正確性・バイアスを100点満点で評価した研究です。あわせて、論文と診療科の関連度判定もAIと医師で比較しました。

何が分かったか。 AI要約は元の抄録より70%短く（平均2,438字→739字）、それでいて質の中央値90点、正確性92.5点、バイアス0点と高評価でした。重大な誤りや幻覚は稀でした。一方、個別論文がどの診療科に重要かの判定は精度が落ちました（回帰の標準誤差22.3）。著者らは「生命に関わる判断は、論文全文の批判的な検討に基づくべき」と釘を刺しています。

臨床でどう使うか。 「探す」と「処理する」の非対称を、肯定側から示す研究です。実在する抄録を入力すれば、AIは高精度の圧縮装置として働きます。英語文献の一次スクリーニングを日本語の3行要約で行い、読む価値のある論文を素早く選ぶ——ここは安心して任せられる工程です。ただし「どれが自分の臨床に重要か」の判定は苦手なので、重要性のランク付けは自分で行うこと。要約は選別の道具で、判断の道具ではありません。

研究の限界。 評価対象は抄録の要約であり、方法や結果の詳細を含む論文全文を正確に要約できるかを検証したものではありません。

論文4：Guo et al. 2024（Journal of Medical Internet Research）——2万4千件のタイトル・抄録選別、人間の合意とκ=0.96

何を調べたか。 6本の臨床レビューの選択基準を自然言語でGPT-3.5/GPT-4のAPIに与え、24,000件超のタイトル・抄録のスクリーニング（含める/除外の判定）を行わせ、2名の人間レビュアーの判定を正解として比較した研究です。

何が分かったか。 精度は0.91。除外論文の検出感度は0.91、採用論文の感度は0.76でした。注目すべき比較として、人間レビュアー2名の間の一致はκ=0.46にとどまる一方、AIと人間の合意判定との一致（有病率調整κ）は0.96でした。AIは判定の理由も説明でき、誤りを指摘されると修正しました。

臨床でどう使うか。 「大量の文献から候補を絞る」単純作業はAIの得意分野であることを示す研究です。臨床家の文脈なら、検索でヒットした200本から読むべき20本を選ぶ一次選別を任せる使い方に相当します。ただし採用感度0.76は「本来読むべき論文の4本に1本を見落とす」ことを意味します。除外の判定は信頼しつつ、採用側の網羅性が重要な場面（ガイドライン作成・系統的レビュー）では人間の二重チェックを外せません。

研究の限界。 6レビューという限られた題材でのAPI検証であり、判定の性能は選択基準の書き方（プロンプト）に依存するため、異なる基準・領域での再現性は保証されません。

論文5：Gartlehner et al. 2024（Research Synthesis Methods）——論文PDFからのデータ抽出、正確性96.3%

何を調べたか。 システマティックレビューに含まれたRCT論文10本のPDFをLLM（Claude 2）に読み込ませ、対象者数・介入・アウトカム等16種類×10本＝160のデータ要素を抽出させて、人間の抽出結果と突き合わせた概念実証研究です。

何が分かったか。 全体の正確性は96.3%（再現1回目96.9%・2回目95.0%と再現性も高い）。エラーは160項目中6件で、最多はデータの見落とし（4件）でした。訓練データもプログラミングも不要（ゼロショット）で動いた点も強調されています。

臨床でどう使うか。 「論文の中身を表にする」作業——抄読会の一覧表、複数RCTの対象者・介入・結果の比較表——をAIに任せられる可能性を示します。重要なのは、これが論文全文を渡したうえでの抽出だということです。原文を入力せずに「あの研究のサンプルサイズは？」と聞くのは幻覚の入口ですが、PDFを渡して「PICOを表にして」は96%動く。ここでも原則は同じ——文献をAIに入れる。なお4%は間違えるので、数値を院内資料に転記する前の原文照合は残ります。

研究の限界。 英語のオープンアクセス論文10本という小規模な便宜的サンプルの概念実証であり、複雑な報告形式や図表内データでの性能は未検証です。

論文6：Lai et al. 2024（JAMA Network Open）——バイアスリスク評価は正答85〜90%、ただし苦手領域あり

何を調べたか。 出版済みシステマティックレビューから30本のRCTを選び、修正Cochrane基準によるバイアスリスク（RoB）評価を構造化プロンプトでChatGPTとClaudeに行わせ、専門家3名の評価を正解として正答率・一貫性・所要時間を測った研究です。

何が分かったか。 平均正答率はChatGPT 84.5%・Claude 89.5%。多くの領域で正答率80〜90%でしたが、ランダム化配列の生成・割付の隠蔽・その他のバイアスでは感度0.80未満、欠測データ・選択的報告などでF1スコア0.50未満と、領域によって成績が大きく落ちました。評価時間は1本あたり53〜77秒でした。

臨床でどう使うか。 批判的吟味の「下読み」としての使い方を裏づける研究です。RCTを読む前にAIのRoB評価を出させれば、1分で「この研究の弱点候補」の目星が得られ、原文のどこを注意して読むべきかが定まります。ただし苦手領域の存在は、AIの「問題なし」を信じてはいけないことを意味します。特に欠測・選択的報告の見逃しは、効果を過大評価する方向に働きます。AI評価は吟味の出発点であり、終着点にはなりません。

研究の限界。 30本のRCTに対する調査研究であり、専門家評価を正解とした一致率の検証であって、AI評価の使用が最終的なレビューの質や判断を改善するかは示されていません。

「AI要約→原文確認」の実務フロー——当サイトが記事制作で使っている型

ここからは実務です。以下は、当サイトがAI関連記事を制作するときに実際に回している手順をそのまま読者向けに書き直したものです。本記事自体もこの手順で作られています。原則は一つ——AIの出力は「仮説」、PubMedの原文だけが「事実」。

図4 AI要約→原文確認の5ステップ実務フロー

Step 1：検索はデータベースで、AIは検索語の設計に使う。 文献を探すのはPubMed・医中誌・Google Scholarの仕事です。AIには「脳卒中後の歩行練習のRCTを探したい。PubMedの検索語の候補を、同義語・MeSH語を含めて出して」と頼みます。これはChelliらが示した「AIに文献を出させる」失敗と正反対の、実証的にも安全な分担です。

Step 2：ヒットした抄録をAIに渡して一次選別・要約させる。 検索結果のタイトル・抄録をコピーしてAIに渡し、「この中で◯◯（自分の臨床疑問）に直接答えるものを選び、各3行で要約して」と指示します。渡したテキストの要約は精度92.5点の世界です（Hake 2024）。ここで読む候補を数本に絞ります。

Step 3：書誌の実在を機械的に確認する。 選んだ論文のタイトルでPubMedを直接検索し、著者・雑誌・年・巻号ページ・DOIを照合します。当サイトはこれをPubMedの公式API（E-utilities）で自動化していますが、手作業なら1本1分です。AIの出力に含まれる書誌情報は、この照合を通るまで「未確認」として扱います（Walters 2023：実在引用でも2〜4割に書誌エラー）。

Step 4：判断に使う数値は、必ず原文（抄録以上）で確認する。 AI要約の「有意に改善した」を、原文の数値——効果量・信頼区間・P値・脱落率——まで戻って確かめます。要約は抄録の要約であり、抄録は本文の宣伝です。実務を変える判断（プロトコル変更・患者説明・資料への引用）に使う数値だけは、二段の伝言ゲームを遡って一次情報に触れてください。

Step 5：吟味の下読みをAIに出させ、自分の批判的吟味で仕上げる。 全文PDFを渡して「Cochrane基準でバイアスリスクを評価して」と頼めば、1分で弱点候補リストが返ります（Lai 2024：正答85〜90%）。ただし苦手領域（欠測・選択的報告）があるため、AIが「低リスク」とした項目も次節のチェックリストで自分の目を通します。

このフローの本質は、AIを排除することではなく、AIの速さと人間の検証を直列につなぐことです。体感では、従来の3分の1の時間で、従来より多くの文献に、同じ厳密さで触れられます。時間が浮く分、最重要の1〜2本を全文精読する余裕が生まれる——これがAI時代の論文の読み方の実利です。

批判的吟味のチェックリスト——AI要約を受け取ったら7つ確かめる

AI要約・AI回答を文献情報として受け取ったとき、原文確認の前後で確かめるべき7項目です。

図5 AI文献情報の批判的吟味チェックリスト7項目

①実在：その論文はPubMed等で直接引いて出てくるか（形式の完璧さは実在の証拠ではない）。②書誌：著者・年・雑誌・巻号ページは原文と一致するか。③研究デザイン：要約が「RCT」と言うそれは本当にRCTか（観察研究の「改善した」とRCTの「改善した」は重みが違う）。④数値：効果の大きさは原文の数値と一致するか。「有意」だけで効果量が書かれていない要約は要注意。⑤対象者：その研究の対象は自分の患者と重なるか（急性期の結果を生活期に外挿していないか）。⑥限界：原文の限界セクションにある注意が、要約で消えていないか（要約で最初に削られるのはここです）。⑦出所の分離：その主張は論文由来か、AIの一般知識由来か（AIは両者を混ぜて話します。「この文献のどこにその記述がありますか」と問い返すと分離できます）。

7項目すべてを毎回やる必要はありません。実務の目安は、読み流す情報は①②だけ、勉強会で共有する情報は①〜④、実務を変える情報は①〜⑦。判断の重さに応じて検証の深さを変える——これはLLM×臨床推論の記事で述べた「LLMには診断でなく監査をさせる」原則の、文献版です。

限界と注意点——この知見で「言えないこと」

  • 本記事の数値は特定時点・特定モデルの成績です。 生成AIの性能とツール構成（検索統合の有無など）は急速に変わっており、数値は「桁感」として使い、手元のツールの性能を保証するものではありません。
  • 「AI要約を使うと臨床判断や患者アウトカムが良くなる」を示した研究はありません。 検証されたのは要約・選別・抽出・評価の精度であり、読み手の理解や判断の質への効果は未検証です。
  • リハビリテーション領域に特化した検証はまだ乏しい状態です。 本記事の6本は医学一般・整形外科・家庭医療の文献業務での検証で、理学療法・作業療法の文献での再現データは限られます。
  • 高精度の工程にも系統的な弱点が残ります。 スクリーニングは採用側の見落とし（感度0.76）、データ抽出は欠落型のエラー、RoB評価は欠測・選択的報告の領域が弱い——いずれも「見落とす方向」の誤りで、AIの沈黙は安全を意味しません。
  • 抄録ベースの検証が中心です。 全文の複雑な内容（サブグループ・図表・プロトコル逸脱）の要約精度は、抄録要約の高成績から外挿できません。
  • 著作権・利用規約の制約は別途あります。 論文PDFをAIに入力することは、出版社の利用規約や所属機関の規程に触れる場合があります。組織のルール整備については生成AI×症例報告の記事も参照してください。

まとめと「明日からの3ステップ」

図6 まとめ：AI時代の論文の読み方4か条

要点を4つに圧縮します。第1に、AIに文献を「探させる」のは危険なままです——引用の捏造はGPT-3.5で55%・GPT-4で18%（Walters 2023）、システマティックレビューの再現では必要文献の9割弱を取りこぼしました（Chelli 2024）。第2に、実在の文献を「渡して処理させる」工程は実用水準です——抄録要約は正確性92.5点（Hake 2024）、2万4千件の選別は人間合意とκ=0.96（Guo 2024）、データ抽出は96.3%（Gartlehner 2024）、バイアスリスク評価は85〜90%（Lai 2024）。第3に、だから原則は「AIに文献を出させるな、文献をAIに入れろ」。第4に、高精度の工程にも見落とし型の弱点が残るため、書誌の実在確認と、判断に使う数値の原文照合だけは人間の仕事として残ります。

明日からの3ステップを提案します。

  1. 「実在確認の1分」を習慣にする。 次にAIから論文情報を受け取ったら、内容を読む前にタイトルでPubMedを直接検索してください。出てこなければその情報は破棄。これだけで捏造引用の被害はゼロになります。
  2. 次の抄読会で「渡して要約」を試す。 検索でヒットした英語抄録を10本AIに渡し、「臨床疑問◯◯への関連が高い順に並べ、各3行で要約」と指示してみてください。安全な工程でAIの実力を体感するのが、適切な信頼水準を作る最短路です。
  3. 実務を変える数値を1つ、原文まで遡る。 今週、AI経由または人づてに知った「エビデンス」を1つ選び、原文の効果量・信頼区間・対象者まで確認してください。要約と原文の距離を一度体験しておくと、以後の読み方が変わります。

よくある質問

AIが要約した論文の内容は、どのくらい信頼してよいのですか

「どこから来た要約か」で分けてください。実在の抄録・全文を渡して作らせた要約なら、検証研究では質・正確性ともに高評価です（正確性中央値92.5点、重大な誤りは稀——Hake 2024）。一方、文献名も本文も渡さずにAIの記憶から出てきた「要約」は、そもそも元の論文が実在しない可能性があり（GPT-4でも引用の18%が捏造——Walters 2023）、信頼性を論じる以前の問題です。また高評価の要約でも、限界の記述が削られ、効果が単純化される圧縮は避けられません。読む論文を選ぶ道具として使い、実務を変える判断は原文の数値で行ってください。

英語論文を読むのが遅いのですが、AI翻訳・AI要約に頼るのは甘えでしょうか

甘えではなく、合理的な分業です。検証研究が示すとおり、渡されたテキストの要約・圧縮はAIの最も得意な工程で、ここを人力で頑張ることに臨床的な価値はありません。浮いた時間で、最重要の1本を——AIの逐語翻訳も併用しながら——全文精読するほうが、10本を斜め読みするより力になります。注意点は2つ。専門用語の訳語ゆれ（例：subluxationの訳し分け）は文脈確認が必要なこと。そして翻訳・要約を経ても、批判的吟味——対象者・デザイン・効果量・限界の確認——は省略できないことです。読む速さの問題と、読む深さの問題を分けて考えてください。

勉強会の資料にAI要約をそのまま載せてもよいですか

2つの条件を満たすなら実用的です。第1に、書誌の実在と一致を確認済みであること（本文の7項目チェックの①②）。第2に、資料に載せる数値・結論は原文と照合済みであること（③④）。逆に、確認前のAI出力をそのまま載せるのは、確率的に架空文献や数値エラーを配布する行為になります。また、AIを使って作成した資料であることを一言添えるのが誠実です。学会発表や論文投稿になると、生成AI利用の開示ルールが投稿規程で明示的に定められているため、生成AIと症例報告・学会抄録の記事で述べた規程確認のプロセスが必要になります。

有料のAI文献検索ツール（検索機能つきAI）なら、捏造の心配はありませんか

軽減されますが、ゼロにはなりません。検索機能を統合したツールは実在文献を取得してから要約する設計のため、古典的な「引用の丸ごと捏造」は起こりにくくなります。ただし、取得した論文の内容を取り違える・複数論文を混ぜる・関連の低い文献を自信満々に提示する、といった誤りは残ります。また本記事の研究群が示した網羅性の問題——あるべき文献の取りこぼし——は、検索統合でも解決が保証されません。ツールが何であれ、「書誌を直接照合する」「判断に使う数値は原文で確認する」という2つの習慣は変わらず必要です。ツールの進化は検証の省略を許す理由ではなく、検証の手間を減らしてくれる補助です。

出典（すべてPubMed E-utilities APIで書誌・抄録を取得し数値を照合済み）

  1. Walters WH, Wilder EI. Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports. 2023;13(1):14045. DOI: 10.1038/s41598-023-41032-5（PubMed: 37679503）
  2. Chelli M, Descamps J, Lavoué V, et al. Hallucination Rates and Reference Accuracy of ChatGPT and Bard for Systematic Reviews: Comparative Analysis. Journal of Medical Internet Research. 2024;26:e53164. DOI: 10.2196/53164（PubMed: 38776130）
  3. Hake J, Crowley M, Coy A, et al. Quality, Accuracy, and Bias in ChatGPT-Based Summarization of Medical Abstracts. Annals of Family Medicine. 2024;22(2):113-120. DOI: 10.1370/afm.3075（PubMed: 38527823）
  4. Guo E, Gupta M, Deng J, et al. Automated Paper Screening for Clinical Reviews Using Large Language Models: Data Analysis Study. Journal of Medical Internet Research. 2024;26:e48996. DOI: 10.2196/48996（PubMed: 38214966）
  5. Gartlehner G, Kahwati L, Hilscher R, et al. Data extraction for evidence synthesis using a large language model: A proof-of-concept study. Research Synthesis Methods. 2024;15(4):576-589. DOI: 10.1002/jrsm.1710（PubMed: 38432227）
  6. Lai H, Ge L, Sun M, et al. Assessing the Risk of Bias in Randomized Clinical Trials With Large Language Models. JAMA Network Open. 2024;7(5):e2412687. DOI: 10.1001/jamanetworkopen.2024.12687（PubMed: 38776081）

※本記事は医療従事者向けの教育・情報提供を目的としたもので、特定のAIツール・サービスの性能や安全性を保証するものではありません。生成AIの文献業務への利用は、各施設の規程、出版社・データベースの利用規約、個人情報保護の要件、各臨床家の検証と判断のもとで行ってください。