EARLの医学ノート

【AI】多数のアップロードした文書に特化したAIチャットアプリ「NotebookLM」の強みと弱点

多数のアップロードした文書に特化したAIチャットアプリ「NotebookLM」の強みと弱点■Googleから新たなAIツール「NotebookLM」が試験的に無料公開された．NotebookLM自体は2023年の開発者向けカンファレンスGoogle I/O 2024の基調講演で発表されたサービスで，2023年12月8日から米国アカウントのみで使用可能となり，開発者や企業がGoogle AI StudioやGoogle Cloud Vertex AIのAPIを通してGemini-1.0Proを搭載したNotebookLMが利用できた．今回はそれが大幅アップデートされ，かつ世界200か国で公開され，SNSでもかなり話題となっている．

1．NotebookLMとは何か？

■NotebookLMは作家のSteven Johnson氏とのパートナーシップで設計されたもので，ユーザーがパソコン，Google Drive，Googleスライド，ウェブサイト，あるいはテキストの直接入力から複数のドキュメントを1つのデジタルノートスペースにアップロードし，Google最新のAIであるGemini-1.5Proを通して会話し，アップロードしたドキュメントを使用して回答できるような質問をすることができるように設計されている．

■これはプライベートRAG（Retrive-Augumented Generation）と呼ばれる機能で，入力されたクエリに関連する情報を大規模なデータベースから検索し，その情報を利用して回答を生成する手法である．NotebookLMは，ユーザーのアップロードしたローカル資料を基盤として言語モデルを構築することで，個々のニーズに最適化されたインサイトを提供する．このソースグランディングによって，AIが提供する情報の信頼性と関連性が高まる．通常のLLMモデルとは異なり，NotebookLMは入力データに書かれていないことには回答を拒否する場合があるため，事実と異なる情報を生成するリスクが低い．■例えば，医学研究者がNotebookLMに複数の論文をアップロードし，特定のトピックに関する質問をすると，NotebookLMはアップロードされた論文の内容に基づいて正確な回答を生成することができる．特定の疾患についてのレビュー論文やガイドラインなどを複数アップロードすれば，その疾患について非常に詳しいボットを作成することができる．

■Gemini-1.5Proは，2024年2月8日にリリースされ，4月9日にはAPI開放，5月15日にはWeb版とGoogleアプリでGemini Advancedとして使用可能になったGoogleが誇る最新AIである．その強みはやはり，その膨大な処理能力にある．機械学習の向上によりコンテキストウィンドウで最大100万トークンもの膨大な情報を処理可能になっている．GPT-4oが12万8000トークンであることを考えると，Gemini-1.5Proは圧倒的な処理量で，これはハリーポッターの全書籍の8割の量に相当する．これによりこれまでよりも複雑な問題を解決できるようになり，情報の探索と分析の時間が節約され，生産性の向上が期待されている．NotebookLMに数十のソースをアップロードしてのプライベートRAGは他のAIにはなかなか真似できないだろう．

2．NotebookLMの機能

■ここでは，NotebookLMの機能について述べる．

（1）アップロードできるファイルの種類と数
■Notebookにアップロードできるファイルは以下の通りである．

・Googleドキュメント（Googleドライブから）
・Googleスライド（Googleドライブから）
・PDFファイル（.pdf）
・テキストファイル（.txt）
・コピペで直接入力したテキスト
・ウェブサイトURL

■アップロードファイルについての制限・応用は以下の通りである．

・アップロードできるファイル内容の上限は50万語まで．
・アップロードできるファイル数の上限は49（公開情報では50だが実際には49個までしかアップロードできない）．・基本的には文書がメインだが，Googleスライドに限って言えば画像や表も可能．・ウェブサイトURLについては，そのウェブサイトがアップロード後に更新されても反映はされない．・NotionのURLでも内容を読み込むことが可能で，この場合は公開設定にした上でネット検索を可能にする必要がある．ただし，読み込みはあまりうまくいかない．・Excelファイル（あるいはCSVファイル）そのものは読み込めないが，PDFファイルもしくはJSON形式に変換した上での.txtファイルにすると読み込める．PDFファイル化する場合は，セル内改行を施しておく必要がある．

（2）質問する
■チャットボックスに質問や指示を書くことで，アップロードしたソースをもとにGemjni-1.5Proが回答する．言語は日本語でもよく，回答はあくまでソース情報のみしか生成しない（Gemini-1.5Proがもつ知識は適用されない）．質問の際に使用するソースのファイルは選択が可能である（チェックボックスのon/off切り替え）．なお，チャット内容は自動的には保存されないため，回答を保存したい場合は次に説明するメモ機能を使用する．

■ほとんどの場合，AIの回答にはソースからの引用番号がつく．引用は直接引用であるため，引用の文章を確認することで，回答の正確性を確認したり，元の引用を見つけることができる．（3）メモを使う
■NotebookLMにはメモ機能がついており，いくつかの使い方がある．
- メモにAIからの回答を保存する：回答を保存したい場合は，回答ボックスの右上にあるピンマークをクリックすると保存できる．保存された回答ノートは編集は不可である．
- ソースの1つから引用または要約を保存する：アップロードしたソースを読みながら，保存するテキストを選択し，メモに追加またはメモに要約を選択して新しいメモを作成できる．これらの保存されたメモは編集は不可である．
- 既存のメモを使用して新しいメモを作成する：メモを選択し，提案されたアクションの1つを選択して，その内容に基づいて新しいメモを作成する．たとえば，すべてのメモを選択し，学習ガイドの作成を選択するなどが可能．
- 新しいメモを書く：メモセクション（質問入力部位の左にある「チャットを閉じる」をクリック）の左上にある「メモを追加」をクリックすると，新規にメモを作成できる．

■作成したメモの右上にある□のチェックボックスをクリックすると，下のチャットモードが起動し，メモ内容からAIへの質問・指示が可能である．■1つのノートブックには最大1000件のノートを作成できる．

（4）ノートブックの共有

■各ノートブックの右上に共有ボタンがあり，これをクリックすると別のユーザーのメールアドレス（自分のアカウントと同じドメインのみ）を追加することで共有ができる．追加されたユーザーのアクセス権に関しては閲覧者か編集者のいずれかを指定できる．
- 閲覧者：共有ノートブック内のソースとメモの読み取り専用のアクセス権を有する．
- 編集者：共有ノートブック内のソースとメモを表示，追加，削除したり，他のユーザーとさらに共有することができる．

■共有できる個人ユーザー数は最大で50人であるが，Googleグループとは共有は不可．企業アカウントでは，ノートブックを共有できるユーザー数に制限はない．

（5）ノートブックガイド
■プロンプト入力欄の右に「ノートブックガイド」というものがあり，ここをクリックすると以下の5つから選択してメモが自動作成される．

- よくある質問：FAQを自動作成
- 学習ガイド：ソース内容から問題を自動的に出題することができる
- 目次：ソースから目次を自動生成する
- タイムライン：ソース内の時系列や登場人物についての情報を自動作成する
- ブリーフィング・ドキュメント：ソース内容の概要を自動的に作成する

3．NotebookLMの弱点

■SNSではNotebookLMを賞賛する投稿であふれているが，当然ながら弱点がある．

（1）言語の壁
■NotebookLMに搭載されているAIモデルであるGemini-1.5Proは日本語能力にかなり優れており，ChatBot Arenaでも他のモデルをおさえてトップだったことが話題になっている．しかしながら，ことNotebookLMにおいては，ソースとしてアップロードした文書が英語であった場合，日本語で質問した時の精度がやや落ちているようである．質問の日本語を英語に変換した上でソースから検索するというワンステップ多い過程となるため，ここがボトルネックになっているようである．

（2）連続した会話が成立しにくい
■通常のAIチャットボットは，文書の内容だけでなく，ユーザーと繰り返す対話の文脈も考慮して回答を生成する．NotebookLMの場合は，あくまでアップロードされた文書の内容のみに基づいて回答が生成されるため，文脈を考慮した柔軟な対話が難しい．

（3）通常のGemini-1.5Proとの会話と比べて柔軟性や応用性が損なわれている
■NotebookLMではソースからの情報に特化し，それ以外の情報（元々AIが有している知識等）は出力しない仕様となっているため，柔軟な対応や応用性が損なわれている．このため，思っていた回答がなされなかったり回答を拒否されることもある．大量の文書の処理や正確性を求めるならNotebookLMがいいが，もし柔軟性や応用性を求めるならば，通常のGemini-1.5Proやその他大規模言語モデルのAIチャットボットにアップロードして質問・指示した方がいいだろう．

（4）機能性が会話に限定される
■ファイルをアップロードしてのカスタマイズしたプライベートRAGとしてのAIチャットボットにはGPTsやPoeの自己作成ボット，Cozeアプリなどがあり，これらはbotを呼び出したり，解析やウェブアクセス等の他の機能も同時に使用できる．NotebookLMは会話機能以外が一切できない仕様であり，こういった機能性を有していない．

■このため，使い勝手を知るならば，GPTs，Poe，Cozeなどを触った上でソース内容とその使用目的でNotebookLMと使い分けをした方がいいだろう．GPTs作成は有料であるが，Poeボット（一部有料のモデルもあり），Cozeは無料で使用できる．

（5）プロンプトの工夫があまり通用しない可能性
■NotebookLMは見ての通りチャットのプロンプト入力部分が非常に狭い上に改行もできない．改行したプロンプトをコピペして実行してもチャット上には反映されていない．長く複雑なプロンプトを想定したつくりにはなっていないのかもしれない．

（6）スマートフォンからは扱いづらい
■スマートフォンでもNotebooLMの使用はできるが，表示があまりよくなく，ソースをアップロードする際のエラーもでやすい．

（7）チャット履歴が自動で保存されない
■前述の通り，チャット履歴は自動では保存されず，メモに移す必要がある．

（7）メモ保存で表形式が崩れる
■チャットでは表形式で出力させることも可能だが，これをメモに保存した場合，表形式が崩れてしまう．

（8）APIがない
■NotebookLMには利用できるAPIがない．このため，外部からNotebookLMの情報をリクエストすることはできない．

【AI】出版プラットフォーム「Perplexity Pages」で簡単にソース付き情報ページ作成

■元GoogleのAIチームのメンバーが立ち上げたAI検索のPerplexityは，その検索機能のみならず，マルチ機能も有し，GPT-4やClaude-3など他のAIの大規模言語モデルとの連携も可能であることからこの1年で非常に人気が高まった．

■そのPerplexityが，今度は「Perplexity Pages」というサービスを開始した．このサービスは，いわゆる出版プラットフォームで，タイトルを入力するだけでそれに応じた情報をPerplexityが検索し，AIによってソース付きで文章化し，画像もつけるなど視覚的にも見映えがするコンテンツを瞬時に作成することができる．現時点で利用できるのはPerplexity Proに登録している有料会員（$20/月のサブスクリプション）のみである．Google検索などで上位にきやすいという声もあり，SEO（Search Engine Optimization）対策としても重要なサービスかもしれない．

■Perplexity Pagesの使い方について，筆者自身が「Perplexity Pages入門ガイド」というPageを作成したので，そちらを参照されたい．

Perplexity Pages入門ガイド
https://www.perplexity.ai/page/Perplexity-Pages-ahVXIkl0RhGdSNprsz.m7w

【AI/無料で使用可能】論文/学会の抄録作成自動化・書き方学習GPT（Abstract Creator and Teacher GPT）

■論文や学会のタイトル・抄録（Abstract）は，その研究の顔ともいえる重要な部分であるが，これをうまくまとめるには，基本ルールの習得と慣れが必要である．今回，NEJM（the New England Journal of Medicine）風の抄録を作成できる，もしくは抄録の作成方法を学べるGPTs「Abstract Creator and Teacher GPT」を筆者が作成したので公開する．このGPTsは，URLベースで公開しているため，ChatGPT無料ユーザーでも使用可能である．

Abstract Creator and Teacher GPT
https://chatgpt.com/g/g-Gu7NbTqjw-abstract-creator-and-teacher-gpt

1．NEJM誌の抄録はなぜ評価されるのか？

■このGPTではベースの抄録の書き方をNEJM風にしている．論文・研究内容を抄録にまとめる上で非常に参考になるのはNEJMである．余計なことは書かない簡潔性と，必要な情報はしっかりと盛り込む情報量のバランスが非常によくとれており，読みやすいことでも有名である．

（1）明確さと簡潔さ
■NEJMの抄録は非常に明確で簡潔である．研究の目的，方法，結果，結論が明瞭に述べられており，読者が短時間で重要な情報を把握できるようになっている．また，NEJMは医学において特定の領域の雑誌ではないため，幅広い領域の査読者・読者が閲覧するため，誰でも分かりやすい書き方となっている．

（2）厳密な標準化
■NEJMの抄録は厳密に標準化されており，各セクションで含めるべき情報が明確に定義している．これにより，抄録の質と一貫性が保たれている．

（3）統計的詳細の提供
■NEJMの抄録は，主要な結果に対する具体的な統計的な指標（例：相対リスク，信頼区間，P値）を必ず明示的に示すしている．これにより，読者は結果の信頼性や重要性をすぐに評価できる．

（4）クリアな結論
■NEJMの抄録は，結論部分が明確で強調されており，副次評価項目がどうだった，研究者の思いなど余計なことは書かれていない．これにより，読者は研究の主要な貢献や意義をすぐに把握できる．

（5）エディトリアルサポート
■NEJMは執筆者に対して強力なエディトリアルサポートを提供しており，抄録の内容や表現を洗練するための支援を行っていて，これにより論文全体の質が高まっている．

2．Abstract Creator and Teacher GPTの機能

■本GPTsは，研究・論文内容をアップロードもしくはプロンプトに入力し，タイトル・抄録作成を指示するとタイトルと抄録が作成される他，タイトルと抄録の作成方法のレクチャーを受けることもできる．

（1）タイトル作成
■本GPTでは，過去のガイドライン等をふまえて，論文・研究内容から，論文内の重要ポイントを前面にだしたタイトル構成になるように指示している．

（2）抄録作成
■本GPTはNEJMの抄録の特性と抄録作成の基本ルールに則った抄録作成をベースとするが，勿論，研究デザイン，構成，文字数をプロンプトで指示することでカスタマイズすることも可能である．文字数制限に関してはCode Interpreter（Advanced Data Analysis）で確認するよう指示しているため，単なるプロンプト指示よりも正確である．

（3）タイトル・抄録の書き方のレクチャー
■いくらGPTsが抄録を作成してくれると言っても，自分の研究であり，その重要ポイントがどこなのか，何を伝えたいのか，などは本人でなければ分かりにくい．もっとも，ChatGPT自体は内容圧縮が得意でも，重要ポイントを選定するタスクはそこまで得意ではない（Claude-3の方が得意）．やはりAIが作成するものは参考程度にすべきで，最終的には自分でタイトルと抄録を書くべきである．

■タイトル・抄録の書き方・考え方については，ChatGPT自体がレクチャーもできるが，本GPTでは，学会・論文でのタイトル・抄録作成のためのガイドラインや抄録作成を効果的に学生にレクチャーする方法の論文などを3本アップロードしており，それらもChatGPTが参照した上でのレクチャーを受けることができる．

3．本GPT作成の特徴

■このGPTsの精度も知ってもらう上で，作成方法についても言及しておく．このGPTsでは，指示（Intsructions）と知識（Knowledge）を作成する上で，以下のような精度を高めるための工夫を施している．

（1）指示（Instructions）の工夫
■本GPTsの特徴は，単に指示（Instructions）に文章を入れただけというわけではない．GPTsを作成する上で，「より指示を理解して正確に回答を出力する」ための工夫を施している．具体的には，2024年5月25日にOpenAIから公開された「カスタムGPTの指示書を作成するための重要なガイドライン」を遵守し，また，GPTが理解しやすいようにYAML形式でInstructionsを構成している．

カスタムGPTの指示書を作成するための重要なガイドライン
2024年5月25日 OpenAI
https://help.openai.com/en/articles/9358033-key-guidelines-for-writing-instructions-for-custom-gpts

（2）知識（Knowledge）の工夫
■知識（Knowledge）には，学会・論文でのタイトル/抄録作成のためのガイドライン等を3つアップロードしており，ChatGPTがそれらを参照して回答できるようになっている．ただし，ガイドラインをそのままpdfファイルでアップロードした場合，テキスト抽出過程が入るため，情報の解析に時間がかかってしまう．このため，pdfファイルから重要な部分をClaude-3でまとめ，それらをテキストファイルでYAML形式にしてアップロードしている．このやり方の方が階層構造をもつガイドラインを整理しやすく，プログラムやスクリプトによる解析が容易で，GPTsが読み取りやすい．また，内容がまとめられているため，ガイドライン原本よりも情報量が圧縮されているぶんより早く情報を取得できる．

【AI】GPT「PubMed Searcher」のアップデートVer.1.1

PubMed Searcher Ver.1.1バージョンアップ内容
・回答精度をあげるための指示の修正
・論文リストから目的に合った論文に緩く絞り込むスクリーニングプロンプト追加
・Elinkエンドポイントの追加による指示・アクションスキーマの変更（関連論文，引用論文，被引用論文の取得）

■2024年5月18日にPubMedの網羅的検索をChatGPTのユーザーインターフェース上で行えるGPTの作成方法を考案し，公開した．今回はそのアップデートである．

【AI】ChatGPTとAPIを使って網羅的なPubMed検索できるGPT「PubMed Searcher」
EARLの医学ノート
https://drmagician.exblog.jp/31031028/

■私が行ったのはGPTの提供ではなく，雛型の提供であり，各自でGPTを作成するぶん，自分で指示やアクションをカスタマイズできる．今回はその私なりのカスタマイズであるマイナーアップデート（Ver.1.1）で，あくまでも「網羅的検索」を想定しているもので，検索結果をむしろ絞りたい方は絞る指示に変えるとよい．

今回のアップデートの変更点

■実際に使用してみた方は分かるかもしれないが，GPTは確率的な動作を行う仕様の関係上，どうしても指示通りの回答出力にならないこともある．例えば，検索式が網羅的ではない，検索式に日本語が混じってしまう，ANDとORの使い方を間違う，検索結果が4件以上なら全論文をExcelファイルにまとめる指示なのに最初の20件しかまとめない，ESummeryを使う指示の場面でEfetchを使う，Excelにまとめるべきところで論文リストを回答に羅列する，などが挙げられる．これらの適切でない回答出力を減らすため，GPTの指示を改訂した．

（1）temperatureの指示
■全体を通して回答出力のtemperatureを低めにするよう指示している．これは，GPT自体にtemperatureというパラメーターがあり，このパラメーター値が低いほどブレのない回答になり，高いほど独創性が高い回答となる．ChatGPTやGPTsではこのパラメーターの設定はできない仕様であるが，ChatGPTにパラメーター指示を与えると，そのパラメーター値を模倣する性質をもっている．PubMed Searcherでは独創性は不要で，指示への忠実さが必要となるため，低くするよう指示した．

（2）検索式作成
■検索式を作成する際に日本語が混じることがあったため，日本語を含まないよう指示した．また，薬剤名に関しては，同クラスの一般名，薬理学名や化学名等をすべて含めることとした（例えば，Clinical Questionにステロイドがあっても，グルココルチコイドやプレドニゾロンといった名称が検索式に含まれないことがあった）．また，AND，OR，()を適切に使用できていないことがよくあったため，明記した．

（3）検索結果の表示方法選択提示
■GPTが検索（ESearch）を行い，「〇件がヒットしました．」という回答の後に，これまではそのままESummaryでの詳細情報取得に移っていたが，この際に，「4件以上ある場合は表示せずExcelファイルにまとめる」が守られずに表示されていったり，「ヒットした論文をすべてExcelファイルにまとめる」が守られず10件または20件しかファイル化されない，ということも起こっているため，段階を踏んで指示遵守率を上げるため，一旦ESearchによる検索結果でのヒット数を提示し，その後の論文リスト提示方法（ChatGPT上で表示するか，Excelファイル化するか）をユーザーが選択できるようにした．

（4）関連論文，引用論文，被引用論文の取得
■新たにアクションのスキーマにおいて，ELinkのエンドポイントを追加し，特定の論文の関連論文，引用論文，被引用論文の情報も入手できるようにした（同時に指示も追加）．ただし，PubMed掲載がかなり新しいものについてはこれらの情報は入手できないことに注意が必要である．

（5）目的に応じた論文リストのスクリーニングプロンプト
■試作段階のものであるが，論文リスト（Excelファイル）を，PICOなどに合致する論文に絞り込むスクリーニングを行うためのコードをプロンプトに追加した．論文リストを提示した上で，タイトルスクリーニングまたはアブストラクトスクリーニングを指示すれば動く．もともとGPTは「選択」というタスクが苦手なため，スクリーニングによる絞り込みはあまり得意ではないが，目的の論文がはじかれないようなプロンプトにしているため，絞り込みとしてはだいぶ緩めである．

■改訂したGPT指示（Instructions）は以下の通りである．GPTの指示の部分にコピペでOK．

This GPT will assist the user in retrieving literature information from PubMed.
It should be able to search PubMed using a specific query provided by the user and return relevant article information GPT should leverage NCBI account details and API keys to access PubMed data.

temperature:
 Keep the temperature parameter low when outputting responses.

response_to_clinical_question:
 steps:
  - Extract as many all relevant terms (synonym or quasi-synonym) as possible from the Clinical Question provided by the user according to the following rules.
    - Terms to be included in the search formula should not be in Japanese.
    - When the pharmacological or chemical class name of a drug is specified, include the pharmacological, chemical, or generic name of the drug.
  - Create your search query according to the following rules.
    - Enclose terms in double quotation marks.
    - Use "AND", "OR", "()" operators for tech theory.
      For example, in a search formula to find studies of drug X for septic DIC in adults, for the part corresponding to Participants, instead of (“adults” OR “sepsis” OR “DIC”), use ((“term 1 for adults” OR “term 2 for adults” OR...) AND (“term 1 for sepsis” OR “term 2 for sepsis” OR...) AND (“term 1 for DIC” OR “term 2 for DIC” OR...) (OR...) AND (“term 1 for DIC” OR “term 2 for DIC” OR...))
  - Ensure the search query is highly sensitive but not highly specific.
  - Ask the user for confirmation before performing the search.

search_results:
 - Indicate the number of search results and ask the user if he/she would like to compile the list of papers into an Excel file or output them in a table in the GPT response before proceeding to the next ESummary step.
 - At this point you should not output detailed paper information without permission.

esummary_step:
 - Obtain article information with ESummary.
 - If the user wishes to view the results on ChatGPT, a table with the PMID, article title of all results will be presented.
 - If the user wishes to compile all results into an Excel file, do not display article details in the response.

excel_file:
 - Include all articles in the Excel file without setting a limit on the number of articles.
 columns:
 - PMID
 - URL: Create a hyperlink to the article's PubMed page in the format https://pubmed.ncbi.nlm.nih.gov/PMID/
 - Title

upload:
 steps:
  - Verify that the number of articles in the file matches the number of search results.
  - Ensure each article includes all required information.
  - Redo the process if any information is missing.

efetch:
 usage: Use EFetch only when you need information on abstracts, authors or doi.

elink:
 usage: Use ELink and ESummery when you need information of similar papers, referenced papers or cited reference papers.

title_or_abstract_screening:
 If you are instructed to screen a list of papers, the following algorithm is used.
 import pandas as pd
 # Read the input file
 input_file = "path_to_input_excel_file.xlsx"
 df = pd.read_excel(input_file)
 # Extraction criteria (example with specified P, I, S)
 P = "specified Population"
 I = "specified Intervention"
 S = "RCT" # Change if a different Study Design is specified
 # Exclusion criteria (if S is RCT)
 exclude_terms = ["retrospective", "cohort study", "review", "meta analysis", "cross sectional", "observational study"]
 # Paper extraction function
 def extract_relevant_papers(df, P, I, S=None):
   extracted_df = df[df['Paper Title'].str.contains(P, case=False) & df['Paper Title'].str.contains(I, case=False)]
  if S:
   if S == "RCT":
    for term in exclude_terms:
      extracted_df = extracted_df[~extracted_df['Paper Title'].str.contains(term, case=False)]
   else:
     extracted_df = extracted_df[extracted_df['Paper Title'].str.contains(S, case=False)]
  return extracted_df
 extracted_df = extract_relevant_papers(df, P, I, S)
 # Save the output file
 output_file = "path_to_output_excel_file.xlsx"
 extracted_df.to_excel(output_file, index=False)
 print(f"The extracted list of papers has been saved to {output_file}.")

■追加改訂したアクションのスキーマは以下の通りである．「新しいアクション」ではなく，作成済みの「eutils.ncbi.nlm.nih.gov」を選択し，既に入力済みのスキーマの下に以下をコピペでOK．なお，「Your NCBI API key」と赤字で書かれた部分はAPIキーに置き換える．

/elink.fcgi/similar:
 get:
  operationId: fetchSimilarArticles
  summary: Fetches similar articles for a specified UID.
  parameters:
    - name: dbfrom
      in: query
      required: true
      schema:
        type: string
        example: pubmed
      description: The originating database (e.g., pubmed).
    - name: db
      in: query
      required: true
      schema:
        type: string
        example: pubmed
      description: The database to link to (e.g., pubmed).
    - name: id
      in: query
      required: true
      schema:
        type: string
      description: A comma-separated list of UIDs of the articles.
    - name: cmd
      in: query
      required: true
      schema:
        type: string
        example: neighbor
      description: Command to run (e.g., neighbor).
    - name: api_key
      in: query
      required: true
      schema:
        type: string
      description: Your NCBI API key.
  responses:
    '200':
      description: Similar articles information
      content:
        application/json:
          schema:
            type: object
            properties:
              linksets:
                type: array
                items:
                  type: object
                  properties:
                    dbfrom:
                      type: string
                    linksetdbs:
                      type: array
                      items:
                        type: object
                        properties:
                          dbto:
                            type: string
                          linkname:
                            type: string
                          links:
                            type: array
                            items:
                              type: string
/elink.fcgi/references:
 get:
  operationId: fetchReferences
  summary: Fetches references for a specified UID.
  parameters:
    - name: dbfrom
      in: query
      required: true
      schema:
        type: string
        example: pubmed
      description: The originating database (e.g., pubmed).
    - name: linkname
      in: query
      required: true
      schema:
        type: string
        example: pubmed_pubmed_refs
      description: The name of the link (e.g., pubmed_pubmed_refs).
    - name: id
      in: query
      required: true
      schema:
        type: string
      description: A comma-separated list of UIDs of the articles.
    - name: api_key
      in: query
      required: true
      schema:
        type: string
      description: Your NCBI API key.
  responses:
    '200':
      description: References information
      content:
        application/json:
          schema:
            type: object
            properties:
              linksets:
                type: array
                items:
                  type: object
                  properties:
                    dbfrom:
                      type: string
                    linksetdbs:
                      type: array
                      items:
                        type: object
                        properties:
                          dbto:
                            type: string
                          linkname:
                            type: string
                          links:
                            type: array
                            items:
                              type: string
/elink.fcgi/citedby:
 get:
  operationId: fetchCitedBy
  summary: Fetches cited references for a specified UID.
  parameters:
    - name: dbfrom
      in: query
      required: true
      schema:
        type: string
        example: pubmed
      description: The originating database (e.g., pubmed).
    - name: linkname
      in: query
      required: true
      schema:
        type: string
        example: pubmed_pubmed_citedin
      description: The name of the link (e.g., pubmed_pubmed_citedin).
    - name: id
      in: query
      required: true
      schema:
        type: string
      description: A comma-separated list of UIDs of the articles.
    - name: api_key
      in: query
      required: true
      schema:
        type: string
      description: Your NCBI API key.
  responses:
    '200':
      description: Cited references information
      content:
        application/json:
          schema:
            type: object
            properties:
              linksets:
                type: array
                items:
                  type: object
                  properties:
                    dbfrom:
                      type: string
                    linksetdbs:
                      type: array
                      items:
                        type: object
                        properties:
                          dbto:
                            type: string
                          linkname:
                            type: string
                          links:
                            type: array
                            items:
                              type: string

GPT “PubMed Searcher” for exhaustive PubMed searches using ChatGPT and API.

Although there are some useful AI programs such as Consensus, Elicit, and Perplexity, they are not perfect and manual PubMed search is still the most exhaustive and accurate. If ChatGPT directly handles the PubMed database and its search function, it is possible to perform exhaustive searches easily while maintaining the accuracy of manual searches, and to file the search results, extract articles, and provide commentaries on the ChatGPT user interface.

ChatGPT is equipped with a web access function using Bing, but it is better to prompt the user to use a specific article search engine when searching for articles on ChatGPT. However, ChatGPT does not load the PubMed site well, and the following problems are likely to occur.

Halcination occurs when PubMed search results are not loaded (false results are displayed).
The abstract page of an article does not load properly.
Only one page of the article search results can be read.

This happens because of the following

(1) Dynamic content
The PubMed website often dynamically generates content and uses JavaScript to display information. This makes it difficult for web scraping tools to accurately retrieve information.

(2) Complexity of page structure
The structure of PubMed web pages is complex, involving many links and database queries. This can make it difficult to extract specific information accurately.

(3) Limitations and defensesPubMed has restrictions and safeguards to prevent excessive access by automated tools, which may limit the retrieval of information.

Therefore, you can avoid such problems by retrieving information via the API instead of accessing the PubMed site. In the following, I introduce a GPT “PubMed Searcher” that retrieves PubMed search results via API.

1. How GPT "PubMed Searcher" works

Paid users of ChatGPT (Plus members: $20/month subscription) can create their own personal bot, GPT. You can create a PubMed Searcher with this GPT (Since an individual API key is required, this service is not open to others and can only be used by the user). In addition, PubMed releases its API free of charge (strictly speaking, you can specify PubMed as a parameter for selecting a database for Entrez's API provided by NCBI). API is an abbreviation for Application Programming Interface, which is an interface for software to communicate with each other. API stands for Application Programming Interface, and is an interface for software to communicate with each other, and is a so-called “key for exchanging information”. The API allows ChatGPT to access the PubMed database directly and pull article information.

The PubMed API requires an account with NCBI and your own API key. In other words, even if you create this GPT, you must not allow others to use it, and it is for your own use only. For this reason, the PubMed Searcher you have created is not available in the GPT store, and you must create it yourself. However, it is not so difficult to create a PubMed Searcher by following the procedure below, and you can do it from your smart phone.

2. Procedure for creating GPT "PubMed Searcher"

(1) Create an ncbi account
First, access the following URL to create an ncbi account.

https://www.ncbi.nlm.nih.gov/account/

(2) Obtain an API key
After obtaining an account, access the following account setup page and obtain an API key from the API Key Management section at the bottom of the page. This API key is for your own use only and should not be disclosed to others.

https://www.ncbi.nlm.nih.gov/account/settings

(3) Creating a GPT
Access the web version of ChatGPT, click “Explore GPTs” on the left bar, and then click "+ Create" on the upper right to open the GPT builder. Select "Configure" in the middle of the top bar, and set as follows:
- Icon image: You can set any image you like, or ask DALL-E3 to generate an image for you.
- Name: Set any name you like (e.g., PubMed Searcher).

- Description: A short description that is displayed when GPT is opened. Put any description you like (e.g., "This GPT is intended for exhaustive searches in PubMed").

- Instructions: Copy and paste the following (instructions are given using YAML to improve accuracy where structured information needs to be provided).

This GPT will assist the user in retrieving literature information from PubMed. It should be able to search PubMed using a specific query provided by the user and return relevant article information GPT should leverage NCBI account details and API keys to access PubMed data.

Keep in mind throughout
    - Follow the chain-of-thought process to carefully execute the task step-by-step.
    - Before outputting your response in Task Enforcement, make sure that you have properly followed the GPT's prompt before responding, and if not, revise your response accordingly.

Clinical Questionへの対応:
```yaml
clinical_question:
  steps:
    - Extract as many all relevant terms (synonym or quasi-synonym) as possible from the Clinical Question provided by the user according to the following rules.
        - Terms to be included in the search formula should not be in Japanese.
        - When the pharmacological or chemical class name of a drug is specified, include the pharmacological, chemical, or generic name of the drug.
    - Create your search query according to the following rules.
        - Enclose terms in double quotation marks.
        - Use AND, OR operators for tech theory.
    - Ensure the search query is highly sensitive but not highly specific.
    - Ask the user for confirmation before performing the search.

search_results:
  steps:
    - Indicate the number of results found.
    - If ESearch results exceed 3, do not display article details in the response.
    - Use ESummary to compile all results into an Excel file.
    - Include all articles in the Excel file without setting a limit on the number of articles.

excel_file:
  columns:
    - PMID
    - URL: Create a hyperlink to the article's PubMed page in the format https://pubmed.ncbi.nlm.nih.gov/PMID/
    - Title

upload:
  steps:
    - Verify that the number of articles in the file matches the number of search results.
    - Ensure each article includes all required information.
    - Redo the process if any information is missing.

efetch:
  usage: Use EFetch only when you need information on abstracts, authors or doi.

elink:
  usage: Use ELink when you need information of similar papers, referenced papers or cited referenced papers.

- Conversation starters: No special setting required.
- Knowledge: No special settings required.
- Capabilities: Check "Web Reference" and "Code Interpreter".
- Actions: Click "Create new action" and copy and paste the following into the "Schema" field

openapi: 3.0.0
info:
  title: PubMed API
  description: API to search and retrieve literature from PubMed using esearch, esummary, and efetch endpoints.
  version: 1.0.0
servers:
  - url: https://eutils.ncbi.nlm.nih.gov/entrez/eutils
    description: NCBI E-utilities server
paths:
  /esearch.fcgi:
    get:
      operationId: searchLiterature
      summary: Searches for literature in PubMed.
      parameters:
        - name: db
          in: query
          required: true
          schema:
            type: string
          description: The database to search (e.g., pubmed).
        - name: term
          in: query
          required: true
          schema:
            type: string
          description: The search term(s).
        - name: retmax
          in: query
          required: false
          schema:
            type: integer
          description: The maximum number of results to return.
        - name: retmode
          in: query
          required: false
          schema:
            type: string
          description: The return mode (e.g., xml, json).
        - name: api_key
          in: query
          required: true
          schema:
            type: string
          description: Your NCBI API key.
    responses:
      '200':
        description: Search results
        content:
          application/json:
            schema:
              type: object
              properties:
                count:
                  type: integer
                retmax:
                  type: integer
                retstart:
                  type: integer
                ids:
                  type: array
                  items:
                    type: string
  /esummary.fcgi:
    get:
      operationId: getSummary
      summary: Retrieves the summary of literature based on search results.
      parameters:
        - name: db
          in: query
          required: true
          schema:
            type: string
          description: The database to search (e.g., pubmed).
        - name: id
          in: query
          required: true
          schema:
            type: string
          description: A comma-separated list of UIDs of the articles.
        - name: retmode
          in: query
          required: false
          schema:
            type: string
          description: The return mode (e.g., xml, json).
        - name: api_key
          in: query
          required: true
          schema:
            type: string
          description: Your NCBI API key.
    responses:
      '200':
        description: Summary details of the search results
        content:
          application/json:
            schema:
              type: object
              properties:
                uid:
                  type: string
                title:
                  type: string
                source:
                  type: string
                pubdate:
                  type: string
                authors:
                  type: array
                  items:
                    type: string
                volume:
                  type: string
                issue:
                  type: string
                pages:
                  type: string
                doi:
                  type: string
  /efetch.fcgi:
    get:
      operationId: fetchDetails
      summary: Fetches the details including abstracts for specified UIDs.
      parameters:
        - name: db
          in: query
          required: true
          schema:
            type: string
          description: The database to search (e.g., pubmed).
        - name: id
          in: query
          required: true
          schema:
            type: string
          description: A comma-separated list of UIDs of the articles.
        - name: rettype
          in: query
          required: false
          schema:
            type: string
          description: The return type (e.g., abstract).
        - name: retmode
          in: query
          required: false
          schema:
            type: string
          description: The return mode (e.g., xml, text).
        - name: api_key
          in: query
          required: true
          schema:
            type: string
          description: Your NCBI API key.
    responses:
      '200':
        description: Detailed information including abstracts
        content:
          text/plain:
            schema:
              type: string
  /elink.fcgi:
  get:
    operationId: fetchSimilarArticles
    summary: Fetches similar articles for a specified UID.
    parameters:
      - name: dbfrom
        in: query
        required: true
        schema:
          type: string
        description: The originating database (e.g., pubmed).
      - name: db
        in: query
        required: true
        schema:
          type: string
        description: The database to link to (e.g., pubmed).
      - name: id
        in: query
        required: true
        schema:
          type: string
        description: A comma-separated list of UIDs of the articles.
      - name: cmd
        in: query
        required: true
        schema:
          type: string
        description: Command to run (e.g., neighbor).
      - name: api_key
        in: query
        required: true
        schema:
          type: string
        description: Your NCBI API Key.
    responses:
      '200':
        description: Similar articles information
        content:
          text/plain:
            schema:
              type: string

  /elink.fcgi:
  get:
    operationId: fetchReferences
    summary: Fetches references for a specified UID.
    parameters:
      - name: dbfrom
        in: query
        required: true
        schema:
          type: string
        description: The originating database (e.g., pubmed).
      - name: linkname
        in: query
        required: true
        schema:
          type: string
        description: The name of the link (e.g., pubmed_pubmed_refs).
      - name: id
        in: query
        required: true
        schema:
          type: string
        description: A comma-separated list of UIDs of the articles.
      - name: api_key
        in: query
        required: true
        schema:
          type: string
        description: Your NCBI API Key.
    responses:
      '200':
        description: References information
        content:
          text/plain:
            schema:
              type: string

  /elink.fcgi:
  get:
    operationId: fetchCitedBy
    summary: Fetches cited references for a specified UID.
    parameters:
      - name: dbfrom
        in: query
        required: true
        schema:
          type: string
        description: The originating database (e.g., pubmed).
      - name: linkname
        in: query
        required: true
        schema:
          type: string
        description: The name of the link (e.g., pubmed_pubmed_citedin).
      - name: id
        in: query
        required: true
        schema:
          type: string
        description: A comma-separated list of UIDs of the articles.
      - name: api_key
        in: query
        required: true
        schema:
          type: string
        description: Your NCBI API Key.
    responses:
      '200':
        description: Cited references information
        content:
          text/plain:
            schema:
              type: string

- In the copied and pasted schema, there are three places where "Your NCBI API Key." is written (shown in red in the box above), so replace those places with the API key you obtained.
- Click "Create" in the upper right corner. Set the disclosure range to "only me".

3. What you can do with GPT “PubMed Researcher

This GPT allows you to do the following by the above instructions.

(1) Generate PubMed search formulas according to Clinical Question
Generate an exhaustive PubMed search formula according to the Clinical Question (or any other question) you ask. To enable exhaustive searches, as many synonyms as possible for each term are added to the search formula, resulting in a search formula with high sensitivity and low specificity. At the end of the answer, you will be asked, "Can I use this search formula to search PubMed?" If you need to modify the formula, you can tell the modifications there.(2) Search using ESearch
When a PubMed search is ordered, GPT first uses an API key to obtain the PMIDs of articles that have been hit as search results in ESearch. This obtains the number of hits and PMIDs of the articles. In this case, the response is "X papers hit". Based on this PMID, more detailed information on each paper can be obtained from ESummary and EFetch.

(3) Obtaining article information using ESummary
ESummary can obtain information on the title of an article, the journal in which the article is published, the year, volume number, and page number. Using this ESummary, we can obtain the article information from the PMID of the article obtained from ESearch in (2). However, because a considerable number of papers may be hit in an exhaustive search, and because of the limitation of GPT's response output, the number of papers is set to be automatically compiled into an Excel file using Advanced Data Analysis (formerly Code Interpreter) when the number of papers is four or more (this number can be changed). The information presented in the Excel file is the PMID, a link to the abstract of the article in PubMed, and the title of the article (if you include the journal name, etc., the system cannot process the file and times out). Due to ChatGPT's processing limitations, it is recommended to limit the number of articles that can be retrieved to about 200 at the most. If the number of papers is to be kept below this number, it is necessary to increase the specificity of the search formula.As an application, you can instruct GPT to extract from this Excel file only the papers with titles that suit your purpose and re-file them (however, ChatGPT is not good at the task of “selection” and its extraction accuracy is high in sensitivity and low in specificity).

(4) Retrieving article abstracts using EFetch
EFetch can retrieve more detailed information on articles, including abstracts and doi. This makes it possible to directly ask GPT to explain the contents of abstracts.(5) Obtaining similar articles, referenced articles, and cited reference articles
ELink can also be used to obtain information on similar articles, referenced articles, and cited reference articles for a particular paper. Note, however, that this information is not available for papers that are quite recent in PubMed.