【AI/論文】情報検索におけるChatGPT vs Google Searchの論文2報

■情報検索は，従来の検索エンジンから対話型インターフェースを有する生成AIに移行していくのか？ChatGPTが2022年11月に登場して以来，このような話題がたびたびあがるようになっている．では，情報検索においてChatGPTのメリットは何か？
1．質問を自然言語で行うことが可能で，複雑な質問や一連の関連する質問ができる
2．質問の文脈を理解でき，適切なキーワードがなくても解決することができる
3．個別のユーザー要求への適応が行える
4．説明型の回答で，検索結果から自分で必要な情報を抽出する必要がない

■一方，ChatGPTのデメリットは以下のことがあげられる．
1．2021年9月までの情報しか有しておらず，最新情報を有さない（ブラウジング機能やプラグイン機能を除く）
2．特定情報の取得困難性
3．データ学習範囲による回答の制限

■私自身は情報検索としての使い方ではChatGPTはデメリットの方が大きいと考えて使用していない．そもそもChatGPTはソースの提示がないのである．もちろんプロンプトにソースを提示するよう指示することも可能だが，ハルシネーションの関係で全く異なるor架空のソースを提示されることがよくあり，また，ソースの選択性もそこまで信頼性が高くないと判断しているからで，現在でも情報検索はGoogleにしている．

■今回紹介する論文2報は，ChatGPTとGoogleの情報検索能力の比較である．1つ目の論文は，質問内容は認知機能が低下している患者やその介護者のためのリソースやサービスの検索目的であるが，一般化できる内容ともいえる．実際に，結果は情報の最新性と信頼性でGoogleの方が優れているという結果であった．一方で，読みやすさについてはChatGPTの方が優れていた．ただし，平均的に高い読解レベルで書かれているため（標準偏差も小さい），ChatGPTの回答は健康リテラシーが低い人々にとっては理解が困難と判断されている（これもプロンプトで「小学生にも分かるように説明してください」と書き添えるだけでも解決は可能ではある）．

■2つ目の論文は，オンラインでの研究参加者95人を無作為にChatGPT使用群とGoogle Search使用群に割り付け，3つの情報検索タスクを与えて達成度を比較したものである．情報探索タスクのパフォーマンスに有意差はみられていないが，ChatGPT使用群は，全てのタスクにおいて一貫してGoogle Search使用群よりも短時間でタスクを完了していた．これはGoogle Search群が検索結果をスクロールし，関連性の高い情報を選択するプロセスが入るからである．また，ChatGPTがユーザーの教育レベルに関係なく一貫した検索パフォーマンスを提供することが示されている．Google Searchで効果的な検索結果を得るためには，適切なキーワードを知っていることや，検索結果から関連性の高い情報を選択する能力が必要であるのに対し，ChatGPTはその必要がない．一方で，ファクトチェックのタスクでは，ChatGPT群はユーザーのプロンプトの間違いを修正する能力が不十分であった．ユーザーが誤った情報を前提とした質問を提出した場合，ChatGPTはその誤りを検出して正しい情報に基づいた回答を提供する，ということができない．これはChatGPTが，ユーザーが提供する情報の正確性に依存するためである．

■この2つの論文から，情報検索タスクにおいては，ChatGPTはGoogle Searchに比して，迅速性・簡便性に優れ，教育レベルがある程度低くても使いやすい（ただし，低すぎるとChatGPTの回答でも理解が困難となる）検索ツールであるが，情報の最新性と信頼性は劣る，ということがいえるだろう．

【論文1】認知症やその他の認知機能の低下に関連する質問におけるChatGPT vs Google：結果の比較
Hristidis V, Ruggiano N, Brown EL, et al. ChatGPT vs Google for Queries Related to Dementia and Other Cognitive Decline: Comparison of Results. J Med Internet Res 2023; 25: e48966
PMID: 37490317
https://doi.org/10.2196/48966

Abstract

【背景】認知症やその他の認知機能低下を抱える人々やその介護者（PLWD）は，自分の状態や利用可能なリソースやサービスに関する情報を見つけるためにますますウェブを利用するようになってきている．ChatGPTのような大規模言語モデル（LLM）の最近の進歩は，Googleのようなより伝統的なウェブ検索エンジンに代わる新たな選択肢を提供する．

【目的】本研究では，PLWD関連のクエリについて，ChatGPTとGoogleの検索結果の質を比較した．

【方法】30件の情報提供と30件のサービス提供（取引）のPLWD関連のクエリを選択し，GoogleとChatGPTの両方に送信した．3人の専門家が，情報の最新性，情報源の信頼性，客観性，クエリとの関連性，回答の類似性を評価した．結果の読みやすさも分析した．すべての結果について相互信頼性係数が算出された．

【結果】Googleの方が情報の最新性と信頼性が優れていた．ChatGPTの結果はより客観的であると評価された．ChatGPTは回答の関連性が有意に高かったが，Googleは認知症ケアの紹介サービスやサービス提供者自身を情報源とすることが多かった．可読性は両プラットフォームとも低く，特にChatGPT（平均評点レベル12.17，SD 1.94）はGoogle（平均評点レベル9.86，SD 3.47）に比べて低かった．ChatGPTとGoogleの回答内容の類似度は，13件（21.7%）が「高い」，16件（26.7%）が「中」，31件（51.6%）が「低い」と評価された．

【結論】GoogleとChatGPTには長所と短所がある．ChatGPTは，結果の出典を記載することはほとんどない．ChatGPTがクエリに対してより適切な回答を提供するのに対し，GoogleはChatGPTと比較して，回答の日付や信頼できるソースを提供することが多い．ChatGPTの結果は古い場合があり，有効なタイムスタンプが明示されていないことが多い．Googleは営利団体に基づいた結果を返すことがある．両者の読みやすさのスコアは，ヘルスリテラシーの低い人には適切でないことが多いことを示している．将来的には，健康関連情報のソースと日付の両方が追加され，他の言語でも利用できるようになれば，非医療専門家と医療専門家の両方にとってこれらのプラットフォームの価値が高まる可能性がある．

【論文2】ChatGPT対Google：検索パフォーマンスとユーザーエクスペリエンスの比較研究
ChatGPT vs. Google: A Comparative Study of Search Performance and User Experience. arXiv 2023 Jul.3[arXiv:2307.01135]
https://arxiv.org/abs/2307.01135

Abstract

【背景】大規模な言語モデルであるChatGPTの登場により，従来の検索エンジンに対する可能性を問う議論が生じている．本研究では，情報探求タスクにおける検索エンジンとチャットボットツールの利用時のユーザー行動の違いを調査した．

【方法】我々は無作為化されたオンライン実験を行い，参加者をChatGPTのようなツールを使用する群とGoogle Searchのようなツールを使用する群の2つに分けた．

【結果】我々の調査結果は，ChatGPT群が全てのタスクに対して一貫して少ない時間を費やし，両群間で全体的なタスクパフォーマンスには有意な差はなかった．特筆すべきは，ChatGPTが異なる教育レベル間でのユーザーの検索パフォーマンスを均一化し，単純明快な質問への回答や一般的な解決策の提供に優れている一方で，ファクトチェックのタスクでは不十分であったことである．ユーザーはChatGPTのレスポンスがGoogle Searchと比較して情報の質が高いと感じているにもかかわらず，両ツールに対する信頼度は同等レベルを保持していた．さらに，ChatGPTを使用する参加者は有用性，楽しさ，満足度の面で大幅に優れたユーザーエクスペリエンスを報告しているが，利便性の認識は両ツール間で比較可能なままであった．しかしながら，ChatGPTは過度な依存を引き起こす可能性があり，情報の誤りを生成または複製することで結果が不一致となる場合がある．

【結論】我々の研究は，検索エンジン管理に対する価値ある洞察を提供し，チャットボット技術を検索エンジン設計に統合するための機会を強調している．