【AI】2023年上半期のarXivに投稿されたAI関連の人気論文トップ40のリスト（リンク付き）
■arXivは，物理学，数学，計算機科学，数量生物学，数量ファイナンス，統計学，電子工学・システム科学，経済学のプレプリント論文が保存・公開されている無料のウェブサイトであり，この領域では極めて人気がある．これらの領域はとにかく早さが命であり，査読を極めて重視する医学論文とはだいぶ違う世界である．最近目まぐるしく進化している人工知能（AI）の論文もarXivに多数submitされており，その数は，xn--cs-o83a1doa0215fo75c.CL (computation and language) かつ/または cs.LG (machine learning)のカテゴリーが割り当てられた論文で数えても2023年上半期だけで20843本におよぶ．
■今回，この2023年上半期にarXivに投稿された2万本あまりのAI関連論文の中から最も人気のある上位40本の論文をリストアップするとともにそれら40本の論文の特徴を分析したレポートがでたので紹介する．
■この論文は，2023年上半期にarXivで最も影響力のあるAI論文，特に自然言語処理（NLP）と機械学習（ML）の分野の論文を特定することを目的としている．arXivから2023年1-6月に投稿された論文20843本を収集し，被引用数でソートして40本の最も人気のある論文のリストを作成した．なお，被引用数の指標はz-scoreを用いている．このz-scoreは標準化されたスコアで，平均と標準偏差を用いてデータの位置を表す指標である．具体的には，ある週に発表された論文の被引用数から，その週のすべての論文の平均被引用数を引いて，その週の被引用数の標準偏差で割った値である．これにより，発表時期による被引用数の違いを正規化することで，どの週で発表された論文も公平に評価できる指標となっている．z-scoreが高いほど、その週の他の論文と比較して被引用数が多く，影響力が大きい論文だと考えられる．
■40本の論文のz-scoreが大きいものから並べたリストは以下の通りである（タイトルをクリックすると論文ページに飛ぶ）．
■今回，この2023年上半期にarXivに投稿された2万本あまりのAI関連論文の中から最も人気のある上位40本の論文をリストアップするとともにそれら40本の論文の特徴を分析したレポートがでたので紹介する．
■この論文は，2023年上半期にarXivで最も影響力のあるAI論文，特に自然言語処理（NLP）と機械学習（ML）の分野の論文を特定することを目的としている．arXivから2023年1-6月に投稿された論文20843本を収集し，被引用数でソートして40本の最も人気のある論文のリストを作成した．なお，被引用数の指標はz-scoreを用いている．このz-scoreは標準化されたスコアで，平均と標準偏差を用いてデータの位置を表す指標である．具体的には，ある週に発表された論文の被引用数から，その週のすべての論文の平均被引用数を引いて，その週の被引用数の標準偏差で割った値である．これにより，発表時期による被引用数の違いを正規化することで，どの週で発表された論文も公平に評価できる指標となっている．z-scoreが高いほど、その週の他の論文と比較して被引用数が多く，影響力が大きい論文だと考えられる．
■40本の論文のz-scoreが大きいものから並べたリストは以下の通りである（タイトルをクリックすると論文ページに飛ぶ）．
1．LLaMA: オープンで効率的な基礎言語モデル■人気上位40本の論文では大規模言語モデル（LLM）関連の論文が圧倒的に多く，LLMの効率性，LLMによる評価，倫理的側面，具現化エージェント，LLMによる問題解決が主なトピックであった．また，上位40本のうち約60%がNLP関連であり，LLaMAが最も引用数が多く，ChatGPTやGPT-4を上回っていた．
2．GPT-4テクニカルレポート
3．PaLM 2技術レポート
4．人工知能のスパーク: GPT-4の初期実験
5．PaLM-E: 具現化されたマルチモーダル言語モデル
6．QLoRA: 量子化LLMの効率的ファインチューニング
7．何でもセグメント化
8．MT-Benchとチャットボットアリーナを使用したLLM-as-a-judgeの判断
9．チャットGPTの推論，幻覚，対話力のマルチタスク・多言語・マルチモーダル評価
10．大規模言語モデルの包括的調査
11．視覚命令チューニング
12．大規模言語モデルによる熟考的問題解決の思考の木
13．Voyager: 大規模言語モデルを搭載したオープンエンドの具現化エージェント
14．Toolformer: 言語モデルは自分自身が道具を使うことを学習できる
15．チャットGPTは人間のエキスパートにどれだけ近いか? 比較コーパス，評価，検出
16．ディフュージョンモデルからのトレーニングデータの抽出
17．大規模言語モデルは公平な評価者ではない
18．HuggingGPT: チャットGPTとそのフレンドを使ったAIタスクの解決
19．大規模言語モデルのためのウォーターマーク
20．DetectGPT: 確率曲率を用いたゼロショット機械生成テキスト検出
21．ワールドモデルによる多様なドメインの獲得
22．Augmented Language Models: 調査
23．BERTからチャットGPTまで:事前学習基盤モデルの包括的調査
24．ImageBind: すべてを束ねる1つの埋め込み空間
25．Muse: マスクされた生成トランスフォーマによるテキストから画像への生成
26．T2I-Adapter: テキストから画像へのディフュージョンモデルのより制御可能な能力を引き出すアダプターの学習
27．チャットGPTは汎用自然言語処理タスクソルバーか?
28．SemEval-2023 Task 2: 多言語固有表現抽出の詳細認識(MultiCoNER 2)
29．チャットGPTの数学的能力
30．The Flan Collection: 効果的な命令チューニングのためのデータと方法の設計
31．専有LLMの模倣の虚妄
32．Falcon LLMのためのRefinedWebデータセット: ウェブデータのみでキュレーションされたコーパスを上回る
33．ステップバイステップの蒸留! 少ないトレーニングデータと小さいモデルサイズで大規模言語モデルを上回る
34．Video-LLaMA: 動画理解のための命令チューニングされたオーディオビジュアル言語モデル
35．InstructBLIP: 命令チューニングによる汎用ビジョン言語モデルへ向けて
36．PandaGPT: 命令に従う1つのモデル
37．チャットGPTはすべてではない．大規模生成AIモデルの最先端調査
38．理論的な心の認識が大規模言語モデルで自発的に出現した可能性がある
39．mPLUG-Owl: モジュール化がマルチモーダリティを持つ大規模言語モデルを強化する
40．Otter: コンテキスト内命令チューニングを用いたマルチモーダルモデル
NLLG季刊arXivレポート06/23：現在最も影響力のあるAI論文は何か？
Eger S, Leiter C, Belouadi J, et al. NLLG Quarterly arXiv Report 06/23: What are the most influential current AI Papers? arXiv 2023 Jul.31[arXiv:2308.04889]
https://doi.org/10.48550/arXiv.2308.04889
Abstract
生成人工知能（AI）の分野，特に自然言語処理（NLP）と機械学習（ML）のサブフィールドにおける情報の急速な増加は，研究者や実務家にとって，最新の開発に遅れを取らないようにするための大きな課題となっている．情報過多の問題に対処するため，ビーレフェルト大学の自然言語学習グループによる本レポートは，NLPとMLに特に重点を置いて，arXivで最も人気のある論文を特定することに焦点を当てている．その目的は，最も関連性が高く，広く議論されている研究へのクイックガイドを提供することであり，新規参入者と既存研究者の両方が現在のトレンドに遅れないよう支援することである．特に，2023年上半期の正規化被引用回数に基づき，最も人気のある40の論文のリストを作成した．2023年前半は大規模言語モデル（LLM），特にChatGPTに関連する論文が圧倒的に多く，最近になって人気低下の兆しを見せている．さらに，ML関連論文の数が2倍であるにもかかわらず，NLP関連論文の影響力が最も高い（上位論文の約60％）．最も多く引用された論文で研究されている中核的な問題は以下の通りである： LLMの効率性，評価技術，倫理的考察，具現化エージェント，LLMによる問題解決など．さらに，上位40位圏外の論文と比較して，上位論文の特徴を検証した（上位論文がLLMの再利用に焦点を当てていることに注目）．
by DrMagicianEARL
| 2023-08-10 18:47
| 医学・医療とAI
