【文献】コクランと非コクランでのメタ解析の結果の違い／AMSTAR評価

■非常に精度が高いことで有名なコクランのメタ解析と，コクランでないメタ解析とでどれくらいの違いがあるのかについて調べた研究を紹介します．まあこの研究結果をあえて変なメタ解析を多数掲載しているPLoS One誌に投稿したというのは皮肉的な何かあるのかなと勝手に思ってしまいましたが・・・．結果としては，コクランでないメタ解析の方が精度が低く，効果量が大きくなる傾向があるようです．そして他論文に引用される際も効果量が大きい方のメタ解析が引用されるようで，ここで二重のバイアスが生じることになります．

■ひとつのトピックに関してメタ解析が複数出ていることは珍しくありませんが，各メタ解析ごとに登録している研究やメタ解析結果がかなり異なっていることも多いです．システマティックレビューやメタ解析といえどもかなりのバイアスがあると思った方がいいでしょう．たとえコクランといえどもたまになんでこんなメタ解析になってるのか疑問に思うこともあります．

■私自身現在ガイドライン作成過程でメタ解析を行っていますが，どの研究をincludeするかの過程，エビデンス総体評価の過程，どうしても主観に頼る作業が入ります．このため，メタ解析メンバー間でもかなり意見の相違が生じ議論になります．こういう作業をやっていると複数のメタ解析がでても内容がバラバラになることはおおいにありえるんだなと痛感します．

■なお，システマティックレビュー/メタ解析がどの程度の質なのかの評価方法としてAMSTARというものがありますので活用してみてください．以下の紹介文献の下に掲載しています．

同一トピックにおけるコクランと非コクランのメタ解析間での系統的違い：ペアマッチ解析
Useem J, Brennan A, LaValley M, et al. Systematic Differences between Cochrane and Non-Cochrane Meta-Analyses on the Same Topic: A Matched Pair Analysis. PLoS One. 2015 Dec 15;10(12):e0144980
PMID:26671213

Abstract
【背　景】
Cochrane Collaborationによるメタ解析は，厳格な方法論と，バイアスを最小化し透明性/再現性を最大化し，集計データの精度を向上させることを目的とした報告基準を遵守して行われる．このメタ解析結果が，同一トピックにおいてCochrane Collaboration以外で行われたメタ解析での報告結果と違いが生じるか否かについては未解決の問題である．

【方　法】
我々は解析の単位として，各メタ解析につきCochraneレビューと非Cochraneレビューを比較するペアマッチ解析を行った．心血管領域の文献のメタ解析を用いて，介入とアウトカムについてマッチしたペアを抽出した．ペアは，Cochraneと非Cochraneのレビュー間での結果の不一致がどの程度か，効果量と統計精度が体系的に異なっているか否か，これらの違いがどのようにレビューの二次引用頻度に関連しているかについて比較した．

【結　果】
我々の検索で40のマッチしたレビューのペアが得られた．2つのセットで，いずれが最初に出版したか，登録した研究数，平均サンプルサイズについては同等であった．レビューのペアは計344の臨床試験が含まれており，111研究（32.3%）はCochraneレビューのみで登録されており，104研究（30.2%）は非Cochraneレビューのみであり，129研究（37.5%）は両方に含まれていた．言い方を変えると，研究の62.5%は1つもしくは他のメタ解析論文にのみ含まれていた．全体を通して，ペアの37.5%は結果が矛盾していた．結果が異なる統計的な解釈が生じた95%信頼区間の幅において矛盾が最も多く生じていた（7ペア）．加えて，20%が，集計した効果量の方向が異なっていたか（5ペア）効果量が2倍以上異なっていた（3ペア）．非CochraneレビューはCochraneレビューに比して有意に高い効果量（p<0.001）と低い精度（p<0.001）であった．マッチしたペアよりも少なくとも2倍以上の効果量を報告しているレビューはより多く引用されていた．

【結　論】
トピックを合わせたCochraneと非Cochraneのレビューの結果は非常に類似していたものの，矛盾した結果が多く，登録された研究の重複が驚くほど少なかった．疑問の下での介入において異なる解釈が生じうる2つのタイプのレビュー間において，系統的な差や方法論に反している可能性を示している非CochraneレビューはCochraneレビューに比して低い精度で大きな効果量を報告していた．

AMSTAR（Assessment of Multiple Systematic Review）によるシステマティックレビュー/メタ解析の評価項目
・システマティックレビューのデザインは，システマティックレビュー施行前に決定されているか？（レビュー実施前に課題や登録基準が決定されている）
・2名以上で論文のチェックが行われているか？（2名の独立した担当者でデータ抽出が行われている，意見の不一致があった場合の合意到達手順が明確にされている）
・少なくとも2つ以上のデータベースを利用しているか？（検索を行った年およびデータベースが明記さており，2つ以上のDatabaseが使用されていなければならない．検索式・Key wordが明記，検索方法に説明されている．）
・論文の研究様式や報告様式に関係なく検索しているか？（未発表論文や学会発表の抄録，研究registrationも対象に検索していなければならない．）
・full text reviewの後に，登録および除外された論文がリストあるいはreferenceにしてあるか？
・登録された論文の詳細が報告されているか？（患者・介入・アウトカムなどの詳細が表などの形式で報告されている．）
・Risk of bias，Jadad scaleなどで各論文の質が評価してあるか？
・研究の質がシステマティックレビューの結論を提示する際に考慮されているか？
・異質性が評価され，異質性が高い場合にはRandom Effectが使用されているか？
・出版バイアスが評価されているか？（Funnel Plotなどを利用して評価する）
・COIが開示されているか？

AMSTARについては以下の文献を御参照ください（フリーで閲覧できます）．
Shea BJ, Grimshaw JM, Wells GA, et al. Development of AMSTAR: a measurement tool to assess the methodological quality of systematic reviews. BMC Med Res Methodol 2007; 7: 10
Shea BJ, Bouter LM, Peterson J, et al. External validation of a measurement tool to assess systematic reviews (AMSTAR). PLoS One 2007; 2: e1350