「統計学的有意差なし＝真に差がないことを意味しない」からの脱却／尤度比評価

■「統計学的有意差はないことは真に差がないことを意味しない」というのはよく知られた話で，これはFisherの統計学的な伝統に従ったものであるが，統計学的有意差がなかった場合の解釈が難しくなる要因でもある．これを解決する方法として，リスク差，オッズ比，ハザード比等とその信頼区間を評価する必要がある．しかし，それでも信頼区間は臨床的に意義があるか否かを判定するには曖昧な指標である．

■今回紹介するJAMAの論文は，上記のようなケースにおいて代替アプローチを提案している．方法としては帰無仮説（null hypothesis）と代替仮説（alternative hypothesis）の直接比較である．

代替仮説
研究者が主張したい効果や関連性が存在することを主張する仮説であり，研究者が興味を持っている現象や関係についての予想や理論を反映している．統計学的に有意な結果が得られると，代替仮説が支持されることになる．「薬剤Aが疾患Xの治療に効果がある」といった主張である．

帰無仮説
代替仮説の対立仮説であり，効果や関連性が存在しない，あるいは差がないという仮説である．統計学的仮説検定では，帰無仮説が検証され，それが棄却されることによって代替仮説が支持されるかどうかが判断される．「薬剤Aが疾患Xの治療に効果がない」といった主張である．

■本論文では，代替仮説と帰無仮説の比較を尤度比で示しており，これは効果推定値と標準誤差の比から検定統計量と尤度を算出し，その比率を尤度比として示すことで，観察された結果が一つの仮説に対して，他の仮説と比較して提供する支持の強さを定量化している．もし尤度比が100以上の場合，治療法が無効であるという試験後の確率がほぼ確実性に近いレベルまで高まる．このような場合は，追試する意味はほぼないという解釈ができる．そして，2022年にpublishされた，統計学的有意差がなかったRCTにおいて，多くの結果が帰無仮説を支持していることを示していた．また，尤度比は結果の解釈や信頼区間の解釈において有用であり，無効な仮説が強力に支持されているかどうかを評価する上で重要な役割を果たしている．

無作為化臨床試験の統計学的に有意でない結果から得られる治療効果の欠如の証拠
Perneger T, Gayet-Ageron A. Evidence of Lack of Treatment Efficacy Derived From Statistically Nonsignificant Results of Randomized Clinical Trials.
PMID: 37338877
https://doi.org/10.1001/jama.2023.8549

Abstract

【背景】多くの無作為化臨床試験は統計的に有意ではない結果を示す．このような結果は，主流の統計的枠組み内で解釈することが困難である．

【目的】2021年に6つの主要な一般的な医学ジャーナルに掲載された無作為化臨床試験の主要評価項目の統計的に有意でない結果において，効果のない仮説と事前に定められた有効性の仮説の間でのエビデンスの強さを尤度比を用いて推定する．

【デザイン，設定，参加者】2021年に掲載された無作為化臨床試験の主要評価項目の統計的に有意でない結果の横断研究

【評価項目】試験プロトコルで述べられた効果のない帰無仮説と代替仮説（有効性仮説）の尤度比．尤度比は，データが他の仮説に対してどの程度の支持を提供するかを定量化する．

【結果】主要評価項目の統計的に有意でない結果を報告した130の論文において，169の結果のうち15件（8.9%）が代替仮説を支持しており（尤度比＜1），154件（91.1%）が効果のない帰無仮説を支持していた（尤度比＞1）．117件（69.2%）では尤度比が10を超え，88件（52.1%）では100を超え，50件（29.6%）では1000を超えた．尤度比はP値と弱い相関しか示さなかった（Spearman r 0.16; P=0.045）．

【結論】統計的に有意でない無作為化臨床試験の主要評価項目の結果の大部分が，事前に述べられた臨床的有効性の代替仮説に対する効果のない帰無仮説の強力な支持を提供していた．尤度比の報告は，特に主要アウトカムの観察された差が統計的に有意でない場合に，臨床試験の解釈を改善することができる．