Cochrane risk of bias tool v.2.0のためのWeb tool

皆さんご存知の通り、Cochraneのシステマティックレビューのための、ランダム化比較試験のバイアスリスクの評価法が2019年8月からVersion 2.0になりました⇒RoB 2 tool

バイアスの評価ドメインが5つに減り、評価のグレーディングがLow, Some concerns, Highの3段階になり、シグナリングクエスチョンに答えることで自動的に評価を決定する仕組みが導入されました。

コクランのシステマティックレビューアのためにExcelの評価ツールが用意されています。シグナリングクエスチョンに答えていくことで、各ドメインの評価が決められますが、もし、評価者の評価と異なっていた場合は、評価者の評価を優先するルールになっています。また、各シグナリングクエスチョンの答えの組み合わせが、アルゴリズムに無い場合もあります。そのような場合、評価者の理解の違いによる場合もありますし、アルゴリズムと見解が異なる場合もあり得ます。

Cochrane risk of bias tool v.2.0のためのウェブツールやその他のツールを以前から公開していましたが、解説を充実させ、また評価結果をExcelの評価シートに取り込めるように改良しました⇒Link 今のところ日本語版だけです。

その評価シートを含むExcel bookはこちらです⇒2022_excel_book_cpg.xlsx

Network Meta-analysisとエビデンスの確実性評価

今までの投稿で、Network meta-analysis(NMA)について解説してきました。

Network Meta-analysisをOpenBUGSで
MacでR,JAGS,rjagsを使うNetwork meta-analysisをやってみる
SUCRA(Surface Under the Cumulative Ranking Curves)

NMAでは3つ以上の介入を比較し、最も効果が優れているのはどれかを知ることができます。通常のペア比較メタアナリシスが二つの介入の内どちらの方が効果が優れているのか、すなわちComparative effectivenessに答えるのに対し、NMAはExtended comparative effectivenessに答えるとも言えます。

ネットワークメタアナリシスの基礎とそのアウトプットおよびエビデンスの確実性(GRADEアプローチ)についての解説を作成しました。こちらです

一つのアウトカムに対する介入の効果をNMAで解析しただけでは、益と害の複数のアウトカムに対する効果にトレードオフがある場合、どれが最善の介入かを決めることはできません。メタアナリシスで得られる結果は直接益と害の大きさを示しているわけではありません。エビデンスの確実性の評価も複雑になります。NMAそのものはデータさえそろえれば、だれでもできるだけのツールがそろっていますが、NMAも万能ではないことを理解した上で使う必要があります。

Synthesis without meta-analysis (SWiM)について

Campbell Mらの提唱する、メタアナリシスのないエビデンスの統合方法について要点をまとめてみました。以下の9項目のチェックリストが提案されており、これらの項目を記述することが求められています。

1.統合のための研究のグループ化 Grouping studies for synthesis

介入、対象、アウトカム、研究デザインなど、統合に用いた研究のグループ化の際の基準項目の記述とその理論的根拠を記述する。特に、RCTに限定するわけではないので、さまざまな点で違いがある研究を統合する必要があり、研究をグループ化する際の基準項目を説明することが求められる。

介入のアウトカムへの影響に対する理論(Theory)や理論的根拠rationaleを述べる、あるいは引用する。

2.標準化した効果指標と用いられた変換方法Describe the standardised metric and transformation methods used

リスク比、オッズ比、リスク差、平均値差、標準化平均値差、平均値比、効果の方向、あるいはP値などのいずれかを用い、共通の指標で効果の大きさを提示する。オッズ比から標準化平均値差へ変換するなど、変換が必要な場合は、その方法を記述する(Cochrane handbook 第6章参照)。

3.統合の方法 Describe the synthesis methods

メタアナリシスができない場合、代替として用いた統合の方法を記述し、その正当性を述べる。P値を結合する、中央値と中央四分位などまとめ値を提示する、効果の方向について投票結果を提示するなど(Cochrane handbook 12章参照)。

4.まとめと統合のために優先的に用いた研究結果の選択基準 Criteria used to prioritise results for summary and synthesis

研究デザイン、バイアスリスク、非直接性、サンプルサイズなど、研究選択の基準を記述し、正当性を説明する。事前に基準を設定した場合はそれを記述するが、文献検索後に変更が必要になった場合は、それを記述する。

5.報告されている効果の異質性の調査 Investigation of heterogeneity in reported effects

異質性を調べた方法を記述する。メタアナリシスによる亜群分析、メタリグレッションができないので、研究間の異質性を、表やグラフで示し、そのような方法を用いた理由を記述する。

6.エビデンスの確実性 Certainty of evidence

統合した知見の確実性を評価するのに用いた方法を記述する。統合した知見の精確性(可能であれば信頼区間など)、研究数、参加者数、研究間の効果の非一貫性、各研究のバイアスリスク、非直接性、出版バイアスなど。投票の結果を提示することもある。

7.データの提示方法 Data presentation methods

表、グラフ(フォレストプロット、ハーベストプロット、箱ひげ図、効果方向プロット、アルバトロスプロット、バブルプロットなど)とそれらの解説。研究を等級づけた場合の基準項目など。

8.結果の報告 Reporting results

それぞれの比較とアウトカムに対して、統合された知見、その確実性を記述する。クリニカルクエスチョンに対応する結果を記述し、貢献度の大きな研究について説明する。

含めた研究の重要な特徴や、可能であれば、信頼区間、確実性の評価の結果などを記述する。

異質性の調査の結果を記述する。事前に予定した手法を変更した場合は、それを理由とともに記述する。

9.統合の限界 Limitations of the synthesis

統合に用いた方法やグループ化に用いた方法の限界を記述し、得られた結論への影響をオリジナルのリサーチクエスチョンと関連付けて記述する。

統合方法の限界について報告する際には、標準化した効果指標、用いた統合の方法、統合するために必要だった研究のグルーピングの再構成について記述する。

効果の方向、あるいはそれに関する投票を効果指標(metric)として用いた場合、“介入の効果の平均はどれくらいか?”よりも“効果を示す何らかのエビデンスがあるか?”というクエスチョンが適切である。(ランダム効果モデルのメタアナリシスの場合と同様)。

エビデンスが限られていたり、アウトカムや効果推定値の報告が不完全であったりしために、初期の分析プロトコールを変更せざるを得なかった場合、それによる限界を報告すること。

ーーーーーーー

メタアナリシスができない、あるいは含まないシステマティックレビュー(SR)については、論文報告の方法や形式に差があり、スタンダードの必要性が主張されてきた。また、従来、Narrative synthesis, Qualitative synthesis, Synthesis without meta-analysis、定性的システマティックレビュー、質的統合、定性的統合などさまざま用語が用いられてきたが、ほぼ同じ意味で用いられてきた。ただし、質的研究Qualitative Researchのシステマティックレビューという意味ではないので、注意が必要である。

SWiMはPRISMA、RAMESESなどを発展させたもので、開発方法もフォーマルな公正さ、透明性を確保する方法が用いられている。SWiMによれば、効果のmetricすなわち効果指標として、たとえばリスクが低下するがその正確な程度はわからないような場合、すなわち「定性的には効果がある」と言えるような場合、介入の効果の方向性についてエビデンスを統合することや、投票結果を用いることまで、方法として含めており、全体として非常に柔軟性の高い方法といえる。

文献:
Campbell M, McKenzie JE, Sowden A, Katikireddi SV, Brennan SE, Ellis S, Hartmann-Boyce J, Ryan R, Shepperd S, Thomas J, Welch V, Thomson H: Synthesis without meta-analysis (SWiM) in systematic reviews: reporting guideline. BMJ 2020;368:l6890. doi: 10.1136/bmj.l6890 PMID: 31948937

Meta-analysis IZ: ブラウザーだけでメタアナリシス

Meta-analysis IZはJavaScript、jStat、jQueryを用いてプログラミングしました。ブラウザでURLを開いて、Sample DataをExcelに貼り付けて、解析したいデータに書き換えて、再度そのデータをコピー・貼り付けして、メタアナリシスを実行し、Forest plot, Funnel lplotを作成します。数値データもフィールドに出力します。

二値変数アウトカムの場合、リスク比、オッズ比、リスク差の統合値を計算し、生存分析の場合、ハザード比の統合値を計算し、連続変数の場合、平均値差または標準化平均値差の統合値を計算します。用いている方法はInverse-variance method分散逆数法でランダム効果効果モデルはDerSimonian-Laird法です。

Meta-analysis IZの使用法の解説ビデオを作成しました。

YouTubeチャンネルのIZ statにあります。このビデオ以外に、診療ガイドライン作成についての解説ビデオがいくつかあります。

また、Meta-analysis IZはWeb tools for systematic reviews and for developing clinical practice guidelinesのツールのひとつです。