Cochrane Handbook for Systematic Reviews of InterventionsはVersion 6.0が2019年中ごろに完成予定とされている。それに先立ち、A revised tool to assess risk of bias in randomized trials (RoB 2)がindividually-randomized, parallel-group trialsに対するツールとして2018年10月に最終版が発表された。RoB 2 toolと非ランダム化比較試験のバイアスリスク評価ツールであるROBINS-I toolに関する情報は Cochrane Collaborationのriskofbias.info で得られる。ROBINS-Iは Risk Of Bias In Non-randomised Studies – of Interventionsのことである。
また、米AHRQも2017年12月13日に Assessing the Risk of Bias in Systematic Reviews of Health Care Interventions. を発表し、Cochrane RoB 2 toolとROBINS-Iを統合したようなバイアス評価法を発表している。この報告書のTable 3. Description of risk-of-bias categories and study design-specific assessment criteria for randomized and nonrandomized studies of interventions (adapted from ROBINS-I)にバイアスリスクのドメインと適用すべき研究デザインがまとめられている。
研究デザインはRCTs、Nonrandomized studies、Case-controlsの３つ、バイアスリスクのドメインはRCT用に５つ、それ以外に対して２つに分類されている。
Bias arising in the randomization process or due to confounding
Bias due to departures from intended interventions
Bias in measurement of outcomes
Bias from missing data
Bias in reporting results selectively
+
Bias in selecting participants into the study
Bias in classifying interventions
従来の名称は、それぞれSelection bias選択バイアス、Performance bias実行バイアス、Detection bias検出バイアス、Attrition bias症例減少バイアス、Selective outcome reporting選択的アウトカム報告バイアスであるが、概念は同じである。
一方CochraneのRoB 2およびROBINS-IはAHRQとほとんど同じであるが、言葉遣いが若干異なっている。また、それぞれのドメインの評価のためのSignalling questionsが用意されていて、それらにYes/Probably yes/Probably no/No/No informationまたはNot applicableで答えて結果が得られるように構成されている。
RoB 2:
Bias arising from the randomization process
Bias due to deviations from intended interventions
Bias due to missing outcome data
Bias in measurement of the outcome
Bias in selection of the reported result
ROBINS-I:
Pre-intervention
Bias due to confounding
Bias in selection of participants into the study
At intervention
Bias in classsification of interventions
Post-intervention
Bias due to deviations from intended interventions
Bias due to missing data
Bias in measurement of outcomes
Bias in selection of the reported result
Post-interventioの4ドメインはランダム化比較試験と同じである。すなわち、”選択バイアス”に該当するバイアスのドメインがランダム化比較試験と非ランダム化比較試験で異なるが、それ以外は共通の概念を有するドメインである。
AHRQの報告書ではDirection and Magnitude of Biasに関して次のように記述されている：
“In rating risk of bias, reviewers should judge (either implicitly or explicitly) both the direction and magnitude of possible bias. Regarding direction, reviewers should be careful not to assume that all study biases result in overestimation of effect sizes. As defined earlier, bias is any mis-estimation of an effect size, and both underestimations and overestimations are problematic for decision makers. ” バイアスリスクのレーティングをする際は、可能性のあるバイアスの方向と大きさの両方を判定すべきである（暗にあるいは明示的に）。方向に関しては、すべての研究のバイアスが効果サイズの過大評価の結果をもたらすとみなさないように注意すべきである。さらにバイアスとは効果サイズのどのようなものであれ誤った推定であり、過大評価も過小評価もどちらも意思決定にとって問題である“と述べている。
一方でCochrane RoB 2 toolでは、The tool includes optional judgements of the direction of the bias for each domain and overall. （中略）If review authors do not have a clear rationale for judging the likely direction of the bias, they should not guess it.と、バイアス効果の方向の評価はオプショナルとなっている。さらに、Cochrane RoB 2 toolでは、Risk of biasは”実質的バイアスのリスク”であり、“Risk of bias” is to be interpreted as “risk of material bias”、と述べられている。そして、”That is, concerns should be expressed only about issues that are likely to affect the ability to draw reliable conclusions from the study.””その研究から信頼できる結論を引き出すことに影響しそうな問題についてのみ懸念が表明されるべきである”としている。
AHRQは介入の効果を比較するランダム化比較試験と観察研究の両方に適用できる共通の枠組みを目指したアプローチとして開発した考えられる。すなわちComparative Effectiveness Research (CER)比較効果研究を対象としている。
いずれも個々の研究の評価の段階で用いられるものである。