システマティックレビューでは採用された研究を個別に評価する必要があります。バイアスリスクの評価について解説します。

メインスライドと解説のPDFファイルはこちらURL: https://info.zanet.biz/lec/srsz/1-rob-main/1-rob-note.pdf

このウェブページのURL: https://info.zanet.biz/lec/srsz/1-rob-main/one.htm

RoB2用評価シートはこちら: https://info.zanet.biz/lec/srsz/1-rob-main/rob2-sheet.xlsx

RoB2 Web Tool-Jはこちら: https://stat.zanet.biz/sr/crobt2_j.htm

バイアスリスク評価に対するMindmapはこちらURL: https://info.zanet.biz/lec/kng/bias_risk.htm

(目次にそれぞれのスライドと解説へのリンクが付いています。Quizへのリンクもあります。)

評価対象研究:
Purdie DR, et al: Hybrid Delivery of Mindfulness Meditation and Perceived Stress in Pediatric Resident Physicians: A Randomized Clinical Trial of In-Person and Digital Mindfulness Meditation. J Clin Psychol Med Settings 2023;30:425-434. doi: 10.1001/jama.2009.1389 PMID: 35778655
PubMed Link (Free full textへのリンクあり)

*ナビゲーションパネルの中央のボタンをクリックすると関連事項、Quizへのリンクが表示されます。

学習ゴールはランダム化比較試験のバイアスリスク評価ができるようになることです。

学習アウトカムは

1. バイアスとバイアスリスクを説明できるようになることと、2. Cochrane Risk of Bias Tool ver.2.0によるバイアスリスク評価ができるようになることです。

数多くのバイアスが知られています。バイアスは効果推定値に対して過大評価に働く場合と過小評価に働く場合があります。

なぜバイアスではなくバイアスリスクを評価するのでしょう?

バイアスは「研究結果の系統的な偏り、あるいは、推定の真実からの系統的な偏り」と定義されます。

研究のさまざまな段階でおきる誤差により真の値からずれが生じることが起きます。

バイアスは3つに分類されます:

選択バイアス Selection bias

情報バイアス Information bias

交絡バイアス Confounding bias

研究のデザイン、セッティング、実施の過程、データ分析の過程などさまざまな段階でバイアスが生じる可能性があります。

交絡バイアスはデータ分析の時点である程度は調整が可能です。

バイアスには数多くの種類があり、特に観察研究の場合は、バイアスの影響を受ける可能性が高くなります。さらに、未知のバイアスの影響、あるいはバイアスの原因となる因子が未測定のこともあります。

どのような研究デザインでもバイアスが生じえます。ランダム化比較試験であっても、さまざまなバイアスの影響を受ける可能性があります。また、盲検化することですべてのバイアスが防止できるわけではありません。

システマティックレビューにおけるエビデンスの評価では、複数の研究をまとめたエビデンス総体のエビデンスの確実性を評価するのが目的になります。エビデンス総体のエビデンスの確実性は、複数のドメインの評価に基づいて行われます。バイアスリスクは、そのうちの一つにあたります。

左側にはランダム化比較試験の場合に評価される5つのドメインすなわちバイアスリスク、非直接性、不精確性、非一貫性、出版バイアスを示します。これらのドメインの評価がそれぞれ エビデンスの確実性を支持する程度を合計したものが、エビデンス総体のエビデンスの確実性に相当します。これら5つのドメインに、エビデンスの確実性を低下させるような問題が認められない場合は、エビデンス総体のエビデンスの確実性はA,B,C,Dの4グレードの内、Aと判定されます。

右側には、観察研究の場合の評価ドメインを示します。ランダム化比較試験の場合の5つのドメインに加えて、大きな効果、量反応関係、効果減弱交絡因子の3つのドメインが追加され、合計8つのドメインの評価が行なわれます。そして、観察研究の場合は、未知の交絡因子による影響を常に想定する必要があるため、エビデンス総体のエビデンスの確実性は、A,B,C,DのうちCから スタートすることになります。このようなドメインとエビデンスの確実性の評価方法はGRADEアプローチに沿ったものです。

ランダム化比較試験

観察研究

バイアスの効果がどのように研究結果に影響するのかについて考えてみましょう。

その介入には全く効果がないにもかかわらず あたかも 効果があるような結果を得ることがありえます。例えば 有害事象のイベント率が低下するような結果が得られた場合、バイアスが過大評価の効果を示したことになります。この図の中央の上段に示す場合 がそれに相当します。グレーで示す真の効果が、バイアスの効果によって、黒で示す結果として現われることになります。

中段に示す例は、真の効果が、小さいにも関わらずバイアスの影響によって、過大評価となり、あたかも大きな効果があるような結果が得られた場合を示します。

下段に示す例は、真の効果は大きいにもかかわらず、バイアスの影響によって過小評価となり、あたかも小さな効果しかないような結果が得られた場合を示します。

多くの場合、バイアスの効果の作用する方向が推定できたとしても、効果の大きさについては正確に決めることは困難です。そのためバイアスのモデルでは、右側に示すように、青で表す バイアスの効果にも点推定値ではなく、一定の分布を想定した不確実性を持たせて考える必要があります。バイアス効果の大きさとその分布を設定することができれば、観察された 効果の大きさを調整して真の値を推定することが可能になります。その場合、調整後の効果の大きさの信頼区間はより幅が広くなり確実性が低くなります。

現在主流のバイアス評価法は、バイアスの原因となる事象が起きた可能性をリスクとして評価するだけで、定量的に評価し、バイアス調整後の真の値を推定することは、ほとんど行われていません。バイアスリスクは効果推定値とは独立して評価されるため、もし、バイアスリスクが深刻であれば、メタアナリシスで得られる統合値と信頼区間は、バイアスの影響を受けた値であって、真の値から偏っているかもしれないということを念頭に解釈する必要があります。

文献:Turner RM, Spiegelhalter DJ, Smith GC, Thompson SG: Bias modelling in evidence synthesis. J R Stat Soc Ser A Stat Soc 2009;172:21-47. PMID: 19381328

Cochraneのランダム化比較試験に対するRisk of bias toolは2019年に改訂され、バージョン1.1から2.0になりました。

バイアスではなくバイアスリスクという言い方をするのは、先ほど述べたように、バイアスの効果を正確に推定することは多くの場合難しいという考えが背景にあります。一方で、バイアスの効果の大きさとバイアスのリスクつまりバイアスによる偏りが生じている可能性とは別の概念ですから、あらかじめどの程度の大きさのバイアスのリスクを推定するかを決めておく必要があります。Cochrane risk of bias toolの考え方では、その研究から信頼できる結論を引き出すことが難しいと言えるほどの大きさのバイアスのリスクを評価することになっています。そのような大きさのバイアスのことをmaterial biasという風に呼んでいます。しかしながらどの程度の大きさのバイアスをmaterial biasとするかは明確にされていないことがほとんどです。

また、バイアスのドメインは複数あるわけですけれども、それぞれのドメインの判定が、同じ程度の大きさのバイアスのリスクを評価するということを前提としています。つまりあるドメインのバイアスリスクを高と判定した場合と、別のドメインのバイアスのリスクを高と判定した場合は、いずれも効果推定値は同じ程度偏っていると考えるということになります。したがって、いずれかのドメインが高の判定になると、その研究のバイアスリスクは高という判定になります。

しかし、ここで問題になるのは、バイアスの効果の方向性、つまり過大評価なのか過小評価なのかを考慮していないということです。ひとつのドメインのバイアスが過大評価に働いて、別のドメインのバイアスが過小評価に働いている場合は、研究で得られた効果推定値は真の値からずれていないことになります。しかし、バイアスの効果の方向性を考慮しないとその研究はバイアスリスクが高いという判定になり確実性が低いとみなされることになってしまいます。Cochrane risk of bias toolはこのバイアスの効果の方向性の評価がオプショナルになっています。その理由はその評価にはその疾患に対する専門的な知識や経験が必要で、多くのレビュアーにとってその評価が困難なためと考えられます。

わが国では疾患専門家がシステマティックレビューを行うことが多いので、バイアスの効果の方向性については特別な作業をしなくてもある程度評価が可能ではないかと考えられます。 しかしながら、あくまでオプショナルな項目であることから、多くの場合、バイアス効果の方向は評価されないと思われます。

Revised Cochrane risk-of-bias tool for randomized trials (RoB 2) (22 August 2019)

https://www.riskofbias.info/welcome/rob-2-0-tool/current-version-of-rob-2

介入研究では介入群と対照群におけるアウトカムが比較され、介入の効果が解析されます。介入群と対照群がどのように設定され、アウトカムがどのように測定されるかによって、研究結果の科学的妥当性は異なってきます。

この図では、介入研究で起きうるバイアスの種類とその対処法、および、どの段階でバイアスが発生するかを示しています。

ランダム化比較試験では、介入群と対照群は介入以外の点で、未知の因子も含めて、アウトカムに影響を与えうる因子はバランスがとれるはずで、もしアウトカムに差が認められれば、それは介入による効果であることを証明することができます。

ランダム化比較試験以外の場合、アウトカムに差が認められても、それが、介入による効果であることを証明することは程度の差はありますが、困難になり、結果には不確実性を伴います。一方、ランダム化比較試験であっても、ランダム割り付けが実現しない場合もあります。例えば、担当医が割り付け表を見ることができると、登録予定の症例の状態に応じて、有効性が高いと思われる治療に登録する操作が可能になり、結果はバイアスの影響を受けたものになってしまいます。これは、コンシールメントが行われなかったためのバイアスになります。

今まで、ランダム化比較試験などの介入研究におけるバイアスとして、選択バイアス、実行バイアス、検出バイアス、症例減少バイアス、その他のバイアス(選択的アウトカム報告など)が評価ドメインとされてきました。そして、選択バイアスはランダム配列の生成、ベースラインの不均衡、コンシールメント、実行バイアスは医療者と患者の盲検化、検出バイアスはアウトカム測定者の盲検化、症例減少バイアスは、不完全アウトカムデータ、Intention-to-treat解析の実施の有無、その他のバイアスは、選択的アウトカム報告、早期試験中止、その他のバイアス、これらについてバイアスリスクとして評価されてきました。

結果に大きな偏りを引き起こすほどの効果をもつバイアスの可能性を、高、中、低の3段階、あるいは高、不明、低の3分類で評価することが一般的でした。

2019年8月にコクランがRisk of bias tool version 2.0へ移行したことに伴い、ランダム化比較試験のバイアスリスク評価法が変わりつつあります。今日は、このRoB2についてウェブツールも用いながら解説します。ただし、ここに示すドメイン1~4のバイアスはRoB2では、名称が変更されていますが、概念は同じままです。

ランダム化比較試験

ランダム化比較試験に対する、個別研究のバイアスリスクのドメインと項目について示します。従来、選択バイアスSelection bias、実行バイアスPerformance bias、検出バイアスDetection bias、症例減少バイアスAttrition bias、その他のバイアスOther biasesの各ドメインがあり、それぞれのドメインにここに示すような項目が設定されていました。

Cochrane risk of bias tool version 2.0ではこれらのドメインの名称がさまざまな理由から変更されました。しかし、概念はまったく同じです。基本は、ここに示す、”ランダム化の過程から生じるバイアス”、”治療企図からの乖離によるバイアス”、”アウトカム測定におけるバイアス”、”アウトカムデータの欠損のため生じるバイアス”、”報告結果の選択におけるバイアス”の5つに限定されています。

また、各ドメインに対して、いくつかのシグナリングクエスチョンが設定されており、それらにYes, Probably yes, Probably no, No, No informationなどの選択肢から答えを選ぶことで、判定ができるように考案されています。それを実行するExcelマクロも公開されています。ただし、シグナリングクエスチョンは柔軟な取り扱いになっており、あくまでレビュアの判定を優先することになっています。

観察研究のバイアスリスク

診断精度研究のバイアスリスク

コクラン リスクオブバイアス ツール バージョン2ではランダム化比較試験のバイアスを以下の5つのドメインに限定しています。

1. ランダム化の過程から生じるバイアス

2. 治療企図からの乖離によるバイアス

3. アウトカムデータの欠損のため生じるバイアス

4. アウトカム測定におけるバイアス

5. 報告結果の選択によるバイアス

ここでは、バイアスのより基本的な点について解説します。今回のセミナーではオプショナルな内容ですので、スキップしても構いません。

バイアスの解析を行う際に、Directed Acyclic Graph (DAG) 有効巡回グラフがよく用いられます。DAGでは矢印は因果関係を表し、I, O, Cなどは変数を表していることをまず確認しておきましょう。

例えば、介入を表す変数IはI=0が対照、I=1が介入とします。アウトカムを表すOは二値変数としてO=0がアウトカムが生起しなかった、O=1がアウトカムが生起したことを表すとします。そうすると、各群の絶対リスクとリスク比は以下の式で表されます。

対照群の絶対リスク P(O=1|I=0) = P(I=0|O=1)*P(O=1)/P(I=0)

介入群の絶対リスク P(O=1|I=1) = P(I=1|O=1)*P(O=1)/P(I=1)

リスク比 RR = P(O=1|I=1)/P(O=1|I=0)

上記のランダム化比較試験の5つのバイアスがI. 交絡バイアス、II. 選択バイアス、III. 情報バイアスのどれに分類されるか考えてみましょう:

I. 交絡バイアスの例:医師、参加者に対する盲検化が行われない場合。

もし参加者に対する盲検化がないと、参加者は割り付けられた治療が何かを知ることができ、対照群に割り付けられた人は特に、別の治療を受ける割合が多くなったとします。

別の治療を受ける C=1;別の治療を受けない C=0 とするとP(C=1)、つまり、別の治療を受ける確率が増加します。

その結果は、介入を表す変数Iを変えてしまい、介入の効果が変わってしまうでしょう。

さらに、交絡因子であるCはアウトカムOにも影響を与えます。実際に受けた別の治療が何かを知ることは多くの場合困難ですが、その治療の効果がOに対して現れる可能性があります。例えば、もし効果のある既存の治療を受けたとすると、その効果が現れます。

つまり、“別の治療を受ける”という“治療企図からの乖離”は対象者の介入の内容を変え、治療の効果=アウトカムを変えてしまうので、交絡因子になります。それにより生じるバイアスは交絡バイアスになります。

II. 選択バイアスの例:コンシールメントがない場合。

コンシールメントがなかった場合、担当医師は次の参加者の割付を知ることができます。介入が有効性が高い新しい治療法の場合、もし重症度の高い患者に対してそれを提供したいと考えたとします。次の割付が対照だった場合、それをパスしてより軽症の患者に参加してもらい、割付を調整することが可能です。そうすると、対象者の選択とくに介入群の選択が影響を受け、介入群は重症度の高い人が多くなります。そのように選択された対象者における介入の効果は真の値からは偏った値になり、過小評価になるでしょう。

また、対象者の選択はアウトカムの影響も受けます。例えば、対照群に比べ、介入群で重大な副作用の頻度が高く、そのために治療を中断する人が多くなると、脱落例が介入群で多くなり、アウトカムデータの欠損のため生じるバイアスが発生します。

このように、対象者の選択は介入とアウトカムの両方の影響を受けた共通結果になります。その場合、Sの値によって分類されるある層だけ、例えば、副作用が軽かった例だけを分析すると選択バイアスが生じます。また、もし選択の変数Sで調整した分析を行っても選択バイアスが生じます。

報告結果を研究者に都合の悪い場合は報告しないようにしたとします。アウトカムが副作用のような有害事象だとします。その場合は、介入群の頻度が対照群より多い場合は、都合の悪い結果になります。つまり、そのアウトカムに関して、介入群の絶対リスクが対照群の絶対リスクより高く、リスク比は1より大きくなります。もしリスク比が1であれば、介入にも対照にもどちらが望ましいとも望ましくないとも言えません。変数Sは報告するアウトカムの対象例に選択くする場合はS=1、報告しないアウトカムの対象例に選択する場合はS=0とします。

リスク比RRはI=1の場合にO=1となる確率をI=0の場合にO=1となる確率を割り算した値になります。

P(O=1|I=1) = P(I=1|O=1)P(O=1)/P(I=1) --- ① この式はベイズの定理です。|は右側の条件が満たされたときに左側が起きる確率、つまり条件付き確率を表します。

P(O=1|I=0) = P(I=0|O=1)P(O=1)/P(I=0) --- ②

RR=①/② = P(O=1|I=1)/P(O=1|I=0) = [P(I=1|O=1)/P(I=0|O=1)]*[P(I=0)/P(I=1)]

P(I=0) = 1 ? P(I=1)

そのアウトカムの絶対リスクとRRの計算には、I=0あるいはI=1となる確率の値とO=1となる確率の値が必要ですから、S=1からS=0かを決めるのに変数Iと変数O(図の中のO*)が影響を与えることがわかります。すなわち、SはIとO*の共通結果です。したがって、報告結果の選択によるバイアスも選択バイアスに分類できます。

III. 情報バイアスの例について考えてみましょう。

例えば、アウトカム測定者の盲検化が行われていない場合、アウトカム測定者が介入治療に大きな期待を抱いていると、介入治療を受けている参加者の方に望ましい結果になるような測定あるいは誤分類を行う可能性が高まります。その結果、介入群に有利な結果、すなわち過大評価のバイアスが生じるでしょう。いわゆる検出バイアスです。赤い矢印がその関係を示します。

バイアスと因果関係図 Directed Acyclic Graph (DAG)

Cochrane risk of bias tool 2.0によるバイアス評価です。

ここから、実際のRoB2の各ドメインとシグナリングクエスチョンについて解説します。

乱数表またはコンピュータ生成乱数を用いて、単純ランダム化(各アームの症例数をコントロールしない)、ブロックランダム化(各アームの症例数をコントロールする)、層別ランダム化、・最小化法(アウトカムに影響する因子でバランスをとる)を用いるのが一般的で、これらの方法であれば、1.1はYesとなります。

コイントス、サイコロ、封筒のシャッフルはYesですが、カルテ番号や誕生日の最後の数字による割り付けであれば、Noとなります。

割り付けを予測できないようにすることがコンシールメントで、例えば、中央管理割り付け、中身を知ることができず開封を知ることができる封筒法などであれば1.2はYesとなります。治療薬は連続数が付けられ、中身を推測できない形で管理される必要があります。

Patients’ profileの表で、ベースラインの不均衡について、検討します。比較される群間で、異なる属性がある場合、有意差が無くても、アウトカムに影響する場合がありえます。その因子は交絡因子として結果に影響を与える可能性があります。ランダム化に問題があったことを示唆します。逆に、属性に過剰な一致がある場合は、群間で人為的な調整が行われたことが疑われます。症例数に応じたランダムな、ずれがあるのが正常です。

ベースラインの不均衡があるため、多変量解析などで調整された場合、ランダム化に問題があるとみなすことが望ましいとされています。アウトカムに影響を与えうる、すべての因子が測定されていて、それらで調整することはほぼ不可能なので、その研究は非ランダム化比較試験とみなし、ROBINS-Iなどで評価すべきとされています。

Web tools for systematic reviews and for developing clinical practice guidelines

https://stat.zanet.biz/sr/

RoB2 Web Tool-J

https://stat.zanet.biz/sr/crobt2_j.htm

2.1、2.2のシグナリングクエスチョンは参加者の盲検化、医療者の盲検化に関するものです。これらがYesであるだけでは、判定は確定しません。

2.3での“試験の文脈” から生じる乖離とは、“募集と契約による参加者への効果および医療提供者による介入の提供に対する無意識あるいは意識的プロセスへの効果によって生じるもの”をいいます。つまり、参加者は臨床試験に参加することを決め、契約する際に、自分が割り付けられる介入の候補がどのようなものかを知ることになります。そして、自分の受けている介入が何かを知ることができたり、推定できるような場合、他の治療を探し求めて、それを追加で受けたり、割り付けられた介入がプロトコール通りに受けていない事態が発生する可能性が出てきます。治療へのアドヒアランスが変わってくる場合もあります。医療提供者も、割り付けられた介入を知ることができたり、その参加者の治療効果から推定したりして、他の治療を追加したりすることが起きえます。これらは“試験の文脈”から生じる乖離に相当します。試験の文脈とは関係なく、例えば、何らかのサプリメントを摂取したり、何らかの健康増進の活動をするようなことは含まれません。

2.4ではそのような乖離がアウトカムに影響したと思われるかどうかを問うています。

そして、2.5では、結果として乖離が群間でバランスがとれていると思われるかを問うています。

副作用が出た場合の、治療法の変更がプロトコールで認められている範囲で行われている場合は、治療企図からの乖離とはみなしません。

Part 2では、解析方法について問うています。

解析の手法として、Intention-to-treat解析、Modified intention-to-treat解析、As-treatedまたはPer-protocol解析などがあります。

Intention-to-treat解析(治療企図解析)、Modified intention-to-treat解析であれば、適切な解析とみなし、Yesとなります。(不完全アウトカムデータへの対処法としては、多変量補完法が望ましいとされています。)

As-treatedまたはPer-protocol解析の場合は、適切な解析とはみなしません。

ランダム割り付け後の適格症例の除外は不適切とみなします。ランダム割り付け後の不適格例の除外は一般的に適切とみなします。

2.7では、除外されたり、企図された介入から乖離した症例がどの程度の割合ならば結果に大きな影響を与えるかについて考えることが求められますが、一様な基準を設定することは難しいとされています。5%程度の割合でもYesとなる場合もあり得ます。

3.1について、連続変数のアウトカムに対しては、参加者の95%のデータが得られれば十分と言えます。二値変数アウトカムの場合は、脱落例数は直接、効果推定値に影響しますが、イベント数が脱落例数よりずっと多い場合は、バイアスは小さいでしょう。

NIはアウトカムデータの欠損について論文に記載がない場合です。この場合は、多くの場合、高バイアスリスクになります。

3.2について、アウトカムデータの欠損によるバイアスを調整する方法が用いられた場合、データ欠損の程度に関する感度分析で結果に大きな変動がない場合はYesまたはProbably yesになります。多変量補完法でアウトカムデータの欠損を補完した場合、介入群だけに適用することは適切ではありません。

3.3について、アウトカムデータの欠損が参加者の健康状態に関連して起きている場合は、YesまたはProbably yesになります。脱落がアウトカムと関係ない理由によることが記録されている場合は、NoまたはProbably noになり、バイアスリスクは低となります。生存分析での打ち切り例は、解析には含めますが、アウトカムデータの欠損した例とみなします。

3.4について、3.3がYesの場合、中バイアスリスク(Some concerns)の判定になりますが、3.4がYesの場合は、高バイアスリスクの判定になります。

介入群と対照群の脱落例数に差があり、介入と対照のアウトカムに対する効果に差があり、アウトカムデータの欠損が真の値に依存する場合は、アウトカムデータの欠損に差がある場合は、バイアスリスクが高まり、Yesとなります。生存分析の場合は、打ち切りの群間差がある場合に同様です。

すでに、同様のアウトカムデータの欠損が真の値に依存するというエビデンスが報告されている場合も、Yesとなります。また、群間でアウトカムデータの欠損が異なる理由が報告されている場合も、Yesとなります。

例えば、統合失調症で報告されているように、症状の持続は、脱落につながることが広く認められているように、アウトカムデータの欠損が真の値に依存する状況が知られている場合も、Yesです。

生存分析の場合は、参加者が割り付けられた治療を中止あるいは変更した時、例えば、副作用で中止したり、セカンドラインの治療に変更したような場合、打ち切りとなります。

アウトカムデータの欠損と真の値の関係を説明できる参加者の属性で解析を調整できるような場合は、Noです。

データ欠損の3つのタイプ

4.1は、アウトカムの選択ではなく、アウトカム測定法に関するものです。通常、事前に測定が計画されている場合、Noとなります。

測定法の感度の面で介入の効果の範囲外の値を測定しようとする場合、測定機器の妥当性が低い場合はYesまたはProbably yesとなります。

4.2は、比較する群間で、測定方法や、データ収集(タイミングなど)に差があれば、YesまたはProbably yesになります。

4.3は、盲検化されていれば、Noです。なお、患者報告アウトカムの場合は、アウトカム測定者は参加者自身になります。

4.4は、たとえば、全死亡は、影響を受けるアウトカウでないことは知られていますが、患者報告アウトカム(痛みのレベルのような)、ある程度の判断が必要な観察者報告アウトカム、介入提供者の決断アウトカムの場合は、Yesになります。

4.5は、受けている介入を知ることで、アウトカムの評価が影響受けたことが分かっているが、それが起きたことを信ずるに足る理由がない場合(Some concernsの判定となる)とアウトカムの評価が影響を受けたと思われる場合(Highの判定になる)があります。介入に有益あるいは有害な効果があることに強い確信があるときは、受けている介入を知ることで、アウトカムが影響を受ける可能性が高まります。

5.1解析方法は事前に定められている必要があり、盲検化解除後に得られたデータに合わせて変更してはなりません。もし必要な場合でも、解析方法の変更は、盲検化解除の前に行うべきです。

5.2は、プロトコールに従ったアウトカムのデータが報告されていれば、NoまたはProbably noとなります。分析の意図が不明あるいは報告されていない場合で、アウトカムドメインの測定法が複数ある場合はNIとなります。

従来、その他のバイスには、以下の項目も含まれていましたが、現在RoB2の基本形に、これらは含まれていません。

○項目:早期試験中止バイアス

計画された分析結果報告か?都合のいい結果が出た時点で中止していないか?

→計画書で予定された分析か?

○項目:その他のバイアス

COIや研究の資金源が結果に偏りを与えないか?

その他に結果を歪めるバイアスは存在しないか?

バイアス効果の方向に対する判定の略語については以下の通りです:

NA Not Applied 適用しない。

fE Favors the experimental intervention 介入が優位。

fC Favors the comparator 対照が優位。

tN Towards the null effect 無効果の方向へのバイアス。(例:年齢層が幅広いなど、異質性の大きな集団を対象にしている。)

aN Away from the null effect 無効果から離れる方向へのバイアス。(例:均質な集団に偏っている。)

uP Unpredictable 予測不可能。

シグナリングクエスチョンに基づく判定アルゴリズム

RoB 2ウェブツール URL: https://stat.zanet.biz/sr/crobt2_j.htm

RoB Web toolの結果をMinds評価シートに転記し、研究ごとのバイアスリスクのまとめの評価を確認します。

もし評価者の評価結果とシグナリングクエスチョンに基づく評価結果が異なる場合は、前者を優先します。そして、その理由を記載しておく必要があります。

それぞれの研究について各ドメインの評価をした後、その研究について全体的なバイアスリスクの評価をすることになります。その際のCochrane risk of bias toolの基準をここに示します。

全てのドメインの評価が低の場合には、その研究のバイアスリスクも低、少なくとも一つのドメインの評価が中の場合にはその研究のバイアスリスクは中(Some concerns)、 少なくとも一つのドメインの評価が高の場合にはその研究のバイアスリスクは高、いくつかの複数のドメインの評価が中の場合にはその研究のバイアスリスクは高、というのがおおよその基準になっています。 (ここではSome concernsと中は同じ意味で用いています)。ただし、中の評価のドメインがいくつあったら高とみなすかということについては、それぞれの評価者によります。

アメリカのAgency for Healthcare Research and Quality (AHRQ)は、バイアスの効果推定値の確実性への影響だけでなく、効果推定値に対するバイアスの効果の大きさと方向に対する評価を求めています。

すでにお話ししたように、バイアスの効果の大きさと方向を評価するかしないかによって、それぞれの研究のバイアスリスクの評価が変わってくる可能性があります。バイアスリスクの評価をする場合および評価結果を見る場合には、その点の考慮が必要になります。しかしながら、ほとんどのシステマティックレビューではバイアスの効果の大きさと方向性の評価が行われておらず、バイアスのリスクのみの評価結果が提示されています。

バイアスリスクの各ドメインの評価結果を研究ごとにまとめ、さらに研究横断的に複数の研究をまとめる場合、すなわちエビデンス総体のバイアスリスクは、各研究のサンプルサイズとイベント率を考慮した重みづけを用いて、研究ごとのまとめの評価が大部分の研究で低であればまとめも低(深刻でない)、そして研究ごとのまとめの評価が大部分の研究で中であればまとめも中(深刻な限界)、研究ごとのまとめの評価が大部分の研究で高であればまとめも高(非常に深刻な限界)と判定します。

さて、非直接性はクリニカルクエスチョンのPICOと研究のPICOのずれによって生じる不確実性を表すドメインです。

非直接性があると、効果推定値に対して、真の値から偏りを生じ、非直接性はバイアスと同じ効果を持ちます。したがって、外的バイアスExternal biasと呼ぶ研究者もいます。また、適用可能性Applicability、外的妥当性External validity、一般化可能性Generalizabilityと同じ意味で用いられますが、適用可能性は個別患者で判断が必要になるので、AHRQは非直接性を適用可能性と分離する考えを採用しています。

わが国で作成する診療ガイドラインの対象は日本人なので、研究が欧米で行われている研究の場合、人種差が問題になる疾患があります。また、投薬の用量が異なることもあります。同じ疾患でも医療事情の差で、病期や重症度が異なる場合もあります。これらは非直接性として評価されます。

以上述べてきた、バイアスリスクと非直接性は個別の研究について評価を行う必要があります。ここからは、複数の研究を前提にしたエビデンス総体の評価に進むことになります。

非直接性のまとめ

まとめです

バイアスは研究結果が真の値から偏りを生じさせ、結果の信頼性を低下させる要素で、システマティックレビューではその評価が必須です。

・その研究から信頼できる結論を引き出すことが難しいと言えるほどの、大きさのバイアスのリスクの程度を評価します。

・Cochrane Risk of Bias Tool ver.2.0ではシグナリングクエスチョンに答えていくことでランダム化比較試験のバイアスリスクの評価を行います。

・結果は各ドメインをLow, Some concerns, Highの3段階で評価し、研究ごとにまとめ、さらに複数の研究の評価をまとめて、エビデンス総体のバイアスリスクの評価とします。

目次パネルの右のボタンをクリックするとQuizへのリンクが表示されます:

Quiz 1

Quiz 2

Quiz 3


  1. バイアスリスクの評価
  2. 学習ゴールと学習アウトカム
  3. バイアスとバイアスリスク
  4. 研究における誤差・バイアス
  5. 研究のタイプとバイアスの種類
  6. エビデンス総体のエビデンスの確実性に影響する因子のドメイン
  7. バイアス効果の方向・大きさ・不確実性
  8. バイアスとバイアスリスク
  9. 介入研究のバイアスリスク
  10. 個別研究のバイアスリスクのドメインと項目: RCT
  11. バイアスの分類とRoB 2のバイアスドメイン
  12. Cochrane Risk of Bias Tool ver.2.0によるバイアス評価
  13. ドメイン1 ランダム化の過程から生じるバイアスリスク(選択バイアス)
  14. ドメイン2 治療企図からの乖離によるバイアスリスク(実行バイアス )-1
  15. ドメイン2 治療企図からの乖離によるバイアスリスク(実行バイアス )-2
  16. ドメイン3 アウトカムデータの欠損のため生じるバイアスリスク(症例減少バイアス)
  17. ドメイン4 アウトカム測定におけるバイアスリスク(検出バイアス)
  18. ドメイン5 報告結果の選択におけるバイアスリスク(その他のバイアスの内の選択的アウトカム報告)
  19. RoB2 Web Tool-J
  20. 評価シート
  21. Overall judgement
  22. バイアスリスク Risk of bias
  23. 非直接性(Indirectness)
  24. まとめ

観察研究のバイアスリスクの評価については、CochraneはROBINS-I Risk of bias in non-randomized studies of interventionsを2016年に公開しています。

URL: https://methods.cochrane.org/methods-cochrane/robins-i-tool

ROBINS-Iは介入の効果を解析する目的で行われた非ランダム化比較試験、コホート研究、症例対照研究を主な対象としています。

一方で、GRADE Working Groupは観察研究のバイアスリスクの評価法については、確定的な方法論は提示しておらず、ROBINS-Iとの相違点を指摘した論文を発表しています。対象とする観察研究の研究デザインの範囲についても相違があります。GRADE Working Groupは症例報告も含め、すべての臨床研究を対象として考えています。

ROBINS-Iは理想的なランダム化比較試験を想定し、それと評価対象の研究を比較しながら、エビデンスの確実性をダウングレードしていく方法をとっています。

観察研究の場合の個別研究の評価ドメインとして、Mindsではランダム化比較試験の場合と同じドメインを設定しています。評価項目は、“比較される群間の背景因子の差”、“ケアの差”、“不適切なアウトカム測定”、“不完全なフォローアップ”、“不十分な交絡の調整”、“その他のバイアス”です。

“比較される群間の背景因子の差”とは、交絡因子に相当します。すなわち、どの治療を受けるかということと=要因曝露とアウトカムの両方と関連がある因子があれば、その因子は比較される群間で差があるはずで、背景因子の差は交絡の可能性を示すことになります。

Mindsの評価項目とROBINS-Iの評価項目は呼び方は異なっていても、それぞれ対応していることがわかります。ただし、ROBINS-Iにある、“報告結果の選択におけるバイアス”すなわち選択的アウトカム報告と“介入の分類におけるバイアス”については、その他のバイアスに含める点が異なります。

診断精度研究Diagnostic Test Accuracy (DTA)studiesのバイアス評価については、QUADAS-2が広く用いられており、MindsではQUADAS-2(Quality Assessment tool for Diagnostic Accuracy Studies-2)に基づいた評価ドメインと評価項目を設定しています。

診断精度研究では感度・特異度の値について統合値がメタアナリシスの手法で算出されます。二変量モデルBivariate modelを用いた、Hierarchical Receiver Operating Characteristic Analysisが行われます。

QUADAS-2

URL: http://www.bristol.ac.uk/population-health-sciences/projects/quadas/quadas-2/

Minds 特別寄稿5 診断に関する診療ガイドライン(CPG)の作成

URL: https://minds.jcqhc.or.jp/s/guidance_special_articles5_1

これは、Cochraneのウェブサイトで提供されているExcelマクロのツールです。論文として、コクランのシステマティックレビューを作成することが目的なので、構成が非常に詳細で、使用に時間がかかります。

Excel tool to implement RoB 2: https://drive.google.com/file/d/1uwAVr-wKE3elEzcsVOBGLzJOVhbpf321/view

それぞれのシグナリングクエスチョンの回答の組み合わせで、そのドメインのバイアスリスクの判定が決まります。

さて、非直接性はクリニカルクエスチョンのPICOと研究のPICOのずれによって生じる不確実性を表すドメインです。

非直接性があると、効果推定値に対して、真の値から偏りを生じ、非直接性はバイアスと同じ効果を持ちます。したがって、外的バイアスExternal biasと呼ぶ研究者もいます。また、適用可能性Applicability、外的妥当性External validity、一般化可能性Generalizabilityと同じ意味で用いられますが、適用可能性は個別患者で判断が必要になるので、AHRQは非直接性を適用可能性と分離する考えを採用しています。

わが国で作成する診療ガイドラインの対象は日本人なので、研究が欧米で行われていう研究の場合、人種差が問題になる疾患があります。また、投薬の用量が異なることもあります。同じ疾患でも医療事情の差で、病期や重症度が異なる場合もあります。これらは非直接性として評価されます。

バイアスリスクと非直接性は個別の研究について評価を行う必要があります。

非直接性の場合の研究横断的なまとめ方は、バイアスリスクの場合と同様です。まとめの評価は高、中、低、あるいは非常に深刻、深刻、深刻でないの3段階に分類します。用いる研究が欧米で行われている研究の場合は、日本人集団に適用した場合にどれくらいアウトカム差が出るかというのを推定することが重要になってきます。非直接性の評価は疾患専門家でないと難しい作業になります。

回答はこちら

出版バイアスは有意差が得られたなど望ましい結果が得られた研究が論文化され出版されるが、望ましくない結果が得られた研究は論文化されず出版されない傾向があるため、出版された論文だけを統合すると過大評価になるバイアスの事である。出版バイアスも“報告バイアス”のひとつであり、報告結果の選択によるバイアスも報告バイアスのひとつであるが、それは出版バイアスではない。報告結果の選択によるバイアスは、さまざまなアウトカムに対する介入の効果の内、研究者に都合のよい結果だけを論文に記載し、都合の悪い結果は記載しないということで生じるバイアスである。このバイアスのチェックのためには、研究プロトコールに記載されているアウトカムがすべて報告されているかどうかをチェックすることが一般的である。

疫学分野ではバイアスを①交絡バイアス、②選択バイアス、③情報バイアスの3つに分類することが一般的である。

選択バイアスは対象者の選択によって生じるバイアスであるが、使用者によってさまざまな定義で用いられており、混乱を生じることが指摘されてきた。一例として、疫学者は研究対象の選択という意味で用い、経済学者は介入群の選択という意味で用いることが一般的であることが指摘されている。Cochrane RoB 2で選択バイアスという用語の使用をやめ、ランダム化の過程から生じるバイアスという表現に変更した理由はそのような混乱であったと述べられている。

しかし、一方で疫学分野では選択バイアスという用語は用いられており、ランダム化以外の対象者の選択によるバイアスも含めている。Cochrane RoB 2ではランダム化比較試験の研究対象者のランダム化のみを取り上げており、それに対して選択バイアスという呼び方をやめようということであり、ランダム化以外の選択バイアスがあることを無視しているわけではない。

問題へ戻る

回答はこちら

左側はCochrane Risk of Bias Tool ver.1.1におけるバイアスドメインの名称で右側は同ver.2.0における名称である。

症例募集におけるバイアスが起きるとすると、選択バイアスに相当する。

症例減少バイアスは、アウトカムデータの欠損のため生じるバイアスに相当する。脱落が群間で偏って生じる場合にバイアスを生じるが、脱落例は経過の途中までしか追跡できていないので、最終的にアウトカムが不明になってしまう。すなわち、アウトカムデータの欠損が起きたと考えられるので、症例減少バイアスとアウトカムデータの欠損のため生じるバイアスは同じ概念である。

問題へ戻る

回答はこちら

バイアスドメインの概念は同じであるが、名称が変わった。例えば、実行バイアスのリスクは“治療企図からの乖離によるバイアスリスク”とより具体的な呼び方になった。

シグナリングクエスチョンの回答の組み合わせによっては、そのドメインの判定が決まらない場合がある。

バイアス効果の方向は、適用不可、介入が優位、対照が優位、無効果の方向、無効果から離れる方向、予測不能の6つの判定があるが、必須ではなく、評価者が理論的根拠を述べられない場合、当てずっぽうで判定することはすべきでない。

少なくとも2名の評価者が判定すべきである。不一致の場合は、議論の上、ひとつに定める。

評価者の判定を優先することが認められている。

問題へ戻る

ランダム化比較試験では対象者を実験群=介入群と対照群にランダムに割り付けます。ランダムに割り付けるということは、もし実験群と対照群を同数にするのであれば、各対象者が試験に参加することに同意して参加することが決まった際に、0.5の確率で介入あるいは対照に割り付けられるということになります。もし2:1なら、0.33および0.67の確率で割り付けられます。介入か対照のいずれかに割り付けられることになりますが、そこには偶然性が含まれています。

理論的には、ランダム割り付けにより、比較される群間で介入以外の点で差がなくなるので、もしアウトカムに差があれば、介入の効果としか言えないことになります。アウトカムに影響を与えうる未知の因子についてもバランスが取れるということがランダム化比較試験の最大の利点です。

実際には、症例数が少ないと、さまざまな背景因子について比較する群間で差が生じる可能性があります。最小化法や、層別ランダム化はそのような差を小さくすることができます。

もしアウトカムに影響を与えることが分かっている因子がある場合、それらのバランスをとるために、最小化法や層別割り付けといった手法が用いられることがあります。

ベースラインでアウトカムに影響を与えうる因子=背景因子が対照群と介入群で差がある場合、それらは交絡因子となる可能性があります。その場合、有意差があるかどうかは関係ありません。交絡因子は、介入の効果の解析の際に多変量回帰モデルでこれらの因子で調整することが可能です。

コホート研究では、研究対象をリスクファクターで分類し、その後の経過でアウトカムが起きる割合をリスクファクター+とーの2群で比較します。時間軸では、最初にリスクファクターを測定し、一定時間後にアウトカムを測定しますので、解析は前向きになります。リスクファクター暴露群で非暴露群より、アウトカム生起が多いと、因果関係を推定できます。効果指標としてリスク比もオッズ比も算出することができます。また、打ち切りがある生存分析を用いる場合は、効果指標としてハザード比を算出することができます。 すでにアウトカムが生起してから、過去にさかのぼって、リスクファクターを調査し、解析は同じように前向きで行うことも可能です。後ろ向きコホート研究Retrospective cohort studyと呼ばれます。通常のコホート研究であれば、リスクファクター、アウトカム、ありうる交絡因子の測定を計画的に行えるので、後ろ向きコホート研究に比べ、よりバイアスが少なく妥当性の高い研究結果が得られます。

症例対象研究はすでにある病態、あるいは疾患が起きた人と、そうでない人を過去にさかのぼって、リスクファクターを調査しリスクファクターと病態・疾患との関係を解析します。症例群でリスクファクターの暴露が対照群より多かった場合、リスクファクターと発生の関係を推定できます。効果指標としてオッズ比を求めることはできますが、リスク比を求めることはできません。解析の向きが後ろ向きの研究デザインです。

横断研究、診断精度研究(Diagnostic Test Accuracy DTA study)、症例シリーズ、症例報告も観察研究に含まれる。

Quasi-randomized trial 準ランダム化試験はランダム割り付けが不完全な方法によるもの、たとえば誕生日の末尾の奇数偶数、カルテ番号や電話番号の末尾の奇数偶数、受診した順番で交互に割り付ける、などが用いられた場合で、真のランダム割り付けにはならない。

因果関係図Causal Diagram=有向非巡回グラフDirected Acyclic Graph (DAG)

共通原因によるバイアス:交絡バイアス → 治療企図からの乖離によるバイアス

共通原因=交絡因子

I 介入;O アウトカム;C 共通原因=介入とアウトカムの両方に影響を与える因子

これらは変数であり、値が設定される。例えば、介入群はI=1、対照群はI=0と値を設定することができる。

矢印は因果関係を表し、矢印の元が原因、先が結果で、効果は一方向性である。

グレイの矢印が知りたい因果関係。ボックスで囲んであるのが実際の分析対象。

青の点線は“Backdoor path”で、これがオープンすると、I → C → Oの経路でIがOに影響を与えることができるようになり、I → Oで現れる効果にバックドア・パスによる効果が混じることになる。

共通効果によるバイアス:選択バイアス → ランダム化の過程から生じるバイアス、アウトカムデータの欠損のため生じるバイアス、報告結果の選択におけるバイアス

共通効果=Collider合流因子 選択バイアスはCollider biasと呼ばれることもある。

選択バイアスは“対象者の選択に伴って生じるバイアス”であるが、適用可能性、非直接性とは異なる。

I 介入;Oi 中間アウトカム;S 共通効果(選択);Oe エンドポイントのアウトカム

Sを囲むボックスは介入とアウトカムに基づく対象者の除外が研究デザインあるいは分析のしかたで起きることを示している。

系統的測定誤差・誤分類によるバイアス:情報バイアス → アウトカム測定におけるバイアス

I 介入;O アウトカム;I* 誤差を伴って測定された介入の状態;O* 誤差を伴って測定されたアウトカムの状態;U 第三の(通常測定されていない)変数

ボックスで囲んであるのが実際の分析対象。

赤の矢印は介入が測定されたアウトカムの状態に影響を与えることを示す。

緑の矢印はアウトカムOが測定された介入の状態に影響を与えることを示す。

紫の矢印は第三の因子が測定された介入の状態に影響を与えることを示す。

青の矢印は第三の因子が測定された介入と測定されたアウトカムに影響を与えることを示す。

観察研究の場合は、IをE要因曝露に置き換える。

文献:

Luijendijk HJ, Page MJ, Burger H, Koolman X. Assessing risk of bias: a proposal for a unified framework for observational studies and randomized trials. BMC Med Res Methodol. 2020 Sep 23;20(1):237. doi: 10.1186/s12874-020-01115-7.

https://pubmed.ncbi.nlm.nih.gov/?term=32967622[uid]