Cochrane RoB 2を用いるウェブツール

ランダム化比較試験のバイアスリスク評価ツールであるCochrane risk of bias toolが2019年からversion 2.0となり、シグナリングクエスチョンに答えることで、研究ごとのバイアスリスクをLow, Some concerns, Highの3段階で評価する方法に変わりました。Link Excelマクロを用いて、自動判定するファイルも用意されています。

ドロップダウンメニューからシグナリングクエスチョンに対する回答を選択していくと、バイアスリスク評価ができるウェブツールを以前から公開していました。今回、ドメイン2の治療企図からの乖離によるバイアスリスクについて判定アルゴリズムを1つ追加しました。Link

今回の課題は、ドメイン2のPart 1の判定アルゴリズムです。今までは、図1に示すような回答の組み合わせの場合、Part 1の判定は未決で白丸のままでした。

図1. ドメイン2 Part 1のバイアスリスク判定。

このような場合、白丸部分をクリックすると、図2のように関連するアルゴリズムが表示されます。青の太字が選択した回答と一致している部分で、この組み合わせの中には、y y pn NANA y NAという組み合わせはありません。判定がLowになる回答の組み合わせは3つだけでした。

図2.青の太字が選択した回答と一致している部分で、この組み合わせの中には、y y pn NANA y NAという組み合わせはない。

これらの回答の組み合わせは、上記Cochrane risk of bias tool version 2.0に関する解説のページで、Link Full guidance documentにかかれているアルゴリズムに沿って作成したものです。該当する箇所は、Table 6またはFigure 2です。そこを見ると、シグナリングクエスチョン2.1と2.2は”Either Y/PY/NI“で、2.3がN/PNの場合Low riskの判定となることが記載されています。”Either Y/PY/NI”の解釈で、いずれかが”Y/PY/NI”であるという場合に、両方が”Y/PY/NI”であるも含めるか、いずれか片方だけが”Y/PY/NI”の場合だけに限定するかが問題となります。今までは、後者の解釈に基づいてアルゴリズムを設定していましたが、今回、両方が”Y/PY/NI”である場合も含めるアルゴリズムに変更することにしました。言い換えると、参加者も医療提供者も介入について知ることができる場合でも、すなわちいずれも盲検化が行われていない場合でも、治療企図からの乖離が臨床試験の文脈と関係ない場合は、Low riskと判定するということになります。また、医療提供者あるいは参加者だけが介入を知っている場合と、両者とも知っている場合は同じ評価になるという意味でもあります。盲検化の有無よりも、治療企図からの乖離が臨床試験の文脈と関係あるかどうかの判断がより重要になるということにもなります。

さて、今回お話ししているウェブツールはアルゴリズムを各自の望ましいと思うものに書き換えて利用することができるようになっています。今回その機能を用いてアルゴリズムを修正しました。図3で示すように、MenuからAlgorithmを選択すると、図4に示す、その時点のアルゴリズム一覧が示されます。

図3.Menuからアルゴリズムを表示させる。
図4.その時点のアルゴリズム一覧。2.1でLowになる回答の組み合わせは3種類だけ。

ここに、シグナリングクエスチョンの2.1の回答の組み合わせでLow判定になるものを追加します。タブ区切りで図5に示すように、1行を追加しました。

図5.2.1にLowになる回答の組み合わせを追加。

そして、図5に示す、Saveボタンをクリックすると、図6のように、確認のメッセージが出るので、OKをクリックします。

図6.書き換えたアルゴリズム一覧を保存する際の確認のメッセージ。

次に、このウェブページ全体をHTMLファイルとして保存します。図7のように、MenuからSaveを選択します。

図7.HTMLファイルとして保存する。MenuからSaveをクリック。
図8.名前を付けて保存する。

図8のように、ブラウザの右上の方にファイルをダウンロードしてPCに保存するメッセージが出るので、名前を付けて保存をクリックします。もし、Study IDとOutcomeが入力されている場合は、それらの文字列をアンダーバーで結合したファイル名が提示されます。

図9.ファイル保存のためのダイアログ。ファイル名を付け、あるいは修正して保存ボタンをクリック。

図9のようにファイル保存のためのダイアログが出るので、ファイル名を付けて保存します。

図10.ダウンロードの状況。

ブラウザの右上の方に、ダウンロードの状況が表示され、終了すると図10のように表示されるので、ここでファイルを開くをクリックすると保存したHTMLファイルがブラウザで開かれます。また、フォルダのアイコンをクリックするとそのファイルを含むフォルダが開かれます。このパネルが無くなった後であれば、・・・をクリックしてダウンロードを選択すると、直前までダウンロードしたファイルの一覧が表示されるので、そこから選択して開くこともできます。

図11.ダウンロードしたファイルでアルゴリズムを確認。

ダウンロードしたファイルをブラウザで開き、MenuからAlgorithmを選択して、2.1の所を確認すると修正した内容に変わっています。

図12.ドメイン2のテスト。

ドメイン2で2.1のシグナリングクエスチョンに最初と同じ組わせてで回答を選択すると、今度は、Lowの判定になります。

さて、ダウンロードしたファイルを右クリックしてコピーして貼り付け操作を行うとファイルを複製使用することができます。インターネットに接続された環境であれば、上記のURLを開いた場合と、同じように動きます。

バイアスリスク評価はひとつの研究-ひとつのアウトカムで1枚ずつ用いて行い、MenuからSaveして記録しておくことができます。その場合、保存されたHTMLファイルはローカルPCにあります。例えば、研究が5件で評価するアウトカムが5つであれば、25枚のHTMLファイルを保存することになります。

また、ひとつの研究-ひとつのアウトカムの評価が終わったら、上の方にあるCopy to Clipboard with Summaryのボタンをクリックし、Excelで開いたMindsのRoB 2用の評価シートに結果を貼り付けることもできます。

このウェブツールはバイアスリスクのドメインの行をクリックするとシグナリングクエスチョンが、各シグナリングクエスチョンをクリックすると解説が表示されます。

図13.シグナリングクエスチョンの表示と解説の表示。各行をクリックすると表示される。

Cochrane risk of bias tool version 2.0ではシグナリングクエスチョンの回答に基づく判定とレビュアの判定が異なる場合、後者を優先することになっています。このウェブツールではその変更はできないので、評価シートの方でレビュアの判定を設定してください。その旨をコメント欄に記入してSaveしておくといいと思います。

また、バイアス効果の向き、すなわち、過大評価(介入群に有利)・過小評価(対照群に有利)、差が無い方へ・差がある方へ、の判定はオプショナルになっていますが、ドメイン名の右のラジオボタンで記録することはできます。

Excelファイルをドラグアンドドロップでメタアナリシスを実行するウェブページ

メタアナリシスのためのデータをExcelで用意し、そのファイルをドラグアンドドロップすると、メタアナリシスを実行し、Forest plotとFunnel plotを作成するウェブページを作りました。

解析はJavaScriptで作成したコードで行っており、MathライブラリとjStatライブラリを用いています。インターフェース関連でjQueryも用いています。

メタアナリシスはInverse-variance method分散逆数法、ランダム効果モデルによる方法で、研究間の分散はRestricted Maximum Likelihood (REML)法(Viechtbauer W 2005)を用いています。

ExcelシートはMindsのテンプレートをそのまま用いて、データを入力します。図1は介入研究用(RoB2)の例です。介入、対照、アウトカムの欄にはデータを入力する必要があります。さらに、研究コード、リスク人数と書いてあるデータの部分、そして効果指標のタイプは設定する必要があります。

図1. Mindsの評価シート(介入研究RoB2用)。この例では、メタアナリシスの結果のデータも入力済み。

必要なデータを入力したらファイルを保存します。

ブラウザで次のウェブページを開いてください。Meta-analysis IZ mi

図2.Meta-analysis IZ miのウェブページ。

右の円が描かれているエリアにExcelのファイルをドラグアンドドロップすると、すぐ上のドロップダウンメニューにシート名の一覧が表示されるので、メタアナリシスの対象のシートを選択し、その左のDo Meta-analysisのボタンをクリックしてください。Forest plotとFunnel plotが表示されます。また、結果の数値データが上のテキストエリアに書き込まれます。

Do Meta-analysisの実行直後は、各研究の効果指標と95%信頼区間、統合値と95%信頼区間の値がクリップボードに格納されているので、Excelシートの効果指標(値)のセルに貼り付けることができます。図1の例であれば、セルU12を選択して貼り付けます。

Forest plotとFunnel plotは右クリックして保存したり、コピーして貼り付けたりできます。数値データは必要に応じて、Copy to Clipboardボタンをクリックして、クリップボード経由でExcelシートに貼り付けられます。

図3.Meta-analysis IZ izのメタアナリシス実行結果。

Meta-analysis IZ miはRoB2用のシートだけでなく、それ以外のシートにも対応しています。効果指標のタイプは、二値変数アウトカムのRR, OR, RD、ハザード比HR、連続変数アウトカムのMD, SMDに対応しています。評価シートの効果指標(種類)でタイプを設定してください。

使用法の解説動画はこちらです (YouTube Link)。

ここで紹介した、Mindsの評価シートに対応しているのが、Meta-analysis IZ miですが、メタアナリシスだけで十分な場合は、別のフォーマットでExcelファイルを用意してMeta-analysis IZ izを使うこともできます。こちらは、REML法とDerSimonian-Laird法の指定ができます。

サンプルデータを入力したMindsの評価シートのファイルとMeta-analysis IZ iz用のサンプルデータを入力したファイルはこちらでダウンロードできます。右クリックして保存してから使用してください。

minds-sample-rob2.xlsx
iz-meta-sample.xlsx

メタアナリシスの際に用いている計算式について詳細を知りたい人は、Deeks J and Higgins JPT 2010を参照してください。この解説の時点では、研究間の分散の計算はDerSimonian-Laird法を用いていますが、最近RevManでもREML法も選択できるようになったようです。McKenzie J, Veroniki AAの解説を参照してください。

文献:
Viechtbauer W: Bias and Efficiency of Meta-Analytic Variance Estimators in the Random-Effects Model. Journal of Educational and Behavioral Statistics
Fall 2005, Vol. 30, No. 3, pp. 261–293. Link

Viechtbauer W氏のR package metafor Link The metafor Package: A Meta-Analysis Package for R. Link

Deeks J and Higgins JPT: Statistical algorithm in Reveiw Manager 5. 2010. Link

McKenzie J, Veroniki AA: Introduction to new random-effects methods in RevMan. Link 解説スライド

Excelのデータからそのままメタアナリシス:Meta-analysis IZ exと評価シートへの実装

Excelで一定の形式でデータを入力して、アドインメニューからDo Meta-analysisをクリックすると、ブラウザが開かれ、Forest plot、Funnel plot、結果の数値データが表示されるMeta-analysis IZ exというExcel bookを作りました。インターネットに接続された環境で使用します。

VBAで書かれたプロブラムで、メタアナリシスに必要なデータを結合して、GETメソッドで送信し、PHPのプログラムで受信し、JavaScriptのプログラムで解析して、ブラウザに結果を表示します。Forest plot、Funnel plotは右クリックしてコピーしたりPENGファイルとして保存できます。

VBAのプロブラムを動かすには、Excelでマクロが動作する設定にする必要があります。必要な場合、Excelファイルを開いてから、ファイルメニュ–>オプション–>トラストセンター–>トラストセンターの設定(T)…ーー>マクロの設定–>VBAマクロを有効にするをチェックしてください。一度閉じて、再度開いてください。このマクロに関する設定は、他のExcelファイルに対しても適用されるので、他のExcelファイルでマクロが付いている場合も、無条件にマクロが実行可になります。セキュリティ上は、電子署名されたマクロを除き、VBAマクロを無効にする(G)の設定が望ましいので、さまざまなソースのExcelファイルを使用する方は、あとで設定をそのように変更してください。

このExcel bookのファイル名は2025_meta-analysis_ex.xlsmです。下記のLinkからダウンロードして、ダウンロードしたファイルを開いてください。上記のごとく、最初に、マクロを有効化して使用してください。

また、Mindsの評価シートをBookとしてまとめた、2025_excel_book_for_sr.xlsmというファイルと、そこから必要なシートをコピーして、システマティックレビューに使用するシートを集めたBookを各自作るための2025_My_SR Book.xlsmというファイルも入れてあります。システマティックレビュー用の評価シートに必要なデータを入力後、アドインメニューからMeta-analysis → Do Meta-analysisをクリックするとブラウザが開かれ、結果が表示されます。これらのBookの評価シートは、Rのパッケージmetafor, forestpolotを用いて、Rで動作するメタアナリシスを行うのスクリプトも含んでいるのでRを使ってメタアナリシスをすることもできますし、後述するMeta-analysis IZ rというウェブツールを使ってメタアナリシスをすることもできます。

Link: 2025_meta-analysis_ex.zip
2025.2.2 より前にダウンロードされた方、一部修正しましたので再度ダウンロードしてください。ZIPファイルから外に保存してから使ってください。

ここからは、2025_meta-analysis_ex.xlsmについての解説です。最初のシートに使い方の解説があります。二値変数アウトカムの場合、リスク比、オッズ比、リスク差、生存分析の場合、ハザード比、連続変数アウトカムの場合は、平均値差、標準化平均値差を扱えます。

図 Meta-analysis IZ exの最初のシート。

それぞれのシートにはサンプルデータが入力されているので、自分のデータに書き換えて使用してください。

また、シートの任意のセルを選択した状態で、Shift keyを押しながら、Do Meta-analysisをクリックするとその場所に二値変数アウトカム用のデータ入力フレームワークが作成されます。Altキーを押しながら同様の操作でハザード比用、Shift keyとAltキーの両方を押しながら同様の操作をすると連続変数アウトカム用のデータ入力フレームワークが作成されます。それらの位置にデータを入力して、それに対してメタアナリシスを実行する場合は、authorのセルを選択してから、Do Meta-analysisをクリックしてください。その範囲のデータでメタアナリシスを実行します。新規に追加したシートでも同じことができます。デフォルトの位置はセルB3です。新規に追加したシートではまずそこにフレームワークを作成して、使用しましょう。

メタアナリシスの方法は、分散逆数法Inverse-variance method、ランダム効果モデルRandom-effects model、研究間の分散の計算はRestricted Maximum Likelihood (REML)法またはDerSimonian -Laird法です。Rのパッケージのmetaforと同じ結果が得られることを確認してあります。

DerSimonian -Laird法は古典的な方法でRevManはこの方法を用いています。REMLとDerSimonian -Lairdはほぼ同じ結果になりますが、数値は若干異なり、REMLの方をデフォルトにしています。

このExcel bookを用いると、データをコピーしてウェブサイトに貼り付けて、解析するというステップがワンステップで済みます。

YouTubeチャンネルIZ statで解説動画をアップロードしました。Link

Meta-analysis IZ rというメタアナリシスのためのウェブツールでも同じJavaScriptのプログラムで解析しています。Meta-analysis IZ rはこちらのLinkです。

参照リンク:
Rのメタアナリシス用のパッケージ by Viechtbauer W Link

Viechtbauer W (2010). “Conducting meta-analyses in R with the metafor package.” Journal of Statistical Software36(3), 1–48.  Link

Cochrane RevManの統計学的手法 Deeks JJ and JPT Higgins: Statistical algorithms in Review Manager 2022. PDF

正味の益が反転しない閾値:効果推定値とアウトカムの重要度

T個の介入があるとし、介入iの効果を介入jすなわち対照と比較したランダム化比較試験でK個のアウトカムに対する効果がリスク差で得られたとする。そこで、ペアで正味の益を比較するとする。(i, j, T, K, Lは整数)。

図1. 正味の益の反転閾値:効果推定値、アウトカムの重要度。

リスク差Eijは介入i、すなわち介入の絶対リスク(イベント率)から介入j、すなわち対照の絶対リスク(イベント率)を引き算した値とする。従って、もし、有害な事象がアウトカムの内容で、Eijがプラスの値であれば、効果は害であり、逆にEijがマイナスの値であれば、益である。もし、有益な事象がアウトカムの内容の場合は、その逆で、Eijがプラスの値であれば、益であり、マイナスの値であれば害となる。ただし、リスク差は介入の絶対リスク-対象の絶対リスクとして計算することをルールとする。

効果推定値と効果の望ましさの関係をもう一度考えてみると、リスク差Eijの値が大きくなる方が望ましい効果の場合は、有益事象がアウトカムの内容であり、逆にEijが小さい方が望ましい効果の場合は、有害事象がアウトカムの内容である。アウトカムの内容とは、測定されたアウトカム事象と言い換えてもいい。正味の益がプラスになれば望ましい効果が望ましくない効果を上回り、マイナスになれば望ましくない効果が望ましい効果を上回るようにするために、アウトカムkに対する係数Fkをアウトカムの内容が有益事象の場合は1、有害事象の場合は-1に設定する。

アウトカムkに対する重要度wkは0~100の値を設定する。最も重要なアウトカムに100を設定し、その他のアウトカムに対しては相対的な重要度を0~100の数値として設定する。アウトカムの重要度は評価者がそのアウトカムに置く価値の大きさであり、評価者の価値観によって決まるので、評価者ごとに異なる主観的なものである。もし、最も重要なアウトカムが100であるアウトカムの重要度が20に設定すると、最も重要なアウトカムはそのアウトカムの5倍重要とみなしたことになる。もし、どちらも益のアウトカムであった場合、そのアウトカムが5人に生起した価値は最も重要なアウトカムが1人に生起した価値と同じと考えたことになる。なお、Gail/NCIのオリジナルの方法では重要度を重要、中等度、重要でないの3段階で、1, 0.5, 0という値を設定する。さらに、感度分析では例えば、1,0.5,0.25/1.0,1.0,1.0/1.0,1.0,0など異なる値を設定する。

アウトカムの重要度をそれぞれアウトカムの重要度の総和で割り算して、標準化した値がwskである。標準化することによって、アウトカムの数を増やしても正味の益NBの値の絶対値は最大で100を超えることが無くなる。また、最も重要なアウトカムの重要度に対する比の値を用いることもできる。その場合は、正味の益は最も重要なアウトカムに相当する価値のアウトカムが生起した対象者の割合または人数を表すことになる。なお、アウトカムの重要度と価値は同じ意味であり、文脈により使い分けられる。

正味の益NB(Net Benefit)は図1でNBとして示す式で計算される。各アウトカムごとにFk、標準化した重要度、リスク差を掛け算した値をすべてのアウトカムについて加算し、総和を求めた値になる。効果の大きさをアウトカムの重要度で重みづけした総和と言える。ただし、望ましい効果はプラス、望ましくない効果はマイナスになるようにして総和を求める。なお、正味の益net benefitと益と害のバランス benefit-harm balanceは同じ意味である。また、Benefit-harmではなくBenefit-riskあるいはRisk-benefitという用語が用いられる場合もある。

アウトカム1~Tの中の一つ、アウトカムLの効果推定値=リスク差について、正味の益NBが正負逆転する閾値は、正味の益からアウトカムLについて、Fk、標準化した重要度、リスク差を掛け算した値を引き算して、正負を逆にし、それをアウトカムLの標準化した重要度wslで割り算することで求められる。アウトカムLについて、Fk、標準化した重要度、リスク差を掛け算した値は、介入により得られる分の効果を表している。このように閾値を求める場合、そのアウトカム以外のアウトカムに対するリスク差と重要度の値は同じのままということが前提である。

アウトカムLの重要度について、正味の益NBが正負逆転する閾値は、正味の益からアウトカムLについて、Fk、標準化した重要度、リスク差を掛け算した値を引き算して、正負を逆にし、それをアウトカムLのリスク差EijLで割り算することで求められる。この場合、上記の場合と同様、そのアウトカム以外のアウトカムに対するリスク差と重要度の値は同じのままということが前提である。

図2.正味の益が反転しない効果推定値 EijL、アウトカムの重要度wLの範囲。

正味の益が反転しない、効果推定値(リスク差)の範囲、および、アウトカムの重要度の範囲は、アウトカムLに対するリスク差EijLと閾値の大小関係から容易に知ることができる(図2)。

EijLの正味の益が反転しない範囲は、EijLが閾値より大きければ、閾値から1までの範囲が正味の益が反転しない効果推定値(リスク差)の範囲となる。逆に、EijLが閾値より小さければ、-1から閾値までの範囲が正味の益が反転しない効果推定値(リスク差)の範囲となる。

いずれの場合であれ、この範囲外の効果推定値が得られる可能性が低ければ、アウトカムLに対する効果推定値が変動したとしても正味の益が反転する可能性は低いと考えていいことになる。効果推定値の95%信頼区間とバイアスリスク、非直接性、非一貫性、出版バイアスなどを考慮しても、この範囲外の値になる可能性がほとんどないと言えるくらい低ければ、そのアウトカムに関するエビデンス総体のエビデンスの確実性は高いと判断できる。

アウトカムの重要度については、アウトカムLに対して設定した重要度wLの値が、閾値より大きい場合は、閾値から(もし閾値がマイナスの値の場合は0から)100までの範囲が正味の益が反転しないアウトカムの重要度の範囲となる。逆に、重要度wLが閾値より小さい場合は、0から閾値まで(もし閾値が100以上の場合は100まで)の範囲が正味の益が反転しない範囲となる。

重要度についても、この範囲外の値がありえない値と考えられる場合、アウトカムの重要度を変動させても、正味の益が反転する可能性は低いと考えることができる。特に、効果の大きさが小さい場合は、そのような範囲になる可能性が高くなる。アウトカムの重要度の判定は個人差があるが、その振れ幅を考慮しても正味の益が反転する可能性が低ければ、大部分の人に適用しても価値観の相違による問題は起きないであろうと考えることができる。

ここで述べた方法は、”閾値分析 “Threshold analysis“と呼ばれ(Phillippo DM 2019)、エビデンスの確実性の評価、正味の益の確実性の評価に有用と考えられる。

文献:

Gail MH, Costantino JP, Bryant J, Croyle R, Freedman L, Helzlsouer K, Vogel V: Weighing the risks and benefits of tamoxifen treatment for preventing breast cancer. J Natl Cancer Inst 1999;91:1829-46. doi: 10.1093/jnci/91.21.1829 PMID: 10547390
URL: https://pubmed.ncbi.nlm.nih.gov/10547390/

MCDAについて広く解説されている。Keeney & Raiffaの方法の実例の解説がある。

Thokala P, Devlin N, Marsh K, Baltussen R, Boysen M, Kalo Z, Longrenn T, Mussen F, Peacock S, Watkins J, Ijzerman M: Multiple Criteria Decision Analysis for Health Care Decision Making-An Introduction: Report 1 of the ISPOR MCDA Emerging Good Practices Task Force. Value Health 2016;19:1-13. PMID: 26797229
URL: https://pubmed.ncbi.nlm.nih.gov/26797229/

上記のThokala Pの報告の後半に相当し、ISPORの公式の報告として出版されている。

Marsh K, IJzerman M, Thokala P, Baltussen R, Boysen M, Kalo Z, Lonngren T, Mussen F, Peacock S, Watkins J, Devlin N, ISPOR Task Force: Multiple Criteria Decision Analysis for Health Care Decision Making-Emerging Good Practices: Report 2 of the ISPOR MCDA Emerging Good Practices Task Force. Value Health 2016;19:125-37. PMID: 27021745
URL: https://pubmed.ncbi.nlm.nih.gov/27021745/

効果推定値の不確実性から正味の益の不確実性を推定する方法。

Wen S, Zhang L, Yang B: Two approaches to incorporate clinical data uncertainty into multiple criteria decision analysis for benefit-risk assessment of medicinal products. Value Health 2014;17:619-28. PMID: 25128056
URL: https://pubmed.ncbi.nlm.nih.gov/25128056

GRADEワーキンググループの益と害のバランス=正味の益に関するコンセプトペーパー。Certainty of net benefitという考えは、USPSTFと同じで、推奨の強さを決める主要要素。Appendixに具体的な計算法が記載されている。

Alper BS, Oettgen P, Kunnamo I, Iorio A, Ansari MT, Murad MH, Meerpohl JJ, Qaseem A, Hultcrantz M, Schunemann HJ, Guyatt G, GRADE Working Group: Defining certainty of net benefit: a GRADE concept paper. BMJ Open 2019;9:e027445. PMID: 31167868
URL: https://pubmed.ncbi.nlm.nih.gov/31167868/

定量的ベネフィット・リスク分析に関するISPORの公式の報告。実際的な手順を解説。

Tervonen T, Veldwijk J, Payne K, Ng X, Levitan B, Lackey LG, Marsh K, Thokala P, Pignatti F, Donnelly A, Ho M: Quantitative Benefit-Risk Assessment in Medical Product Decision Making: A Good Practices Report of an ISPOR Task Force. Value Health 2023;26:449-460. doi: 10.1016/j.jval.2022.12.006 PMID: 37005055
URL: https://pubmed.ncbi.nlm.nih.gov/37005055/

患者の嗜好を取り入れるための枠組みに関する、規制当局のコンソーシアムの報告書。アウトカムの重要度を決める様々な方法のリストがある。

Ho M, Saha A, McCleary KK, Levitan B, Christopher S, Zandlo K, Braithwaite RS, Hauber AB, Medical Device Innovation Consortium’s Patient Centered Benefit-Risk Steering Committee: A Framework for Incorporating Patient Preferences Regarding Benefits and Risks into Regulatory Assessment of Medical Technologies. Value Health 2016;19:746-750. PMID: 27712701
URL: https://pubmed.ncbi.nlm.nih.gov/27712701/

Phillippo DM, Dias S, Welton NJ, Caldwell DM, Taske N, Ades AE: Threshold Analysis as an Alternative to GRADE for Assessing Confidence in Guideline Recommendations Based on Network Meta-analyses. Ann Intern Med 2019;170:538-546. doi: 10.7326/M18-3542 PMID: 30909295
URL: https://pubmed.ncbi.nlm.nih.gov/30909295/

Eiring Ø, Brurberg KG, Nytrøen K, Nylenna M: Rapid methods including network meta-analysis to produce evidence in clinical decision support: a decision analysis. Syst Rev 2018;7:168. doi: 10.1186/s13643-018-0829-z PMID: 30342549
URL: https://pubmed.ncbi.nlm.nih.gov/30342549/