Benefit-Harm Assessment

GRADE EtDフレームワークとMCDA

GRADE (Evidence-to-Decision) EtDフレームワークは複数の基準項目について、リサーチエビデンスと追加的考察に基づいて判断し、全体をまとめて推奨を作成する枠組みですが、診療ガイドライン作成パネルの議論・審議をリードするのが大きな役割です。

Multi-Criteria Decision Analysis (MCDA)多基準意思決定分析（多基準決断分析）では複数の基準項目（アウトカムなど）についてパフォーマンス（効果の大きさ）と基準項目の重要度から重みづけ加算モデルで一つの値を計算し、それによって最善の選択肢を決めることができます。評価者の価値観により重要度を変えて、それぞれに最善の選択肢を選択することに役立ちます。

GRADE EtDフレームワークもMCDAも思想的な背景は同じです。前者は議論・審議に重きを置き、後者は関係するパラメータを数値化して定量的に評価します。これら2つのアプローチの関係を理解することと、診療ガイドラインの推奨作成にMCDAを活用できるようにすることは重要だと思います。

解説動画とPDFを作成しました。

PDF 「GRADE EtDフレームワークとMCDAの関係性」

動画はNotebookLMで作成しました。PDFファイルはGammaで作成しました。

主な文献：
Alonso-Coello P, Oxman AD, Moberg J, Brignardello-Petersen R, Akl EA, Davoli M, Treweek S, Mustafa RA, Vandvik PO, Meerpohl J, Guyatt GH, Schünemann HJ, GRADE Working Group: GRADE Evidence to Decision (EtD) frameworks: a systematic and transparent approach to making well informed healthcare choices. 2: Clinical practice guidelines. BMJ 2016;353:i2089. doi: 10.1136/bmj.i2089 PMID: 27365494

Alonso-Coello P, Schünemann HJ, Moberg J, Brignardello-Petersen R, Akl EA, Davoli M, Treweek S, Mustafa RA, Rada G, Rosenbaum S, Morelli A, Guyatt GH, Oxman AD, GRADE Working Group: GRADE Evidence to Decision (EtD) frameworks: a systematic and transparent approach to making well informed healthcare choices. 1: Introduction. BMJ 2016;353:i2016. doi: 10.1136/bmj.i2016 PMID: 27353417

Moberg J, Alonso-Coello P, Oxman AD. GRADE Evidence to Decision (EtD) Frameworks Guidance. Version 1.1 [updated May 2015], The GRADE Working Group, 2015. Available from:
https://ietd.epistemonikos.org/#/help/guidance

FDAのStructured Benefit-Risk FrameworkとPatient’s preference information (PPI)

FDA（米国食品医薬品局）の医療機器・放射線保健センター（CDRH）と医療機器イノベーションコンソーシアム（MDIC）が共同で開発したMDIC患者中心ベネフィット・リスク（PCBR）フレームワークについて、以前紹介しました(351, 436)。

当局の許認可を目的とする治験で、Patient’s preference information（PPI, 患者の選好に関する情報）を調査、記録することが重視されており、申請時にStructured Benefit Risk Frameworkを用いることが求められているようです。

今回、これらについてまとめて、2つのPDFファイルを作成しました。作成にはGoogle NotebookLMとgammaを使いました。

・FDAのStructured Benefit-Risk Framework: 医薬品評価における透明性と一貫性の確保 PDF

・FDAのStructured Benefit-Risk Frameworkと患者選好情報 (PPI) PDF

用語を確認しておきましょう：

Importance of outcome アウトカムの重要性/重要度、Values価値観、Preferences選好の関係は以下の様に表現されると思います。GRADE Working Groupはアウトカムの重要度と患者の価値観は同じことを意味しており、文脈により使い分けると述べています。

文献：
Ho M, Saha A, McCleary KK, Levitan B, Christopher S, Zandlo K, Braithwaite RS, Hauber AB: A Framework for Incorporating Patient Preferences Regarding Benefits and Risks into Regulatory Assessment of Medical Technologies. Value Health. 2016;19:746-750. doi: 10.1016/j.jval.2016.02.019 doi: 10.1016/j.jval.2016.02.019 PMID: 27712701

•Boyd CM, Singh S, Varadhan R, Weiss CO, Sharma R, Bass EB, Puhan MA. Methods for Benefit and Harm Assessment in Systematic Reviews. Methods Research Report. (Prepared by the Johns Hopkins University Evidence-based Practice Center under contract No. 290-2007-10061-I). AHRQ Publication No. 12(13)-EHC150-EF. Rockville, MD: Agency for Healthcare Research and Quality; November 2012. Link

Alper BS, Oettgen P, Kunnamo I, Iorio A, Ansari MT, Murad MH, Meerpohl JJ, Qaseem A, Hultcrantz M, Schünemann HJ, Guyatt G, GRADE Working Group: Defining certainty of net benefit: a GRADE concept paper. BMJ Open 2019;9:e027445. PMID: 31167868

AIで作成するダイアログ動画

GoogleのNotebookLMは自分で選択した情報ソース：PDFファイル、ウェブサイト、YouTubeの動画、その他をアップロードして、それらの情報に基づいて、要約を作成したり、質問に対する回答を得たり、さらに二人の”詳細な会話”の音声ファイルを作成することができます。単にソース情報の要約を作成するだけでなく、”詳細な会話”のカスタマイズで対話の内容について指示し、さまざまな課題に関するダイアログを作成することができます。

作成した音声ファイル（WAV形式）をダウンロードし、たとえば、Microsoft Wordのディクテーションのトランスクリプトからそのファイルを開いて、文字起こしすることができます。さらに、そのテキストから、Gammaでスライドを作成し、必要な修正を加えて、PPT、PDF、PNGファイルとして出力することができます。

音声ファイルとスライド画像のファイルから動画を作成し、YouTubeのIZ statチャンネルにアップしました。動画の作成はVideopadを用いた手作業です。

「エビデンスの確実性と利益・害のバランス分析 – ダイアログ」(9:28) Link

「システマティックレビューにおけるAIの活用 – ダイアログ」(7:45) Link

「コクランRoB 2ツール：ITT効果とPer-protocol効果の評価の違い – ダイアログ」 (8:17) Link

「共有意思決定（SDM）：患者さんとの対話を通じた最適な医療選択 – ダイアログ」（6:20）Link 医師に向けての視点で

「共有意思決定（SDM）：医療者と患者の協働アプローチ – 医療利用者に向けての視点で – ダイアログ」（7:34）Link

「臨床研究のバイアスの理解：推定値への影響 – ダイアログ」(15:14) Link

これらの動画は聞き役と、説明する役の二人の対話で、話し言葉なので、スライドを見ながら聞いていると何となく要点が分かるような気になります。

NotebookLMではプロンプトの書き方で、同じソースでも異なるアウトプットになり、重点の置き方が違った内容になりますが、非常に効率化が図れます。”詳細な会話”ではなく、テキストでの回答を得て、それを保存しておくこともできます。Gammaでのスライド作成も、自分では描けないようなプロフェッショナルな画像を挿入してくれ、適切にまとめてくれ、やはり非常に効率化が図れます。

正味の益が反転しない閾値：効果推定値とアウトカムの重要度

T個の介入があるとし、介入iの効果を介入jすなわち対照と比較したランダム化比較試験でK個のアウトカムに対する効果がリスク差で得られたとする。そこで、ペアで正味の益を比較するとする。（i, j, T, K, Lは整数）。

リスク差Eijは介入i、すなわち介入の絶対リスク（イベント率）から介入j、すなわち対照の絶対リスク（イベント率）を引き算した値とする。従って、もし、有害な事象がアウトカムの内容で、Eijがプラスの値であれば、効果は害であり、逆にEijがマイナスの値であれば、益である。もし、有益な事象がアウトカムの内容の場合は、その逆で、Eijがプラスの値であれば、益であり、マイナスの値であれば害となる。ただし、リスク差は介入の絶対リスク－対象の絶対リスクとして計算することをルールとする。

効果推定値と効果の望ましさの関係をもう一度考えてみると、リスク差Eijの値が大きくなる方が望ましい効果の場合は、有益事象がアウトカムの内容であり、逆にEijが小さい方が望ましい効果の場合は、有害事象がアウトカムの内容である。アウトカムの内容とは、測定されたアウトカム事象と言い換えてもいい。正味の益がプラスになれば望ましい効果が望ましくない効果を上回り、マイナスになれば望ましくない効果が望ましい効果を上回るようにするために、アウトカムkに対する係数Fkをアウトカムの内容が有益事象の場合は1、有害事象の場合は-1に設定する。

アウトカムkに対する重要度wkは0～100の値を設定する。最も重要なアウトカムに100を設定し、その他のアウトカムに対しては相対的な重要度を0～100の数値として設定する。アウトカムの重要度は評価者がそのアウトカムに置く価値の大きさであり、評価者の価値観によって決まるので、評価者ごとに異なる主観的なものである。もし、最も重要なアウトカムが100であるアウトカムの重要度が20に設定すると、最も重要なアウトカムはそのアウトカムの5倍重要とみなしたことになる。もし、どちらも益のアウトカムであった場合、そのアウトカムが5人に生起した価値は最も重要なアウトカムが1人に生起した価値と同じと考えたことになる。なお、Gail/NCIのオリジナルの方法では重要度を重要、中等度、重要でないの３段階で、1, 0.5, 0という値を設定する。さらに、感度分析では例えば、1,0.5,0.25/1.0,1.0,1.0/1.0,1.0,0など異なる値を設定する。

アウトカムの重要度をそれぞれアウトカムの重要度の総和で割り算して、標準化した値がwskである。標準化することによって、アウトカムの数を増やしても正味の益NBの値の絶対値は最大で100を超えることが無くなる。また、最も重要なアウトカムの重要度に対する比の値を用いることもできる。その場合は、正味の益は最も重要なアウトカムに相当する価値のアウトカムが生起した対象者の割合または人数を表すことになる。なお、アウトカムの重要度と価値は同じ意味であり、文脈により使い分けられる。

正味の益NB（Net Benefit)は図1でNBとして示す式で計算される。各アウトカムごとにFk、標準化した重要度、リスク差を掛け算した値をすべてのアウトカムについて加算し、総和を求めた値になる。効果の大きさをアウトカムの重要度で重みづけした総和と言える。ただし、望ましい効果はプラス、望ましくない効果はマイナスになるようにして総和を求める。なお、正味の益net benefitと益と害のバランス benefit-harm balanceは同じ意味である。また、Benefit-harmではなくBenefit-riskあるいはRisk-benefitという用語が用いられる場合もある。

アウトカム1～Tの中の一つ、アウトカムLの効果推定値＝リスク差について、正味の益NBが正負逆転する閾値は、正味の益からアウトカムLについて、Fk、標準化した重要度、リスク差を掛け算した値を引き算して、正負を逆にし、それをアウトカムLの標準化した重要度wslで割り算することで求められる。アウトカムLについて、Fk、標準化した重要度、リスク差を掛け算した値は、介入により得られる分の効果を表している。このように閾値を求める場合、そのアウトカム以外のアウトカムに対するリスク差と重要度の値は同じのままということが前提である。

アウトカムLの重要度について、正味の益NBが正負逆転する閾値は、正味の益からアウトカムLについて、Fk、標準化した重要度、リスク差を掛け算した値を引き算して、正負を逆にし、それをアウトカムLのリスク差EijLで割り算することで求められる。この場合、上記の場合と同様、そのアウトカム以外のアウトカムに対するリスク差と重要度の値は同じのままということが前提である。

正味の益が反転しない、効果推定値（リスク差）の範囲、および、アウトカムの重要度の範囲は、アウトカムLに対するリスク差EijLと閾値の大小関係から容易に知ることができる（図2）。

EijLの正味の益が反転しない範囲は、EijLが閾値より大きければ、閾値から1までの範囲が正味の益が反転しない効果推定値（リスク差）の範囲となる。逆に、EijLが閾値より小さければ、-1から閾値までの範囲が正味の益が反転しない効果推定値（リスク差）の範囲となる。

いずれの場合であれ、この範囲外の効果推定値が得られる可能性が低ければ、アウトカムLに対する効果推定値が変動したとしても正味の益が反転する可能性は低いと考えていいことになる。効果推定値の95％信頼区間とバイアスリスク、非直接性、非一貫性、出版バイアスなどを考慮しても、この範囲外の値になる可能性がほとんどないと言えるくらい低ければ、そのアウトカムに関するエビデンス総体のエビデンスの確実性は高いと判断できる。

アウトカムの重要度については、アウトカムLに対して設定した重要度wLの値が、閾値より大きい場合は、閾値から（もし閾値がマイナスの値の場合は0から）100までの範囲が正味の益が反転しないアウトカムの重要度の範囲となる。逆に、重要度wLが閾値より小さい場合は、0から閾値まで（もし閾値が100以上の場合は100まで）の範囲が正味の益が反転しない範囲となる。

重要度についても、この範囲外の値がありえない値と考えられる場合、アウトカムの重要度を変動させても、正味の益が反転する可能性は低いと考えることができる。特に、効果の大きさが小さい場合は、そのような範囲になる可能性が高くなる。アウトカムの重要度の判定は個人差があるが、その振れ幅を考慮しても正味の益が反転する可能性が低ければ、大部分の人に適用しても価値観の相違による問題は起きないであろうと考えることができる。

ここで述べた方法は、”閾値分析 “Threshold analysis“と呼ばれ(Phillippo DM 2019)、エビデンスの確実性の評価、正味の益の確実性の評価に有用と考えられる。

文献：

Gail MH, Costantino JP, Bryant J, Croyle R, Freedman L, Helzlsouer K, Vogel V: Weighing the risks and benefits of tamoxifen treatment for preventing breast cancer. J Natl Cancer Inst 1999;91:1829-46. doi: 10.1093/jnci/91.21.1829 PMID: 10547390
URL: https://pubmed.ncbi.nlm.nih.gov/10547390/

MCDAについて広く解説されている。Keeney & Raiffaの方法の実例の解説がある。

Thokala P, Devlin N, Marsh K, Baltussen R, Boysen M, Kalo Z, Longrenn T, Mussen F, Peacock S, Watkins J, Ijzerman M: Multiple Criteria Decision Analysis for Health Care Decision Making-An Introduction: Report 1 of the ISPOR MCDA Emerging Good Practices Task Force. Value Health 2016;19:1-13. PMID: 26797229
URL: https://pubmed.ncbi.nlm.nih.gov/26797229/

上記のThokala Pの報告の後半に相当し、ISPORの公式の報告として出版されている。

Marsh K, IJzerman M, Thokala P, Baltussen R, Boysen M, Kalo Z, Lonngren T, Mussen F, Peacock S, Watkins J, Devlin N, ISPOR Task Force: Multiple Criteria Decision Analysis for Health Care Decision Making-Emerging Good Practices: Report 2 of the ISPOR MCDA Emerging Good Practices Task Force. Value Health 2016;19:125-37. PMID: 27021745
URL: https://pubmed.ncbi.nlm.nih.gov/27021745/

効果推定値の不確実性から正味の益の不確実性を推定する方法。

Wen S, Zhang L, Yang B: Two approaches to incorporate clinical data uncertainty into multiple criteria decision analysis for benefit-risk assessment of medicinal products. Value Health 2014;17:619-28. PMID: 25128056
URL: https://pubmed.ncbi.nlm.nih.gov/25 1 28056

GRADEワーキンググループの益と害のバランス＝正味の益に関するコンセプトペーパー。Certainty of net benefitという考えは、USPSTFと同じで、推奨の強さを決める主要要素。Appendixに具体的な計算法が記載されている。

Alper BS, Oettgen P, Kunnamo I, Iorio A, Ansari MT, Murad MH, Meerpohl JJ, Qaseem A, Hultcrantz M, Schunemann HJ, Guyatt G, GRADE Working Group: Defining certainty of net benefit: a GRADE concept paper. BMJ Open 2019;9:e027445. PMID: 31167868
URL: https://pubmed.ncbi.nlm.nih.gov/31167868/

定量的ベネフィット・リスク分析に関するISPORの公式の報告。実際的な手順を解説。

Tervonen T, Veldwijk J, Payne K, Ng X, Levitan B, Lackey LG, Marsh K, Thokala P, Pignatti F, Donnelly A, Ho M: Quantitative Benefit-Risk Assessment in Medical Product Decision Making: A Good Practices Report of an ISPOR Task Force. Value Health 2023;26:449-460. doi: 10.1016/j.jval.2022.12.006 PMID: 37005055
URL: https://pubmed.ncbi.nlm.nih.gov/37005055/

患者の嗜好を取り入れるための枠組みに関する、規制当局のコンソーシアムの報告書。アウトカムの重要度を決める様々な方法のリストがある。

Ho M, Saha A, McCleary KK, Levitan B, Christopher S, Zandlo K, Braithwaite RS, Hauber AB, Medical Device Innovation Consortium’s Patient Centered Benefit-Risk Steering Committee: A Framework for Incorporating Patient Preferences Regarding Benefits and Risks into Regulatory Assessment of Medical Technologies. Value Health 2016;19:746-750. PMID: 27712701
URL: https://pubmed.ncbi.nlm.nih.gov/27712701/

Phillippo DM, Dias S, Welton NJ, Caldwell DM, Taske N, Ades AE: Threshold Analysis as an Alternative to GRADE for Assessing Confidence in Guideline Recommendations Based on Network Meta-analyses. Ann Intern Med 2019;170:538-546. doi: 10.7326/M18-3542 PMID: 30909295
URL: https://pubmed.ncbi.nlm.nih.gov/30909295/

Eiring Ø, Brurberg KG, Nytrøen K, Nylenna M: Rapid methods including network meta-analysis to produce evidence in clinical decision support: a decision analysis. Syst Rev 2018;7:168. doi: 10.1186/s13643-018-0829-z PMID: 30342549
URL: https://pubmed.ncbi.nlm.nih.gov/30342549/