Medical Decision Making – ページ 7

Swing weightingによるアウトカムの重要度設定

成人で急性虫垂炎になった場合、抗菌薬投与による保存的治療を受けるか外科的虫垂切除を受けるか？どちらの方が良いだろう？

これら2つの治療的介入を比較した4件のランダム化比較試験のメタアナリシスの結果得られた効果推定値を用いて解析してみます。

Swing weightingによるアウトカムの重要度の設定、すなわち、重みの設定には図のような最善の効果（矢じり）、最悪の効果（縦線）を表したグラフが役に立ちます。

アウトカム毎の”Swing”－from the worst estimate | to the best *estimate* → or ← .

アウトカムとカッコ内に単位が書いてあります。値が大きい方が最善になるものと、逆に値が小さい方が最善になるものがあります。”Swing”つまり、横幅が大きいものと小さいものがあります。

大きい場合は、二つの介入の効果の差が大きいことになります。たとえば、虫垂切除（1か月以内）（率）をみると、最善は約0.05つまり約5％で、最悪は約1.0つまり100％です。手術を受けないで治癒することが良いことであるという考えが背景にあるので、手術を受ける介入は約100％手術になり、抗菌薬の治療を受ける介入は1か月以内でみると約9％の人しか手術をうけません。ここでは、それぞれ95％信頼限界の値を最善値、最悪値に設定していますので、もう少し幅が広くなり、100％→4.8％になっています。

他のアウトカムについても、ありうる最善の効果と最悪の効果として95％信頼限界の値の中の最大値あるいは最小値を設定してあります。

このグラフを見ながら、どのアウトカムを一番重要と考えますか？

急性虫垂炎は手術を受ければ、それで治ります。今は、腹腔鏡下の手術で傷跡も小さく、数日の入院で済みます。そして、二度と虫垂炎になることはありません。つまり、再発は0です。一方で1か月以降1年以内の再発無し（率）を見ると、抗菌薬の治療では最悪30％くらいが1年以内に再発します。そうなると、その時点で結局は手術を受けることになってしまいます。

例えば、ある人は”1か月以降1年以内の再発無し”のアウトカムを一番重要と考えました。いつ再発するか心配しながら生活するのは嫌だと思いました。そうすると、このアウトカムの重みは100にします。それ以外のアウトカムについても、このアウトカムと比べて相対的にいくつにするかを考え、結論としてその人は、虫垂切除（1か月以内）20、主要な合併症20、そのほかの合併症15、入院期間10、病休期間20、費用5という重みを設定しました。

このような選好Preferenceの人の場合、抗菌薬投与による保存的治療を受ける方がいいのか、それとも外科的虫垂切除を受ける方がいいのかどちらになるでしょうか？

手術を受けないで済めばそれに越したことはないと考えて、虫垂切除（1か月以内）を20ではなく60にしたらどうなるでしょうか？

さらに、やはり傷跡が残るのは嫌なので、手術を受けないで済むことが一番重要でしかも”Swing”も一番広いからと考えて、虫垂切除（1か月以内）を100にして、1か月以降1年以内の再発無しを70にしたらどうなるでしょう？

益と害のアウトカムが複数あり、介入の効果がすべてのアウトカムについて一つの治療選択肢が優れていれば、判断は容易です。トレードオフがあって、効果の程度もさまざまな場合には、直観的に決めるのが難しくなります。特に、介入の間の差が小さいとさらに判断が難しくなります。このような際にはSwing weightingを用いたMCDAは有用なツールになりえます。

また、価値観が人によって異なり、最善の選択肢が人によって変わるかもしれない、さらに、選択肢の間の差が小さい、このような際にはSwing weightingを用いたMCDAはその個人の選択の適切さを確認するための有用なツールになりえます。

さて、アウトカム毎の”Swing”グラフに2つの選択肢の効果推定値、この場合は率または平均値ですが、の表示を追加したグラフを示します。上のグラフと比べて、どちらの方が、重みの決定がやりやすいでしょうか？

*アウトカム毎の”Swing”*グラフ。黒が外科的虫垂切除、赤が抗菌薬投与による保存的治療。

Keeney and RaiffaのSwing weightingを用いたMCDA

Keeney and RaiffaのMulti-Criteria Decision AnalysisあるいはMultiple Criteria Decision Analysis (いずれもMCDA)では評価項目Criteria=アウトカムOutcomeに対する介入の効果をパフォーマンスPerformance＝効果推定値Effect estimateとして測定された値をそのまま用いるのではなく、スコア化Scoringして、共通の基準による大きさを表す値に変換する。変換のための関数を価値関数Value functionと呼ぶ。この方法では各アウトカムに対するさまざまな介入の効果の中で、最善のものと最悪のものを設定し、最善の場合はスコアが100、最悪の場合はスコアが0とし、実際の介入の効果はその間のいずれかに位置するようにして、スコア化する。値が大きい方がより良い場合と逆に値が小さい方がより良い場合があるが、いずれの場合にも対応できる。最善というのはありうる最も望ましい効果、最悪というのはありうる最も望ましくない効果と言い換えることもできる。

健康関連アウトカムだけでなく、費用も評価項目として扱うことができる。効果推定値は多くの場合システマティックレビュー/メタアナリシスの結果を用いる。また、個別患者の推定値を用いることもできる。

ただし、リスク比、リスク差などは対照群との相対的な比較に基づく指標であるが、MCDAでは各群のイベント率、平均値などが必要になる。一方で、3つ以上の介入を一度にに比較することが可能である。以下で効果推定値と述べているのはこれらイベント率、平均値であり、不確実性の指標としては標準誤差、標準偏差を用いる。

Bを最善Bestの効果を示す効果推定値、Wを最悪Worstの効果を示す効果推定値とし、Xをその介入の効果推定値とすると、スコアSは、S=(X – W)/(B – W) × 100で表される。XとSの間に直線関係がある場合は、この式で対処できる。直線関係以外の場合も、価値関数を作成すれば対応できる。従って、Keeney and Raiffaの方法では、それぞれのアウトカムに対する効果で最善のものは100、最悪のものは0になる。そのアウトカムに対するさまざまな介入の効果推定値の95%信頼限界のなかで、最小値と最大値をBまたはWとして用いることが可能である。また、理想の治療法を想定してBを想定することも行われている。比較する介入の中だけで、ローカルにB,Wを設定する場合と、すべての介入を考慮してグローバルにB,Wを設定する場合がある。スコアはそれぞれのアウトカムに対してありうる最善の効果と最悪の効果に対して、相対的な値として決められているため、アウトカムが異なっても、同じ効果の大きさを表していると言える。

スコア化に続いて、重みづけの値を決める。意思決定の際に、アウトカムそのものの重要性とそのアウトカムに対する介入の効果の大きさ＝パフォーマンスPerformance＝Effect estimateの両方を考慮すべきとされているが、重みづけの方法の多くは、たとえば、NCI/Gailの方法や、Analytic Hierarchical Process （AHP)の様に、アウトカムの重要性だけを評価している。それに対してKeeney and Raiffaの重みづけの方法はSwing weightingと呼ばれ、上記のB、Wの値の変動=スウィングを考慮した上で、アウトカムの重要性を考慮し、その両方で重みを決める。この重みは個人個人の異なる値に対応できるので、協働意思決定Shared decision makingにおいても用いることができる。

総スコアAggregate scoreは重みの値を標準化、すなわち各アウトカムに対する重みの値の合計値でそれぞれの重みの値を割り算した上で、各アウトカムに対するスコアに掛け算して合計することで求められる。これをそれぞれの介入に対して算出し、一番値の大きい介入が最も価値のある介入となる。介入間のスコアの差を求め、P値を算出することもできる。

なお、NCI/Gailの方法では、益のアウトカムに対してはプラス、害のアウトカムに対してはマイナスの値になる様に効果推定値を設定して、アウトカムの重要性を掛け算して合算するので、総計がプラスなら益＞害、マイナスなら益＜害と判定する。

Keeney and RaiffaのSwing weightingを用いたMCDAでは各効果推定値の不確実性、重みの不確実性に対応した確率的感度分析あるいは確率的シミュレーション分析も可能であり、さらに、異なるアウトカムに対する効果推定値の相関マトリックスと標準誤差あるいは標準偏差から分散共分散マトリックスを作成して、相関を取り込んだ解析も可能である。

このモデルは、重みづけ加算モデルであり、前提としては、1）それぞれのアウトカム（評価項目）の評価は他のアウトカムの評価つまりスコアと重みの値の影響を受けない、2）V_i > V_jの場合、介入iの方が介入jより望ましい、3）価値関数は間隔尺度（連続変数）である、4）スコア×重みの同じ値の変動は同じ価値の変動を表す、5）各アウトカムの重みは互いに影響しない、すなわち各アウトカムは独立している、6）各評価項目のスコアは互いに影響しない、各評価項目のスコアは相関していない、の条件が満たされる必要がある。

文献：
Keeney R, Raiffa H: Decisions with multiple objectives: Preferences and Value Tradeoffs. 1993, Cambridge University Press.

Marsh K, Goetghebeur M, Thokala P: Multi-criteria decision analysis to support healthcare decisions. Springer, 2017. （包括的な内容）

Thokala P, Devlin N, Marsh K, Baltussen R, Boysen M, Kalo Z, Longrenn T, Mussen F, Peacock S, Watkins J, Ijzerman M: Multiple Criteria Decision Analysis for Health Care Decision Making–An Introduction: Report 1 of the ISPOR MCDA Emerging Good Practices Task Force. Value Health 2016;19:1-13. PMID: 26797229 （この論文のAppendixにSwing-weightingの例が示されている）

Marsh K, IJzerman M, Thokala P, Baltussen R, Boysen M, Kaló Z, Lönngren T, Mussen F, Peacock S, Watkins J, Devlin N, ISPOR Task Force: Multiple Criteria Decision Analysis for Health Care Decision Making–Emerging Good Practices: Report 2 of the ISPOR MCDA Emerging Good Practices Task Force. Value Health 2016;19:125-37. PMID: 27021745

Wen S, Zhang L, Yang B: Two approaches to incorporate clinical data uncertainty into multiple criteria decision analysis for benefit-risk assessment of medicinal products. Value Health 2014;17:619-28. PMID: 25128056 (相関に対応。δ methodとMonte Carlo simulationによる方法を提示。価値関数がより単純化が可能の方法になっている。）

Broekhuizen H, Groothuis-Oudshoorn CG, van Til JA, Hummel JM, IJzerman MJ: A review and classification of approaches for dealing with uncertainty in multi-criteria decision analysis for healthcare decisions. Pharmacoeconomics 2015;33:445-55. PMID: 25630758 （ベータ分布を用いる）

Multi-Criteria Decision Analysis (MCDA)のステップ

International Society for Pharmacoeconomics and Outcomes Research (ISPOR) 国際医薬経済・アウトカム研究学会の ISPOR MCDA Emerging Good Practices Task ForceがMCDAに関するガイダンスをReport 1およびReport 2として2016年に発表しています。

Steps in a value measurement MCDA process として8つのステップが挙げられています。Value measurementという言葉が用いられ、薬物療法の価値を定量的に評価するという意味だと思われます。

1.Defining the decision problem
2.Selecting and structuring criteria
3.Measuring performance
4.Scoring alternatives
5.Weighting criteria
6.Calculating aggregate scores
7.Dealing with uncertainty
8.Reporting and examination of findings

Report 2ではこれらに基づいたチェックリストも掲載されています。

診療ガイドライン作成のプロセスにおけるステップをこれらに対応してリストアップすると次の様になると思います。（これは、著者が作成したものです。）

1.Finding KCI and formulating CQ
2.Setting outcomes
3.Calculating effect estimates with SR
4.Comparing absolute effects
5.Setting importance of outcomes
6.Evaluating benefits and harms
7.Doing sensitivity analysis
8.Developing SoF and EtD framework with graphs

* KCI: Key Clinical Issue, CQ: Clilnical Question, SR: Systematic Review, SoF: Summary of Findings, EtD: Evidence-to-Decision . SoF、EtDはGrading of Recommendations, Assessment, Development and Evaluation (GRADE) approachに基づくステップです。

同じ概念を異なる言葉で表現しているため、異なる作業のようにみえますが、実際には同じ作業のものが多いです。しかし、4のscoringとabsolute effectsは同じではありません。6のaggregate scoresの計算と単なるbenefit-harmの評価も違います。

最近GRADE concept paperとしてDefining certainty of net benefitという論文が発表されています。この中で、アメリカUSPSTFの”certainty of net benefit”のことも引用されていますし、イギリスNICEのDecision Analylsisの活用についても触れられており、GRADE working groupもDecision modellingやDecision analysisについて検討中であると述べています。ただし、ISPORの論文は引用されていません。この論文で”A stepwise approach to determining the certainty of the net effect estimate”では以下のステップが記述されています。

1.Determine the outcomes to be combined.
2.Determine the quantified relative importance for each outcome.
3.Combine the importance-adjusted effect estimates.
4.Classify the precision of the net effect estimate.
5.Consider the certainty of effect estimates for outcomes that are critical to the likelihood of net benefit.
6.Determine if certainty of net benefit changes across a reasonable range of relative importance.

USPSTFの推奨Gradeについてはこの論文でも取り上げられていますが、MCDAという言葉は出てきません。しかし、複数の益と害のアウトカムに対する介入の効果を全体として定量的に評価することはMCDAそのものです。

Appendixとして、実例とnet effect estimateの計算法が紹介されていますが、効果推定値は”are expressed using the same units of measure”そして、”are independent and not correlated with each other”と制限がつけられています。価値関数という考えは取り入れられていません。

また、”Classification of precision of net effect estimate”ではNet benefit, Likely net benefit, Possible net benefit, Possibly no net benefit or harm, Net benefit or harm likely near zero, Possible net harm, Likely net harm, Net harmに分類しています。それぞれが、High certainty of net benefit, Moderate certainty of net benefit, Low certainty of net benefit, Very low certainty of net benefit or harm, Moderate certainty of little net benefit or harm, Low certainty of net harm, Moderate certainty of net harm, High certainty of net harmに対応するそうです。

References:
1. Thokala P, Devlin N, Marsh K, Baltussen R, Boysen M, Kalo Z, Longrenn T, Mussen F, Peacock S, Watkins J, Ijzerman M: Multiple Criteria Decision Analysis for Health Care Decision Making–An Introduction: Report 1 of the ISPOR MCDA Emerging Good Practices Task Force. Value Health 2016;19:1-13. PMID: 26797229
2. Marsh K, IJzerman M, Thokala P, Baltussen R, Boysen M, Kaló Z, Lönngren T, Mussen F, Peacock S, Watkins J, Devlin N, ISPOR Task Force: Multiple Criteria Decision Analysis for Health Care Decision Making–Emerging Good Practices: Report 2 of the ISPOR MCDA Emerging Good Practices Task Force. Value Health 2016;19:125-37. PMID: 27021745
3.Alper BS, Oettgen P, Kunnamo I, Iorio A, Ansari MT, Murad MH, Meerpohl JJ, Qaseem A, Hultcrantz M, Schünemann HJ, Guyatt G, GRADE Working Group: Defining certainty of net benefit: a GRADE concept paper. BMJ Open 2019;9:e027445. PMID: 31167868

FDAのBenefit-Risk Assessment（続き）

The Food and Drug Administration Safety and Innovation Actが2012年に発効し、その Section 905はFDAのCenter for Drug Evaluation and Research (CDER) に対して新薬の承認にあたり、構造化されたbenefit-risk assessment frameworkを実施することを求めることになりました。 2018年CDERは、Benefit-Risk Assessment in Drug Regulatory Decision-Making. Draft PDUFA VI Implementation Plan (FY 2018-2022)を発表しています。こちらからダウンロードできます。

さらに、同じく2012年に, FDAのCenter for Devices and Radiological Health (CDRH) はGuidance to clarify the principal benefit-risk assessmentというガイダンスを発表し、“patient tolerance for risk and perspective on benefit”すなわち「患者のリスクに対する許容度とベネフィットに対する視点を承認のレビューの際に追加のファクターとして考慮することを発表しました。その後、CDRHは2013年Patient Preference Initiativeというプロジェクトを開始し、Medical Device Advisory Committee (MDAC) に患者のパネルの参加について方針を定めたそうです。 CDRHのMedical Device Innovation Consortium MDICは、The MDIC Patient Centered Benefit-Risk (PCBR) Projectを2013年に開始し、MEDICAL DEVICE INNOVATION CONSORTIUM (MDIC) PATIENT CENTERED BENEFIT-RISK PROJECT REPORT: A Framework for Incorporating Information on Patient Preferences Regarding Benefit and Risk into Regulatory Assessments of New Medical Technologyという報告書を2015年に発行しました。こちらからダウンロードができますが登録が必要。

CDRH Patient Engagementも見てください。いろいろな資料が掲載されています。Patient and Public Involvementも重要な課題です。

論文としては、
Johnson FR, Zhou M: Patient Preferences in Regulatory Benefit-Risk Assessments: A US Perspective. Value Health 2016;19:741-745. PMID: 27712700が発表されています。 Role of Patient Preferences患者の選好の役割については、”Weighing benefits and risks of new health technologies requires not only assessing the available scientific evidence but also making societal value judgments about the relative importance of benefits and risks measured in different, noncomparable units.” と記述されており、単なる効果推定値の値、すなわち効果の大きさと不確実性だけでなく、価値観に基づく、ベネフィットとリスクの評価が必要なことが述べられています。この文章を読むだけで、①ランダム化比較試験などで得られた科学的エビデンスの評価だけでは、ベネフィットとリスクの評価はできない、②ベネフィットとリスクの相対的な重要性に関する社会的な価値判断が必要、③ベネフィットとリスクは比較ができない異なる尺度で測定が行われている、ということが分かります。

さらに、
Ho M, Saha A, McCleary KK, Levitan B, Christopher S, Zandlo K, Braithwaite RS, Hauber AB, Medical Device Innovation Consortium’s Patient Centered Benefit-Risk Steering Committee: A Framework for Incorporating Patient Preferences Regarding Benefits and Risks into Regulatory Assessment of Medical Technologies. Value Health 2016;19:746-750. PMID: 27712701 には具体的な手法について記述されています。この論文の中にMDIC’s Preference Assessment Methodology Catalogがあり、Table 2-List of methods included in the Catalog には、Prefrence選好の評価法に関してさまざまな方法がまとめられています。

表2-カタログに含まれる方法のリスト

グループ	方法
Structured weighting 構造化された重みづけ	Simple direct weighting 単純直接重みづけ Ranking excercises ランキングエクササイズ Swing weighting スウィングウェイティング Point allocation ポイント配置 Analytic hierarchy process 分析的階層法 Outranking methods アウトランキング法
Health-state utility健康状態効用	Time trade-off 時間得失法 Standard gamble 標準賭け法
Stated preference表明選好	Direct-assessment questions 直接評価質問 Threshold technique 閾値テクニック Conjoint analysis and discrete-choice experiments コンジョイント分析および離散選択分析 Best-worst scaling exercises 最善最悪スケーリングエクササイズ
Revealed preference 顕示選好	Patient preference trials 患者選好試験 Direct questions in clinical trials 臨床試験における直接質問

FDAもEMAもほとんど同じ考え方で定量的なベネフィットとリスクの評価法Quantitative Benefit-Risk Assessmentを模索してきたことが分かります。

診療ガイドライン作成時に益と害の評価をどのように行うかは重要なテーマですが、”効果推定値の大きさと不確実性”と”益と害の大きさとバランスの不確実性または正味の益の不確実性”は同じではないということを認識する必要があります。益と害の評価には価値観が関係します。また、これはComparative Effectiveness Research (CER)の理解とも関係します。なお、リスクRiskは害Harmと同じ意味で用いられています。また、PreferenceとValueも同じ意味で用いられています。

前の投稿FDAのBenefit-Risk Assessment Frameworkはこちら。