Swing weightingを用いたMCDAの結果

アウトカムOutcome=評価項目Criteriaの重要度の設定にSwing weightingという方法を用いた、成人の急性虫垂炎の抗菌薬投与による保存的治療と外科的虫垂切除の比較の例について紹介しました。参照:Keeney and Raiffaの方法 急性虫垂炎の例 その解析結果を示します。

まず、再発が無いことを重要視する場合です。下のグラフでアウトカムの右側の数字が設定した重みの値です。重みは0~100の範囲の値で、一番重要と考えたアウトカムは100に設定されます。それ以外のアウトカムには、それに対して相対的な値を設定します。

図1.アウトカムの右側に重みの値を示します。黒が外科的虫垂切除、赤が抗菌薬投与による保存的治療。

このような重みづけの組み合わせの場合は、再発が無いことを一番重要と考えていることになりますが、MCDAの結果では、次の様に外科的虫垂切除の方が総スコアAggregate scoreが高くなりました。分布は効果推定値=パラメータの不確実性を全体として反映していますが、各パラメータの間の共分散も含めて分散に掛け算される係数の値も取り込んだ総計に基づき計算しています。

効果推定値は各群の率あるいは平均値で、それらを4つの研究からメタアナリシスの手法でまとめた統合値を用いています。図1の黒の三角が外科的虫垂切除の場合、赤の三角が抗菌薬投与による保存的治療の場合です。率については正規分布に近似することを前提に分散の逆数で重みづけしたランダム効果モデルによる統合値と標準誤差、連続変数の平均値の場合は、分散の逆数で重みづけしたランダム効果モデルによる統合値と標準偏差の値を用いました。最善値、最悪値は二つの選択肢における95%信頼限界の最大値あるいは最小値を用いてスコアリングを行っています。

もし図1で黒または赤の三角のいずれかがすべてのアウトカムで矢じりの側にあれば、それだけでどのような重みづけの場合でも、その介入の方を選択すべきだとわかります。今回の例では、アウトカム毎に相対的位置が異なっており、トレードオフのあることがわかります。

また、もしすべてのアウトカムに対して、ありうる最善の効果の介入があるとしたら、総スコアは100になりますし、すべてのアウトカムに対してありうる最悪の効果の介入があるとしたら0になります。

図2.介入群:抗菌薬投与による保存的治療と対照群:外科的虫垂切除の総スコアの確率密度分布。

さらに、二つの選択肢の総スコアの差を求めると、外科的虫垂切除を対照としているので、介入―対照の値はマイナスとなり(対照の外科的切除の総スコアの方が大きい)、外科的虫垂切除の方が望ましいという結果になります。その差がプラスになり、介入すなわち抗菌薬投与による保存的治療の総スコアが上回る確率は0.032です。

従って、このような価値観を持つ人の場合は、外科手術を希望するでしょうし、このMCDAの結果もそれを支持しています。

図3.介入―対照の総スコアの差の分布。

それぞれのアウトカムに対する重みを0から100の間で10ずつ変動させた場合にどうなるか見た、つまり感度分析の、結果が次のグラフです。一つのアウトカムの重みを変える場合、それ以外のアウトカムに対する重みは最初に設定した値のままです。それぞれのグラフで青い点線で示すところが、すべてのアウトカムの重みが最初に設定した値の場合に相当します。縦のバーは95%信頼区間を示します。

図4.感度分析:総スコアと95%信頼区間。黒が外科的虫垂切除、赤が抗菌薬投与による保存的治療。

このグラフを見ると、1ヶ月以降1年以内の再発と1か月以内の手術、および費用は重みを変動させるとそれ以外のアウトカムの重みは変えない場合、総スコアが逆転し、抗菌薬投与による保存的治療の総スコアの方がより大きくなりうることがわかります。ただし、費用の重みを50以上にすると、抗菌薬投与による保存的治療の総スコアが外科的虫垂切除の総スコアを上回りますが、1ヶ月以降1年以内の再発や1か月以内の手術といった健康関連アウトカムに対して、費用の重みを50まで増加させることは非常に考えにくいと思います。

それでは、一か月以内に手術を受けないで済むことにもう少し価値を置く場合はどうなるでしょうか。次の図のような重みの場合です。上記の場合とは1ヶ月以内の虫垂切除の重みを20から60に変えたところが違います。他のアウトカムの重みは同じです。

図5.1ヶ月以内の手術の重みを増やした場合。黒が外科的虫垂切除、赤が抗菌薬投与による保存的治療。図1と同じグラフでアウトカムの右に書かれている重みの値が異なる。
図6.2つの選択肢の総スコアはほとんど差がない。。

こうすると、2つの選択肢の総スコアはほとんど同じになります。

差でみても同様です。

図7.抗菌薬投与による保存的治療の総スコア – 外科的虫垂切除の総スコアの分布。

すなわち、1ヶ月以降1年以内の再発は嫌だから、それを一番重要なアウトカムと考えるが、手術を受けないで済めばそれに越したことはない、というような価値観の人の場合は、どちらがいいか迷うでしょう。このMCDAの結果もそれを支持しているように見えます。どちらの治療選択肢でも価値に大差はないと考えられます。あるいは、再発もなく、手術も受けないで済むという、両方の良いとこ取りはできないということでもあります。

各アウトカムに対する重みを変動させた場合のグラフは次の通りです。この場合は、1ヶ月以内の虫垂切除の重みをより大きくすれば抗菌薬投与による保存的治療の総スコアが外科的虫垂切除の総スコアを上回ります。つまり、外科手術は受けたくないという気持ちが強い場合は抗菌薬投与による保存的治療の総スコアがより大きくなるということです

図8.感度分析:各アウトカムの重みを変動させた場合。

そして、1ヶ月以内に手術を受けないで済むことに対する重みを100にして、1ヶ月以降1年以内の再発の重みを70にした場合はどうなるでしょうか。この場合は、できるだけ手術を受けないで済むことに最も大きな価値を置くが、再発はある程度許容するという価値観になると思います。

図9.1ヶ月以内に手術を受けないで済むことを最も重要視する場合。黒が外科的虫垂切除、赤が抗菌薬投与による保存的治療。図1、5と同じグラフでアウトカムの右に書かれている重みの値が異なる。

この場合は、当然と言えば当然ですが、抗菌薬投与による保存的治療の総スコアが外科的虫垂切除の総スコアを上回ります。

図10.総スコアの差でみても同様です。

図11.抗菌薬投与による保存的治療の総スコアが外科的虫垂切除の総スコアを上回る確率はほぼ1になる。

各アウトカムの重みを変動させた場合のグラフは次の通りです。この場合も、1ヶ月以内に手術を受けることの重みを変動させると、逆転が生じます。

図12.感度分析:アウトカムの重みを変動させた場合の総スコア変動。

さて、これらの解析結果を見ると、Keeny and RaiffaのSwing weightingを用いるMCDA (Multi-Criteria Decision Analysis)はアウトカムの重みづけと総スコアの関係が納得できるものであり、人が感じる価値を正確にとらえることができる方法ではないかと思えます。しかも、元の尺度が異なる値を統合して総スコア化でき、それが人の感覚とよく符合するということは、優れた決断モデルであり、優れた決断分析の手法であると考えられます。なお、ここで示した分析はRを用いて管理者が作成したスクリプトで行いました。

Swing weightingによるアウトカムの重要度設定

成人で急性虫垂炎になった場合、抗菌薬投与による保存的治療を受けるか外科的虫垂切除を受けるか?どちらの方が良いだろう?

これら2つの治療的介入を比較した4件のランダム化比較試験のメタアナリシスの結果得られた効果推定値を用いて解析してみます。

Swing weightingによるアウトカムの重要度の設定、すなわち、重みの設定には図のような最善の効果(矢じり)、最悪の効果(縦線)を表したグラフが役に立ちます。

アウトカム毎の”Swing”-from the worst estimate | to the best estimate → or ← .

アウトカムとカッコ内に単位が書いてあります。値が大きい方が最善になるものと、逆に値が小さい方が最善になるものがあります。”Swing”つまり、横幅が大きいものと小さいものがあります。

大きい場合は、二つの介入の効果の差が大きいことになります。たとえば、虫垂切除(1か月以内)(率)をみると、最善は約0.05つまり約5%で、最悪は約1.0つまり100%です。手術を受けないで治癒することが良いことであるという考えが背景にあるので、手術を受ける介入は約100%手術になり、抗菌薬の治療を受ける介入は1か月以内でみると約9%の人しか手術をうけません。ここでは、それぞれ95%信頼限界の値を最善値、最悪値に設定していますので、もう少し幅が広くなり、100%→4.8%になっています。

他のアウトカムについても、ありうる最善の効果と最悪の効果として95%信頼限界の値の中の最大値あるいは最小値を設定してあります。

このグラフを見ながら、どのアウトカムを一番重要と考えますか?

急性虫垂炎は手術を受ければ、それで治ります。今は、腹腔鏡下の手術で傷跡も小さく、数日の入院で済みます。そして、二度と虫垂炎になることはありません。つまり、再発は0です。一方で1か月以降1年以内の再発無し(率)を見ると、抗菌薬の治療では最悪30%くらいが1年以内に再発します。そうなると、その時点で結局は手術を受けることになってしまいます。

例えば、ある人は”1か月以降1年以内の再発無し”のアウトカムを一番重要と考えました。いつ再発するか心配しながら生活するのは嫌だと思いました。そうすると、このアウトカムの重みは100にします。それ以外のアウトカムについても、このアウトカムと比べて相対的にいくつにするかを考え、結論としてその人は、虫垂切除(1か月以内)20、主要な合併症20、そのほかの合併症15、入院期間10、病休期間20、費用5という重みを設定しました。

このような選好Preferenceの人の場合、抗菌薬投与による保存的治療を受ける方がいいのか、それとも外科的虫垂切除を受ける方がいいのかどちらになるでしょうか?

手術を受けないで済めばそれに越したことはないと考えて、虫垂切除(1か月以内)を20ではなく60にしたらどうなるでしょうか?

さらに、やはり傷跡が残るのは嫌なので、手術を受けないで済むことが一番重要でしかも”Swing”も一番広いからと考えて、虫垂切除(1か月以内)を100にして、1か月以降1年以内の再発無しを70にしたらどうなるでしょう?

益と害のアウトカムが複数あり、介入の効果がすべてのアウトカムについて一つの治療選択肢が優れていれば、判断は容易です。トレードオフがあって、効果の程度もさまざまな場合には、直観的に決めるのが難しくなります。特に、介入の間の差が小さいとさらに判断が難しくなります。このような際にはSwing weightingを用いたMCDAは有用なツールになりえます。

また、価値観が人によって異なり、最善の選択肢が人によって変わるかもしれない、さらに、選択肢の間の差が小さい、このような際にはSwing weightingを用いたMCDAはその個人の選択の適切さを確認するための有用なツールになりえます。

さて、アウトカム毎の”Swing”グラフに2つの選択肢の効果推定値、この場合は率または平均値ですが、の表示を追加したグラフを示します。上のグラフと比べて、どちらの方が、重みの決定がやりやすいでしょうか?

アウトカム毎の”Swing”グラフ。黒が外科的虫垂切除、赤が抗菌薬投与による保存的治療。

Keeney and RaiffaのSwing weightingを用いたMCDA

Keeney and RaiffaのMulti-Criteria Decision AnalysisあるいはMultiple Criteria Decision Analysis (いずれもMCDA)では評価項目Criteria=アウトカムOutcomeに対する介入の効果をパフォーマンスPerformance=効果推定値Effect estimateとして測定された値をそのまま用いるのではなく、スコア化Scoringして、共通の基準による大きさを表す値に変換する。変換のための関数を価値関数Value functionと呼ぶ。この方法では各アウトカムに対するさまざまな介入の効果の中で、最善のものと最悪のものを設定し、最善の場合はスコアが100、最悪の場合はスコアが0とし、実際の介入の効果はその間のいずれかに位置するようにして、スコア化する。値が大きい方がより良い場合と逆に値が小さい方がより良い場合があるが、いずれの場合にも対応できる。最善というのはありうる最も望ましい効果、最悪というのはありうる最も望ましくない効果と言い換えることもできる。

健康関連アウトカムだけでなく、費用も評価項目として扱うことができる。効果推定値は多くの場合システマティックレビュー/メタアナリシスの結果を用いる。また、個別患者の推定値を用いることもできる。

ただし、リスク比、リスク差などは対照群との相対的な比較に基づく指標であるが、MCDAでは各群のイベント率、平均値などが必要になる。一方で、3つ以上の介入を一度にに比較することが可能である。以下で効果推定値と述べているのはこれらイベント率、平均値であり、不確実性の指標としては標準誤差、標準偏差を用いる。

Bを最善Bestの効果を示す効果推定値、Wを最悪Worstの効果を示す効果推定値とし、Xをその介入の効果推定値とすると、スコアSは、S=(X – W)/(B – W) × 100で表される。XとSの間に直線関係がある場合は、この式で対処できる。直線関係以外の場合も、価値関数を作成すれば対応できる。従って、Keeney and Raiffaの方法では、それぞれのアウトカムに対する効果で最善のものは100、最悪のものは0になる。そのアウトカムに対するさまざまな介入の効果推定値の95%信頼限界のなかで、最小値と最大値をBまたはWとして用いることが可能である。また、理想の治療法を想定してBを想定することも行われている。比較する介入の中だけで、ローカルにB,Wを設定する場合と、すべての介入を考慮してグローバルにB,Wを設定する場合がある。スコアはそれぞれのアウトカムに対してありうる最善の効果と最悪の効果に対して、相対的な値として決められているため、アウトカムが異なっても、同じ効果の大きさを表していると言える。

スコア化に続いて、重みづけの値を決める。意思決定の際に、アウトカムそのものの重要性とそのアウトカムに対する介入の効果の大きさ=パフォーマンスPerformance=Effect estimateの両方を考慮すべきとされているが、重みづけの方法の多くは、たとえば、NCI/Gailの方法や、Analytic Hierarchical Process (AHP)の様に、アウトカムの重要性だけを評価している。それに対してKeeney and Raiffaの重みづけの方法はSwing weightingと呼ばれ、上記のB、Wの値の変動=スウィングを考慮した上で、アウトカムの重要性を考慮し、その両方で重みを決める。この重みは個人個人の異なる値に対応できるので、協働意思決定Shared decision makingにおいても用いることができる。

総スコアAggregate scoreは重みの値を標準化、すなわち各アウトカムに対する重みの値の合計値でそれぞれの重みの値を割り算した上で、各アウトカムに対するスコアに掛け算して合計することで求められる。これをそれぞれの介入に対して算出し、一番値の大きい介入が最も価値のある介入となる。介入間のスコアの差を求め、P値を算出することもできる。

なお、NCI/Gailの方法では、益のアウトカムに対してはプラス、害のアウトカムに対してはマイナスの値になる様に効果推定値を設定して、アウトカムの重要性を掛け算して合算するので、総計がプラスなら益>害、マイナスなら益<害と判定する。

Keeney and RaiffaのSwing weightingを用いたMCDAでは各効果推定値の不確実性、重みの不確実性に対応した確率的感度分析あるいは確率的シミュレーション分析も可能であり、さらに、異なるアウトカムに対する効果推定値の相関マトリックスと標準誤差あるいは標準偏差から分散共分散マトリックスを作成して、相関を取り込んだ解析も可能である。

このモデルは、重みづけ加算モデルであり、前提としては、1)それぞれのアウトカム(評価項目)の評価は他のアウトカムの評価つまりスコアと重みの値の影響を受けない、2)Vi > Vjの場合、介入iの方が介入jより望ましい、3)価値関数は間隔尺度(連続変数)である、4)スコア×重みの同じ値の変動は同じ価値の変動を表す、5)各アウトカムの重みは互いに影響しない、すなわち各アウトカムは独立している、6)各評価項目のスコアは互いに影響しない、各評価項目のスコアは相関していない、の条件が満たされる必要がある。

文献:
Keeney R, Raiffa H: Decisions with multiple objectives: Preferences and Value Tradeoffs. 1993, Cambridge University Press.

Marsh K, Goetghebeur M, Thokala P: Multi-criteria decision analysis to support healthcare decisions. Springer, 2017. (包括的な内容)

Thokala P, Devlin N, Marsh K, Baltussen R, Boysen M, Kalo Z, Longrenn T, Mussen F, Peacock S, Watkins J, Ijzerman M: Multiple Criteria Decision Analysis for Health Care Decision Making–An Introduction: Report 1 of the ISPOR MCDA Emerging Good Practices Task Force. Value Health 2016;19:1-13. PMID: 26797229 (この論文のAppendixにSwing-weightingの例が示されている)

Marsh K, IJzerman M, Thokala P, Baltussen R, Boysen M, Kaló Z, Lönngren T, Mussen F, Peacock S, Watkins J, Devlin N, ISPOR Task Force: Multiple Criteria Decision Analysis for Health Care Decision Making–Emerging Good Practices: Report 2 of the ISPOR MCDA Emerging Good Practices Task Force. Value Health 2016;19:125-37. PMID: 27021745

Wen S, Zhang L, Yang B: Two approaches to incorporate clinical data uncertainty into multiple criteria decision analysis for benefit-risk assessment of medicinal products. Value Health 2014;17:619-28. PMID: 25128056 (相関に対応。δ methodとMonte Carlo simulationによる方法を提示。価値関数がより単純化が可能の方法になっている。)

Broekhuizen H, Groothuis-Oudshoorn CG, van Til JA, Hummel JM, IJzerman MJ: A review and classification of approaches for dealing with uncertainty in multi-criteria decision analysis for healthcare decisions. Pharmacoeconomics 2015;33:445-55. PMID: 25630758 (ベータ分布を用いる)

Multi-Criteria Decision Analysis (MCDA)のステップ

International Society for Pharmacoeconomics and Outcomes Research (ISPOR) 国際医薬経済・アウトカム研究学会の ISPOR MCDA Emerging Good Practices Task ForceがMCDAに関するガイダンスをReport 1およびReport 2として2016年に発表しています。

Steps in a value measurement MCDA process として8つのステップが挙げられています。Value measurementという言葉が用いられ、薬物療法の価値を定量的に評価するという意味だと思われます。

1.Defining the decision problem
2.Selecting and structuring criteria
3.Measuring performance
4.Scoring alternatives
5.Weighting criteria
6.Calculating aggregate scores
7.Dealing with uncertainty
8.Reporting and examination of findings

Report 2ではこれらに基づいたチェックリストも掲載されています。

診療ガイドライン作成のプロセスにおけるステップをこれらに対応してリストアップすると次の様になると思います。(これは、著者が作成したものです。)

1.Finding KCI and formulating CQ
2.Setting outcomes
3.Calculating effect estimates with SR
4.Comparing absolute effects
5.Setting importance of outcomes
6.Evaluating benefits and harms
7.Doing sensitivity analysis
8.Developing SoF and EtD framework with graphs

* KCI: Key Clinical Issue, CQ: Clilnical Question, SR: Systematic Review, SoF: Summary of Findings, EtD: Evidence-to-Decision . SoF、EtDはGrading of Recommendations, Assessment, Development and Evaluation (GRADE) approachに基づくステップです。

同じ概念を異なる言葉で表現しているため、異なる作業のようにみえますが、実際には同じ作業のものが多いです。しかし、4のscoringとabsolute effectsは同じではありません。6のaggregate scoresの計算と単なるbenefit-harmの評価も違います。

最近GRADE concept paperとしてDefining certainty of net benefitという論文が発表されています。この中で、アメリカUSPSTFの”certainty of net benefit”のことも引用されていますし、イギリスNICEのDecision Analylsisの活用についても触れられており、GRADE working groupもDecision modellingやDecision analysisについて検討中であると述べています。ただし、ISPORの論文は引用されていません。この論文で”A stepwise approach to determining the certainty of the net effect estimate”では以下のステップが記述されています。

1.Determine the outcomes to be combined.
2.Determine the quantified relative importance for each outcome.
3.Combine the importance-adjusted effect estimates.
4.Classify the precision of the net effect estimate.
5.Consider the certainty of effect estimates for outcomes that are critical to the likelihood of net benefit.
6.Determine if certainty of net benefit changes across a reasonable range of relative importance.

USPSTFの推奨Gradeについてはこの論文でも取り上げられていますが、MCDAという言葉は出てきません。しかし、複数の益と害のアウトカムに対する介入の効果を全体として定量的に評価することはMCDAそのものです。

Appendixとして、実例とnet effect estimateの計算法が紹介されていますが、効果推定値は”are expressed using the same units of measure”そして、”are independent and not correlated with each other”と制限がつけられています。価値関数という考えは取り入れられていません。

また、”Classification of precision of net effect estimate”ではNet benefit, Likely net benefit, Possible net benefit, Possibly no net benefit or harm, Net benefit or harm likely near zero, Possible net harm, Likely net harm, Net harmに分類しています。それぞれが、High certainty of net benefit, Moderate certainty of net benefit, Low certainty of net benefit, Very low certainty of net benefit or harm, Moderate certainty of little net benefit or harm, Low certainty of net harm, Moderate certainty of net harm, High certainty of net harmに対応するそうです。

References:
1. Thokala P, Devlin N, Marsh K, Baltussen R, Boysen M, Kalo Z, Longrenn T, Mussen F, Peacock S, Watkins J, Ijzerman M: Multiple Criteria Decision Analysis for Health Care Decision Making–An Introduction: Report 1 of the ISPOR MCDA Emerging Good Practices Task Force. Value Health 2016;19:1-13. PMID: 26797229
2. Marsh K, IJzerman M, Thokala P, Baltussen R, Boysen M, Kaló Z, Lönngren T, Mussen F, Peacock S, Watkins J, Devlin N, ISPOR Task Force: Multiple Criteria Decision Analysis for Health Care Decision Making–Emerging Good Practices: Report 2 of the ISPOR MCDA Emerging Good Practices Task Force. Value Health 2016;19:125-37. PMID: 27021745
3.Alper BS, Oettgen P, Kunnamo I, Iorio A, Ansari MT, Murad MH, Meerpohl JJ, Qaseem A, Hultcrantz M, Schünemann HJ, Guyatt G, GRADE Working Group: Defining certainty of net benefit: a GRADE concept paper. BMJ Open 2019;9:e027445. PMID: 31167868