Keeney and RaiffaのSwing weightingを用いたMCDA

Keeney and RaiffaのMulti-Criteria Decision AnalysisあるいはMultiple Criteria Decision Analysis (いずれもMCDA)では評価項目Criteria=アウトカムOutcomeに対する介入の効果をパフォーマンスPerformance=効果推定値Effect estimateとして測定された値をそのまま用いるのではなく、スコア化Scoringして、共通の基準による大きさを表す値に変換する。変換のための関数を価値関数Value functionと呼ぶ。この方法では各アウトカムに対するさまざまな介入の効果の中で、最善のものと最悪のものを設定し、最善の場合はスコアが100、最悪の場合はスコアが0とし、実際の介入の効果はその間のいずれかに位置するようにして、スコア化する。値が大きい方がより良い場合と逆に値が小さい方がより良い場合があるが、いずれの場合にも対応できる。最善というのはありうる最も望ましい効果、最悪というのはありうる最も望ましくない効果と言い換えることもできる。

健康関連アウトカムだけでなく、費用も評価項目として扱うことができる。効果推定値は多くの場合システマティックレビュー/メタアナリシスの結果を用いる。また、個別患者の推定値を用いることもできる。

ただし、リスク比、リスク差などは対照群との相対的な比較に基づく指標であるが、MCDAでは各群のイベント率、平均値などが必要になる。一方で、3つ以上の介入を一度にに比較することが可能である。以下で効果推定値と述べているのはこれらイベント率、平均値であり、不確実性の指標としては標準誤差、標準偏差を用いる。

Bを最善Bestの効果を示す効果推定値、Wを最悪Worstの効果を示す効果推定値とし、Xをその介入の効果推定値とすると、スコアSは、S=(X – W)/(B – W) × 100で表される。XとSの間に直線関係がある場合は、この式で対処できる。直線関係以外の場合も、価値関数を作成すれば対応できる。従って、Keeney and Raiffaの方法では、それぞれのアウトカムに対する効果で最善のものは100、最悪のものは0になる。そのアウトカムに対するさまざまな介入の効果推定値の95%信頼限界のなかで、最小値と最大値をBまたはWとして用いることが可能である。また、理想の治療法を想定してBを想定することも行われている。比較する介入の中だけで、ローカルにB,Wを設定する場合と、すべての介入を考慮してグローバルにB,Wを設定する場合がある。スコアはそれぞれのアウトカムに対してありうる最善の効果と最悪の効果に対して、相対的な値として決められているため、アウトカムが異なっても、同じ効果の大きさを表していると言える。

スコア化に続いて、重みづけの値を決める。意思決定の際に、アウトカムそのものの重要性とそのアウトカムに対する介入の効果の大きさ=パフォーマンスPerformance=Effect estimateの両方を考慮すべきとされているが、重みづけの方法の多くは、たとえば、NCI/Gailの方法や、Analytic Hierarchical Process (AHP)の様に、アウトカムの重要性だけを評価している。それに対してKeeney and Raiffaの重みづけの方法はSwing weightingと呼ばれ、上記のB、Wの値の変動=スウィングを考慮した上で、アウトカムの重要性を考慮し、その両方で重みを決める。この重みは個人個人の異なる値に対応できるので、協働意思決定Shared decision makingにおいても用いることができる。

総スコアAggregate scoreは重みの値を標準化、すなわち各アウトカムに対する重みの値の合計値でそれぞれの重みの値を割り算した上で、各アウトカムに対するスコアに掛け算して合計することで求められる。これをそれぞれの介入に対して算出し、一番値の大きい介入が最も価値のある介入となる。介入間のスコアの差を求め、P値を算出することもできる。

なお、NCI/Gailの方法では、益のアウトカムに対してはプラス、害のアウトカムに対してはマイナスの値になる様に効果推定値を設定して、アウトカムの重要性を掛け算して合算するので、総計がプラスなら益>害、マイナスなら益<害と判定する。

Keeney and RaiffaのSwing weightingを用いたMCDAでは各効果推定値の不確実性、重みの不確実性に対応した確率的感度分析あるいは確率的シミュレーション分析も可能であり、さらに、異なるアウトカムに対する効果推定値の相関マトリックスと標準誤差あるいは標準偏差から分散共分散マトリックスを作成して、相関を取り込んだ解析も可能である。

このモデルは、重みづけ加算モデルであり、前提としては、1)それぞれのアウトカム(評価項目)の評価は他のアウトカムの評価つまりスコアと重みの値の影響を受けない、2)Vi > Vjの場合、介入iの方が介入jより望ましい、3)価値関数は間隔尺度(連続変数)である、4)スコア×重みの同じ値の変動は同じ価値の変動を表す、5)各アウトカムの重みは互いに影響しない、すなわち各アウトカムは独立している、6)各評価項目のスコアは互いに影響しない、各評価項目のスコアは相関していない、の条件が満たされる必要がある。

文献:
Keeney R, Raiffa H: Decisions with multiple objectives: Preferences and Value Tradeoffs. 1993, Cambridge University Press.

Marsh K, Goetghebeur M, Thokala P: Multi-criteria decision analysis to support healthcare decisions. Springer, 2017. (包括的な内容)

Thokala P, Devlin N, Marsh K, Baltussen R, Boysen M, Kalo Z, Longrenn T, Mussen F, Peacock S, Watkins J, Ijzerman M: Multiple Criteria Decision Analysis for Health Care Decision Making–An Introduction: Report 1 of the ISPOR MCDA Emerging Good Practices Task Force. Value Health 2016;19:1-13. PMID: 26797229 (この論文のAppendixにSwing-weightingの例が示されている)

Marsh K, IJzerman M, Thokala P, Baltussen R, Boysen M, Kaló Z, Lönngren T, Mussen F, Peacock S, Watkins J, Devlin N, ISPOR Task Force: Multiple Criteria Decision Analysis for Health Care Decision Making–Emerging Good Practices: Report 2 of the ISPOR MCDA Emerging Good Practices Task Force. Value Health 2016;19:125-37. PMID: 27021745

Wen S, Zhang L, Yang B: Two approaches to incorporate clinical data uncertainty into multiple criteria decision analysis for benefit-risk assessment of medicinal products. Value Health 2014;17:619-28. PMID: 25128056 (相関に対応。δ methodとMonte Carlo simulationによる方法を提示。価値関数がより単純化が可能の方法になっている。)

Broekhuizen H, Groothuis-Oudshoorn CG, van Til JA, Hummel JM, IJzerman MJ: A review and classification of approaches for dealing with uncertainty in multi-criteria decision analysis for healthcare decisions. Pharmacoeconomics 2015;33:445-55. PMID: 25630758 (ベータ分布を用いる)

PubMed E-utilitiesとpmSearch

PubMedで検索を行う際には、ほとんどの人はPubMedのウェブサイトを開いて、検索語句、検索式を入力して検索し、得られた結果をMEDLINE形式あるいはXML形式でダウンロードして利用していると思います。

PubMedにはE-utilitiesというのがあって、検索語句や検索式をデータベースに直接送信して、結果を引き出すことができるようになっています。 PubMed Utilities Help に解説があります。

これを利用して、作成した検索式からPubMedのホームページを開くことなく、直接検索結果を引き出して、文献リストを表示するウェブページpmSearchを作成しました。Recordで作成した文献リストでさまざまな処理が可能です。このブログのメニューのSR CPG Web Toolsからリンクしてあります。

pmSearchはJavaScript, jQueryを使って作成しました。作成した文献リストからバイアスリスク、非直接性を評価し、メタアナリシスを実行することもできます。

Multi-Criteria Decision Analysis (MCDA)のステップ

International Society for Pharmacoeconomics and Outcomes Research (ISPOR) 国際医薬経済・アウトカム研究学会の ISPOR MCDA Emerging Good Practices Task ForceがMCDAに関するガイダンスをReport 1およびReport 2として2016年に発表しています。

Steps in a value measurement MCDA process として8つのステップが挙げられています。Value measurementという言葉が用いられ、薬物療法の価値を定量的に評価するという意味だと思われます。

1.Defining the decision problem
2.Selecting and structuring criteria
3.Measuring performance
4.Scoring alternatives
5.Weighting criteria
6.Calculating aggregate scores
7.Dealing with uncertainty
8.Reporting and examination of findings

Report 2ではこれらに基づいたチェックリストも掲載されています。

診療ガイドライン作成のプロセスにおけるステップをこれらに対応してリストアップすると次の様になると思います。(これは、著者が作成したものです。)

1.Finding KCI and formulating CQ
2.Setting outcomes
3.Calculating effect estimates with SR
4.Comparing absolute effects
5.Setting importance of outcomes
6.Evaluating benefits and harms
7.Doing sensitivity analysis
8.Developing SoF and EtD framework with graphs

* KCI: Key Clinical Issue, CQ: Clilnical Question, SR: Systematic Review, SoF: Summary of Findings, EtD: Evidence-to-Decision . SoF、EtDはGrading of Recommendations, Assessment, Development and Evaluation (GRADE) approachに基づくステップです。

同じ概念を異なる言葉で表現しているため、異なる作業のようにみえますが、実際には同じ作業のものが多いです。しかし、4のscoringとabsolute effectsは同じではありません。6のaggregate scoresの計算と単なるbenefit-harmの評価も違います。

最近GRADE concept paperとしてDefining certainty of net benefitという論文が発表されています。この中で、アメリカUSPSTFの”certainty of net benefit”のことも引用されていますし、イギリスNICEのDecision Analylsisの活用についても触れられており、GRADE working groupもDecision modellingやDecision analysisについて検討中であると述べています。ただし、ISPORの論文は引用されていません。この論文で”A stepwise approach to determining the certainty of the net effect estimate”では以下のステップが記述されています。

1.Determine the outcomes to be combined.
2.Determine the quantified relative importance for each outcome.
3.Combine the importance-adjusted effect estimates.
4.Classify the precision of the net effect estimate.
5.Consider the certainty of effect estimates for outcomes that are critical to the likelihood of net benefit.
6.Determine if certainty of net benefit changes across a reasonable range of relative importance.

USPSTFの推奨Gradeについてはこの論文でも取り上げられていますが、MCDAという言葉は出てきません。しかし、複数の益と害のアウトカムに対する介入の効果を全体として定量的に評価することはMCDAそのものです。

Appendixとして、実例とnet effect estimateの計算法が紹介されていますが、効果推定値は”are expressed using the same units of measure”そして、”are independent and not correlated with each other”と制限がつけられています。価値関数という考えは取り入れられていません。

また、”Classification of precision of net effect estimate”ではNet benefit, Likely net benefit, Possible net benefit, Possibly no net benefit or harm, Net benefit or harm likely near zero, Possible net harm, Likely net harm, Net harmに分類しています。それぞれが、High certainty of net benefit, Moderate certainty of net benefit, Low certainty of net benefit, Very low certainty of net benefit or harm, Moderate certainty of little net benefit or harm, Low certainty of net harm, Moderate certainty of net harm, High certainty of net harmに対応するそうです。

References:
1. Thokala P, Devlin N, Marsh K, Baltussen R, Boysen M, Kalo Z, Longrenn T, Mussen F, Peacock S, Watkins J, Ijzerman M: Multiple Criteria Decision Analysis for Health Care Decision Making–An Introduction: Report 1 of the ISPOR MCDA Emerging Good Practices Task Force. Value Health 2016;19:1-13. PMID: 26797229
2. Marsh K, IJzerman M, Thokala P, Baltussen R, Boysen M, Kaló Z, Lönngren T, Mussen F, Peacock S, Watkins J, Devlin N, ISPOR Task Force: Multiple Criteria Decision Analysis for Health Care Decision Making–Emerging Good Practices: Report 2 of the ISPOR MCDA Emerging Good Practices Task Force. Value Health 2016;19:125-37. PMID: 27021745
3.Alper BS, Oettgen P, Kunnamo I, Iorio A, Ansari MT, Murad MH, Meerpohl JJ, Qaseem A, Hultcrantz M, Schünemann HJ, Guyatt G, GRADE Working Group: Defining certainty of net benefit: a GRADE concept paper. BMJ Open 2019;9:e027445. PMID: 31167868

SELFIE project

SELFIEは複数の疾患を抱える人たちを経済的面も含めて持続可能なより良いケアを提供しようというEUのオランダ、オーストリア、クロアチア、ドイツ、ハンガリー、ノルウェー、スペイン、英国の多国間共同プロジェクトだそうです。

SELFIE (Sustainable intEgrated chronic care modeLs for multi-morbidity: delivery, FInancing, and performancE) is a Horizon2020 funded EU project that aims to contribute to the improvement of person-centred care for persons with multi-morbidity by proposing evidence-based, economically sustainable, integrated care programmes that stimulate cooperation across health and social care and are supported by appropriate financing and payment schemes.

論文も発表されており、全文が公開されています。Rutten-van Mölken M, et al: Strengthening the evidence-base of integrated care for people with multi-morbidity in Europe using Multi-Criteria Decision Analysis (MCDA). BMC Health Serv Res 2018;18:576. PMID: 30041653

臨床研究の多国間プロジェクトの進め方として、また研究目標の設定、益と害の解析方法など参考になる点が多々あると思います。