Clinical Practice Guideline – ページ 11

Keeney and RaiffaのSwing weightingを用いたMCDA

Keeney and RaiffaのMulti-Criteria Decision AnalysisあるいはMultiple Criteria Decision Analysis (いずれもMCDA)では評価項目Criteria=アウトカムOutcomeに対する介入の効果をパフォーマンスPerformance＝効果推定値Effect estimateとして測定された値をそのまま用いるのではなく、スコア化Scoringして、共通の基準による大きさを表す値に変換する。変換のための関数を価値関数Value functionと呼ぶ。この方法では各アウトカムに対するさまざまな介入の効果の中で、最善のものと最悪のものを設定し、最善の場合はスコアが100、最悪の場合はスコアが0とし、実際の介入の効果はその間のいずれかに位置するようにして、スコア化する。値が大きい方がより良い場合と逆に値が小さい方がより良い場合があるが、いずれの場合にも対応できる。最善というのはありうる最も望ましい効果、最悪というのはありうる最も望ましくない効果と言い換えることもできる。

健康関連アウトカムだけでなく、費用も評価項目として扱うことができる。効果推定値は多くの場合システマティックレビュー/メタアナリシスの結果を用いる。また、個別患者の推定値を用いることもできる。

ただし、リスク比、リスク差などは対照群との相対的な比較に基づく指標であるが、MCDAでは各群のイベント率、平均値などが必要になる。一方で、3つ以上の介入を一度にに比較することが可能である。以下で効果推定値と述べているのはこれらイベント率、平均値であり、不確実性の指標としては標準誤差、標準偏差を用いる。

Bを最善Bestの効果を示す効果推定値、Wを最悪Worstの効果を示す効果推定値とし、Xをその介入の効果推定値とすると、スコアSは、S=(X – W)/(B – W) × 100で表される。XとSの間に直線関係がある場合は、この式で対処できる。直線関係以外の場合も、価値関数を作成すれば対応できる。従って、Keeney and Raiffaの方法では、それぞれのアウトカムに対する効果で最善のものは100、最悪のものは0になる。そのアウトカムに対するさまざまな介入の効果推定値の95%信頼限界のなかで、最小値と最大値をBまたはWとして用いることが可能である。また、理想の治療法を想定してBを想定することも行われている。比較する介入の中だけで、ローカルにB,Wを設定する場合と、すべての介入を考慮してグローバルにB,Wを設定する場合がある。スコアはそれぞれのアウトカムに対してありうる最善の効果と最悪の効果に対して、相対的な値として決められているため、アウトカムが異なっても、同じ効果の大きさを表していると言える。

スコア化に続いて、重みづけの値を決める。意思決定の際に、アウトカムそのものの重要性とそのアウトカムに対する介入の効果の大きさ＝パフォーマンスPerformance＝Effect estimateの両方を考慮すべきとされているが、重みづけの方法の多くは、たとえば、NCI/Gailの方法や、Analytic Hierarchical Process （AHP)の様に、アウトカムの重要性だけを評価している。それに対してKeeney and Raiffaの重みづけの方法はSwing weightingと呼ばれ、上記のB、Wの値の変動=スウィングを考慮した上で、アウトカムの重要性を考慮し、その両方で重みを決める。この重みは個人個人の異なる値に対応できるので、協働意思決定Shared decision makingにおいても用いることができる。

総スコアAggregate scoreは重みの値を標準化、すなわち各アウトカムに対する重みの値の合計値でそれぞれの重みの値を割り算した上で、各アウトカムに対するスコアに掛け算して合計することで求められる。これをそれぞれの介入に対して算出し、一番値の大きい介入が最も価値のある介入となる。介入間のスコアの差を求め、P値を算出することもできる。

なお、NCI/Gailの方法では、益のアウトカムに対してはプラス、害のアウトカムに対してはマイナスの値になる様に効果推定値を設定して、アウトカムの重要性を掛け算して合算するので、総計がプラスなら益＞害、マイナスなら益＜害と判定する。

Keeney and RaiffaのSwing weightingを用いたMCDAでは各効果推定値の不確実性、重みの不確実性に対応した確率的感度分析あるいは確率的シミュレーション分析も可能であり、さらに、異なるアウトカムに対する効果推定値の相関マトリックスと標準誤差あるいは標準偏差から分散共分散マトリックスを作成して、相関を取り込んだ解析も可能である。

このモデルは、重みづけ加算モデルであり、前提としては、1）それぞれのアウトカム（評価項目）の評価は他のアウトカムの評価つまりスコアと重みの値の影響を受けない、2）V_i > V_jの場合、介入iの方が介入jより望ましい、3）価値関数は間隔尺度（連続変数）である、4）スコア×重みの同じ値の変動は同じ価値の変動を表す、5）各アウトカムの重みは互いに影響しない、すなわち各アウトカムは独立している、6）各評価項目のスコアは互いに影響しない、各評価項目のスコアは相関していない、の条件が満たされる必要がある。

文献：
Keeney R, Raiffa H: Decisions with multiple objectives: Preferences and Value Tradeoffs. 1993, Cambridge University Press.

Marsh K, Goetghebeur M, Thokala P: Multi-criteria decision analysis to support healthcare decisions. Springer, 2017. （包括的な内容）

Thokala P, Devlin N, Marsh K, Baltussen R, Boysen M, Kalo Z, Longrenn T, Mussen F, Peacock S, Watkins J, Ijzerman M: Multiple Criteria Decision Analysis for Health Care Decision Making–An Introduction: Report 1 of the ISPOR MCDA Emerging Good Practices Task Force. Value Health 2016;19:1-13. PMID: 26797229 （この論文のAppendixにSwing-weightingの例が示されている）

Marsh K, IJzerman M, Thokala P, Baltussen R, Boysen M, Kaló Z, Lönngren T, Mussen F, Peacock S, Watkins J, Devlin N, ISPOR Task Force: Multiple Criteria Decision Analysis for Health Care Decision Making–Emerging Good Practices: Report 2 of the ISPOR MCDA Emerging Good Practices Task Force. Value Health 2016;19:125-37. PMID: 27021745

Wen S, Zhang L, Yang B: Two approaches to incorporate clinical data uncertainty into multiple criteria decision analysis for benefit-risk assessment of medicinal products. Value Health 2014;17:619-28. PMID: 25128056 (相関に対応。δ methodとMonte Carlo simulationによる方法を提示。価値関数がより単純化が可能の方法になっている。）

Broekhuizen H, Groothuis-Oudshoorn CG, van Til JA, Hummel JM, IJzerman MJ: A review and classification of approaches for dealing with uncertainty in multi-criteria decision analysis for healthcare decisions. Pharmacoeconomics 2015;33:445-55. PMID: 25630758 （ベータ分布を用いる）

Multi-Criteria Decision Analysis (MCDA)のステップ

International Society for Pharmacoeconomics and Outcomes Research (ISPOR) 国際医薬経済・アウトカム研究学会の ISPOR MCDA Emerging Good Practices Task ForceがMCDAに関するガイダンスをReport 1およびReport 2として2016年に発表しています。

Steps in a value measurement MCDA process として8つのステップが挙げられています。Value measurementという言葉が用いられ、薬物療法の価値を定量的に評価するという意味だと思われます。

1.Defining the decision problem
2.Selecting and structuring criteria
3.Measuring performance
4.Scoring alternatives
5.Weighting criteria
6.Calculating aggregate scores
7.Dealing with uncertainty
8.Reporting and examination of findings

Report 2ではこれらに基づいたチェックリストも掲載されています。

診療ガイドライン作成のプロセスにおけるステップをこれらに対応してリストアップすると次の様になると思います。（これは、著者が作成したものです。）

1.Finding KCI and formulating CQ
2.Setting outcomes
3.Calculating effect estimates with SR
4.Comparing absolute effects
5.Setting importance of outcomes
6.Evaluating benefits and harms
7.Doing sensitivity analysis
8.Developing SoF and EtD framework with graphs

* KCI: Key Clinical Issue, CQ: Clilnical Question, SR: Systematic Review, SoF: Summary of Findings, EtD: Evidence-to-Decision . SoF、EtDはGrading of Recommendations, Assessment, Development and Evaluation (GRADE) approachに基づくステップです。

同じ概念を異なる言葉で表現しているため、異なる作業のようにみえますが、実際には同じ作業のものが多いです。しかし、4のscoringとabsolute effectsは同じではありません。6のaggregate scoresの計算と単なるbenefit-harmの評価も違います。

最近GRADE concept paperとしてDefining certainty of net benefitという論文が発表されています。この中で、アメリカUSPSTFの”certainty of net benefit”のことも引用されていますし、イギリスNICEのDecision Analylsisの活用についても触れられており、GRADE working groupもDecision modellingやDecision analysisについて検討中であると述べています。ただし、ISPORの論文は引用されていません。この論文で”A stepwise approach to determining the certainty of the net effect estimate”では以下のステップが記述されています。

1.Determine the outcomes to be combined.
2.Determine the quantified relative importance for each outcome.
3.Combine the importance-adjusted effect estimates.
4.Classify the precision of the net effect estimate.
5.Consider the certainty of effect estimates for outcomes that are critical to the likelihood of net benefit.
6.Determine if certainty of net benefit changes across a reasonable range of relative importance.

USPSTFの推奨Gradeについてはこの論文でも取り上げられていますが、MCDAという言葉は出てきません。しかし、複数の益と害のアウトカムに対する介入の効果を全体として定量的に評価することはMCDAそのものです。

Appendixとして、実例とnet effect estimateの計算法が紹介されていますが、効果推定値は”are expressed using the same units of measure”そして、”are independent and not correlated with each other”と制限がつけられています。価値関数という考えは取り入れられていません。

また、”Classification of precision of net effect estimate”ではNet benefit, Likely net benefit, Possible net benefit, Possibly no net benefit or harm, Net benefit or harm likely near zero, Possible net harm, Likely net harm, Net harmに分類しています。それぞれが、High certainty of net benefit, Moderate certainty of net benefit, Low certainty of net benefit, Very low certainty of net benefit or harm, Moderate certainty of little net benefit or harm, Low certainty of net harm, Moderate certainty of net harm, High certainty of net harmに対応するそうです。

References:
1. Thokala P, Devlin N, Marsh K, Baltussen R, Boysen M, Kalo Z, Longrenn T, Mussen F, Peacock S, Watkins J, Ijzerman M: Multiple Criteria Decision Analysis for Health Care Decision Making–An Introduction: Report 1 of the ISPOR MCDA Emerging Good Practices Task Force. Value Health 2016;19:1-13. PMID: 26797229
2. Marsh K, IJzerman M, Thokala P, Baltussen R, Boysen M, Kaló Z, Lönngren T, Mussen F, Peacock S, Watkins J, Devlin N, ISPOR Task Force: Multiple Criteria Decision Analysis for Health Care Decision Making–Emerging Good Practices: Report 2 of the ISPOR MCDA Emerging Good Practices Task Force. Value Health 2016;19:125-37. PMID: 27021745
3.Alper BS, Oettgen P, Kunnamo I, Iorio A, Ansari MT, Murad MH, Meerpohl JJ, Qaseem A, Hultcrantz M, Schünemann HJ, Guyatt G, GRADE Working Group: Defining certainty of net benefit: a GRADE concept paper. BMJ Open 2019;9:e027445. PMID: 31167868

IMI PROTECTとPPI

PPIとはPatient Public Involvementのことですが、医薬品のベネフィット・リスク評価における患者・市民の参画についてEUではかなり議論が進んでいます。

Innovative Medicines Initiative (IMI)
　Innovative Medicines Initiative (IMI)革新的医薬品イニシアティブはEUとヨーロッパ製薬企業のパートナーシップですべての人の健康と幸福のための個別化医薬の、特に医療ニーズに十分応えられていない領域での、開発とそれらへの患者さんのアクセスを促進する研究におけるオープンなコラボレーションを促進する活動をしています。

　IMI2期プログラム（2014－2020年）を通じ約4100億円（33億ユーロ）の予算が用意されました。IMIのゴール、特に第2期（IMI2,　2014-2020)は次の世代のワクチン、新しい抗生物資のような、医薬品、治療法を開発することだそうです。

Pharmacoepidemiological Research on Outcomes of Therapeutics by a European Consortium　(PROTECT)
　治療アウトカムに関する薬剤疫学的研究ヨーロッパコンソーシアムは革新的医薬品イニシアティブ(IMI)の下で作られたプロジェクトで、医薬品の副作用をさまざまなデータソースから早期に検出し評価することを促進する一連の革新的ツールと方法を開発し、ベネフィットとリスクに関するデータの統合と提示を可能にすることを目的としています。

ベネフィットとリスクとはベネフィットとハームつまり益と害と同じ意味です。診療ガイドライン作成で介入の益と害をシステマティックレビューで明らかにするのとほとんど同じ事をすることになります。

　PROTECTは34の民間および公的パートナーの間の共同作業であり、欧州医薬品局のもとで連携しています。PROTECTでは計6つのワークパッケージが成果として発表されており、それぞれ異なる領域に焦点が当てられています。

さて、
The patient and public involvement (PPI)患者・市民の参画についてはWork Package Five (WP5)で取り扱われています。IMI PROTECT Benefit-Risk Group PAATIENT AND PUBLIC INVOLVEMENT REPORT version 1.0 Recommendations for Patient and Public Involvement in the assessment of benefit and risk of medicines. (Team leader Kimberley Hockley, Imperial college London). (PDF file)

Patient Public Involvement (PPI)の定義
Patient and public:
”患者と市民”とは、臨床試験への参加者、患者および将来患者になりうる者、障害者、両親と保護者、健康サービス・社会福祉サービスの利用者、介護者、一般市民メンバー、これらの人々の利益を代表する組織。

Involvement:
”参画”とは、患者、市民と意思決定にあたる規制当局の間の能動的なパートナーシップであり、患者と市民を意思決定の対象者として扱うことではない。患者・市民の参画とは患者・市民とともになされるあるいは患者・市民によってなされる意思決定と定義され、患者・市民へ、に関して、あるいは、のための意思決定という意味ではない。

これらの定義はイギリスのNational Health Service (NHS)国民健康サービスにおけるより多くの市民参加をサポートしている全国規模のアドバイザリーグループであるInvolveから採用したそうです。

この報告書では、PPIが重要な場面として、a) 関連するアウトカム測定の選択、採用、除外、b)アウトカム測定の順位付けと重みづけ、が挙げられています。For example, PPI may be considered important during (a) the selection, inclusion and exclusion of relevant outcome measures, or (b) the ranking and weighting of outcome measures

WHO Handbook for Guideline Development

WHOは診療ガイドライン作成の方法としてGRADEアプローチを2007年から採用しています。 WHO Handbook for Guideline Development は2nd editionが2014年に発表されています。9章のEvidence assessmentで以下の様に述べられています。”WHO uses the Grading of Recommendations Assessment, Development and Evaluation (GRADE) approach to assess the quality of a body of evidence, and to develop and report recommendations. “

Handbookの中で、引用されているMcMaster大学のGRADEのサイトです。
GRADE Online Learning Modules [website]. Ontario: McMaster University; 2014 .
J Clin Epidに発表されているGRADE working groupの論文のリストへのリンクも引用されています。
GRADE series in the Journal of Clinical Epidemiology [website]. Maryland Heights: Elsevier Inc.;
ウェブツールGRADEpro GDTへのリンクです。
GRADEpro Guideline Development Tool [website]. Ontario: McMaster University and Evidence Prime Inc.; 2014.

2009年には WHOのGRADEprofiler helpが発表されていました。

その後、2016年に14、15、16章が追加で発表されています。
14. Strong recommendations when the evidence is low quality.
15. Using evidence from qualitative research to develop WHO guidelines.
16. Decision-making for guideline development at WHO.

WHOが作成した診療ガイドラインについてGRADEアプローチの順守状況について評価した論文があります。その概略を紹介します。

Alexander PE, Bero L, Montori VM, Brito JP, Stoltzfus R, Djulbegovic B, Neumann I, Rave S, Guyatt G: World Health Organization recommendations are often strong based on low confidence in effect estimates. J Clin Epidemiol 2014;67:629-34. PMID: 24388966
WHOのCPGの456件の推奨のうち強い推奨289件でその95件（33％)はC、22.5％はDのレベルのエビデンスに基づいていた。

Nasser SM, Cooke G, Kranzer K, Norris SL, Olliaro P, Ford N: Strength of recommendations in WHO guidelines using GRADE was associated with uptake in national policy. J Clin Epidemiol 2015;68:703-7. PMID: 25578218
WHOのCPGの推奨の各国での採用を調査。強い推奨の82％、弱い推奨の61％が各国のCPGで取り入れられていた。弱い推奨も採用されることに注意が必要。

Alexander PE, Li SA, Gionfriddo MR, Stoltzfus RJ, Neumann I, Brito JP, Djulbegovic B, Montori VM, Schunemann HJ, Guyatt GH: Senior GRADE methodologists encounter challenges as part of WHO guideline development panels: an inductive content analysis. J Clin Epidemiol 2016;70:123-8. PMID: 26385188
WHOのCPG作成に参加したGRADE上級メソドロジストに対するインタビュー調査。パネルメンバーがGRADEガイダンスに従うことに抵抗を示し緊張が生じる。さまざまなCOIが不整合推奨に影響している、パネルの副委員長としてのメソドロジストの役割の明確化とサポートが必要。

Alexander PE, Gionfriddo MR, Li SA, Bero L, Stoltzfus RJ, Neumann I, Brito JP, Djulbegovic B, Montori VM, Norris SL, Schunemann HJ, Thabane L, Guyatt GH: A number of factors explain why WHO guideline developers make strong recommendations inconsistent with GRADE guidance. J Clin Epidemiol 2016;70:111-22. PMID: 26399903
WHOの不整合推奨の作成に関わった者に対するインタービュー調査の結果。弱い推奨は無視されることを懸念したのがひとつの理由。また、GRADE理解の限界も原因の一つであり、GRADEの原則にコミットする者を選択する、よりトレーニングをする、GRADE原則に沿って作業が進むようフォーマルな方法を考えるなどの対策が必要。

Alexander PE, Brito JP, Neumann I, Gionfriddo MR, Bero L, Djulbegovic B, Stoltzfus R, Montori VM, Norris SL, Schunemann HJ, Guyatt GH: World Health Organization strong recommendations based on low-quality evidence (study quality) are frequent and often inconsistent with GRADE guidance. J Clin Epidemiol 2016;72:98-106. PMID: 25618534
WHOは2007年公衆衛生のCPGの作成にGRADEを採用。2007-2012年に発行されたCPG33件で160個の不整合推奨（CまたはDのエビデンスで強い推奨）が認められた。15.6％は妥当、21％は正しくはBまたはAが正当化されるエビデンス、18％はGood practice statementで、46％は弱い推奨が正当化されるものであった。多くがGRADE guidanceに従っておらず、作成者の更なるトレーニングが必要。