Swing weightingによるアウトカムの重要度設定

成人で急性虫垂炎になった場合、抗菌薬投与による保存的治療を受けるか外科的虫垂切除を受けるか?どちらの方が良いだろう?

これら2つの治療的介入を比較した4件のランダム化比較試験のメタアナリシスの結果得られた効果推定値を用いて解析してみます。

Swing weightingによるアウトカムの重要度の設定、すなわち、重みの設定には図のような最善の効果(矢じり)、最悪の効果(縦線)を表したグラフが役に立ちます。

アウトカム毎の”Swing”-from the worst estimate | to the best estimate → or ← .

アウトカムとカッコ内に単位が書いてあります。値が大きい方が最善になるものと、逆に値が小さい方が最善になるものがあります。”Swing”つまり、横幅が大きいものと小さいものがあります。

大きい場合は、二つの介入の効果の差が大きいことになります。たとえば、虫垂切除(1か月以内)(率)をみると、最善は約0.05つまり約5%で、最悪は約1.0つまり100%です。手術を受けないで治癒することが良いことであるという考えが背景にあるので、手術を受ける介入は約100%手術になり、抗菌薬の治療を受ける介入は1か月以内でみると約9%の人しか手術をうけません。ここでは、それぞれ95%信頼限界の値を最善値、最悪値に設定していますので、もう少し幅が広くなり、100%→4.8%になっています。

他のアウトカムについても、ありうる最善の効果と最悪の効果として95%信頼限界の値の中の最大値あるいは最小値を設定してあります。

このグラフを見ながら、どのアウトカムを一番重要と考えますか?

急性虫垂炎は手術を受ければ、それで治ります。今は、腹腔鏡下の手術で傷跡も小さく、数日の入院で済みます。そして、二度と虫垂炎になることはありません。つまり、再発は0です。一方で1か月以降1年以内の再発無し(率)を見ると、抗菌薬の治療では最悪30%くらいが1年以内に再発します。そうなると、その時点で結局は手術を受けることになってしまいます。

例えば、ある人は”1か月以降1年以内の再発無し”のアウトカムを一番重要と考えました。いつ再発するか心配しながら生活するのは嫌だと思いました。そうすると、このアウトカムの重みは100にします。それ以外のアウトカムについても、このアウトカムと比べて相対的にいくつにするかを考え、結論としてその人は、虫垂切除(1か月以内)20、主要な合併症20、そのほかの合併症15、入院期間10、病休期間20、費用5という重みを設定しました。

このような選好Preferenceの人の場合、抗菌薬投与による保存的治療を受ける方がいいのか、それとも外科的虫垂切除を受ける方がいいのかどちらになるでしょうか?

手術を受けないで済めばそれに越したことはないと考えて、虫垂切除(1か月以内)を20ではなく60にしたらどうなるでしょうか?

さらに、やはり傷跡が残るのは嫌なので、手術を受けないで済むことが一番重要でしかも”Swing”も一番広いからと考えて、虫垂切除(1か月以内)を100にして、1か月以降1年以内の再発無しを70にしたらどうなるでしょう?

益と害のアウトカムが複数あり、介入の効果がすべてのアウトカムについて一つの治療選択肢が優れていれば、判断は容易です。トレードオフがあって、効果の程度もさまざまな場合には、直観的に決めるのが難しくなります。特に、介入の間の差が小さいとさらに判断が難しくなります。このような際にはSwing weightingを用いたMCDAは有用なツールになりえます。

また、価値観が人によって異なり、最善の選択肢が人によって変わるかもしれない、さらに、選択肢の間の差が小さい、このような際にはSwing weightingを用いたMCDAはその個人の選択の適切さを確認するための有用なツールになりえます。

さて、アウトカム毎の”Swing”グラフに2つの選択肢の効果推定値、この場合は率または平均値ですが、の表示を追加したグラフを示します。上のグラフと比べて、どちらの方が、重みの決定がやりやすいでしょうか?

アウトカム毎の”Swing”グラフ。黒が外科的虫垂切除、赤が抗菌薬投与による保存的治療。

Keeney and RaiffaのSwing weightingを用いたMCDA

Keeney and RaiffaのMulti-Criteria Decision AnalysisあるいはMultiple Criteria Decision Analysis (いずれもMCDA)では評価項目Criteria=アウトカムOutcomeに対する介入の効果をパフォーマンスPerformance=効果推定値Effect estimateとして測定された値をそのまま用いるのではなく、スコア化Scoringして、共通の基準による大きさを表す値に変換する。変換のための関数を価値関数Value functionと呼ぶ。この方法では各アウトカムに対するさまざまな介入の効果の中で、最善のものと最悪のものを設定し、最善の場合はスコアが100、最悪の場合はスコアが0とし、実際の介入の効果はその間のいずれかに位置するようにして、スコア化する。値が大きい方がより良い場合と逆に値が小さい方がより良い場合があるが、いずれの場合にも対応できる。最善というのはありうる最も望ましい効果、最悪というのはありうる最も望ましくない効果と言い換えることもできる。

健康関連アウトカムだけでなく、費用も評価項目として扱うことができる。効果推定値は多くの場合システマティックレビュー/メタアナリシスの結果を用いる。また、個別患者の推定値を用いることもできる。

ただし、リスク比、リスク差などは対照群との相対的な比較に基づく指標であるが、MCDAでは各群のイベント率、平均値などが必要になる。一方で、3つ以上の介入を一度にに比較することが可能である。以下で効果推定値と述べているのはこれらイベント率、平均値であり、不確実性の指標としては標準誤差、標準偏差を用いる。

Bを最善Bestの効果を示す効果推定値、Wを最悪Worstの効果を示す効果推定値とし、Xをその介入の効果推定値とすると、スコアSは、S=(X – W)/(B – W) × 100で表される。XとSの間に直線関係がある場合は、この式で対処できる。直線関係以外の場合も、価値関数を作成すれば対応できる。従って、Keeney and Raiffaの方法では、それぞれのアウトカムに対する効果で最善のものは100、最悪のものは0になる。そのアウトカムに対するさまざまな介入の効果推定値の95%信頼限界のなかで、最小値と最大値をBまたはWとして用いることが可能である。また、理想の治療法を想定してBを想定することも行われている。比較する介入の中だけで、ローカルにB,Wを設定する場合と、すべての介入を考慮してグローバルにB,Wを設定する場合がある。スコアはそれぞれのアウトカムに対してありうる最善の効果と最悪の効果に対して、相対的な値として決められているため、アウトカムが異なっても、同じ効果の大きさを表していると言える。

スコア化に続いて、重みづけの値を決める。意思決定の際に、アウトカムそのものの重要性とそのアウトカムに対する介入の効果の大きさ=パフォーマンスPerformance=Effect estimateの両方を考慮すべきとされているが、重みづけの方法の多くは、たとえば、NCI/Gailの方法や、Analytic Hierarchical Process (AHP)の様に、アウトカムの重要性だけを評価している。それに対してKeeney and Raiffaの重みづけの方法はSwing weightingと呼ばれ、上記のB、Wの値の変動=スウィングを考慮した上で、アウトカムの重要性を考慮し、その両方で重みを決める。この重みは個人個人の異なる値に対応できるので、協働意思決定Shared decision makingにおいても用いることができる。

総スコアAggregate scoreは重みの値を標準化、すなわち各アウトカムに対する重みの値の合計値でそれぞれの重みの値を割り算した上で、各アウトカムに対するスコアに掛け算して合計することで求められる。これをそれぞれの介入に対して算出し、一番値の大きい介入が最も価値のある介入となる。介入間のスコアの差を求め、P値を算出することもできる。

なお、NCI/Gailの方法では、益のアウトカムに対してはプラス、害のアウトカムに対してはマイナスの値になる様に効果推定値を設定して、アウトカムの重要性を掛け算して合算するので、総計がプラスなら益>害、マイナスなら益<害と判定する。

Keeney and RaiffaのSwing weightingを用いたMCDAでは各効果推定値の不確実性、重みの不確実性に対応した確率的感度分析あるいは確率的シミュレーション分析も可能であり、さらに、異なるアウトカムに対する効果推定値の相関マトリックスと標準誤差あるいは標準偏差から分散共分散マトリックスを作成して、相関を取り込んだ解析も可能である。

このモデルは、重みづけ加算モデルであり、前提としては、1)それぞれのアウトカム(評価項目)の評価は他のアウトカムの評価つまりスコアと重みの値の影響を受けない、2)Vi > Vjの場合、介入iの方が介入jより望ましい、3)価値関数は間隔尺度(連続変数)である、4)スコア×重みの同じ値の変動は同じ価値の変動を表す、5)各アウトカムの重みは互いに影響しない、すなわち各アウトカムは独立している、6)各評価項目のスコアは互いに影響しない、各評価項目のスコアは相関していない、の条件が満たされる必要がある。

文献:
Keeney R, Raiffa H: Decisions with multiple objectives: Preferences and Value Tradeoffs. 1993, Cambridge University Press.

Marsh K, Goetghebeur M, Thokala P: Multi-criteria decision analysis to support healthcare decisions. Springer, 2017. (包括的な内容)

Thokala P, Devlin N, Marsh K, Baltussen R, Boysen M, Kalo Z, Longrenn T, Mussen F, Peacock S, Watkins J, Ijzerman M: Multiple Criteria Decision Analysis for Health Care Decision Making–An Introduction: Report 1 of the ISPOR MCDA Emerging Good Practices Task Force. Value Health 2016;19:1-13. PMID: 26797229 (この論文のAppendixにSwing-weightingの例が示されている)

Marsh K, IJzerman M, Thokala P, Baltussen R, Boysen M, Kaló Z, Lönngren T, Mussen F, Peacock S, Watkins J, Devlin N, ISPOR Task Force: Multiple Criteria Decision Analysis for Health Care Decision Making–Emerging Good Practices: Report 2 of the ISPOR MCDA Emerging Good Practices Task Force. Value Health 2016;19:125-37. PMID: 27021745

Wen S, Zhang L, Yang B: Two approaches to incorporate clinical data uncertainty into multiple criteria decision analysis for benefit-risk assessment of medicinal products. Value Health 2014;17:619-28. PMID: 25128056 (相関に対応。δ methodとMonte Carlo simulationによる方法を提示。価値関数がより単純化が可能の方法になっている。)

Broekhuizen H, Groothuis-Oudshoorn CG, van Til JA, Hummel JM, IJzerman MJ: A review and classification of approaches for dealing with uncertainty in multi-criteria decision analysis for healthcare decisions. Pharmacoeconomics 2015;33:445-55. PMID: 25630758 (ベータ分布を用いる)

FDAのBenefit-Risk Assessment(続き)

The Food and Drug Administration Safety and Innovation Actが2012年に発効し、その Section 905はFDAのCenter for Drug Evaluation and Research (CDER) に対して新薬の承認にあたり、構造化されたbenefit-risk assessment frameworkを実施することを求めることになりました。 2018年CDERは、Benefit-Risk Assessment in Drug Regulatory Decision-Making. Draft PDUFA VI Implementation Plan (FY 2018-2022)を発表しています。こちらからダウンロードできます。

さらに、同じく2012年に, FDAのCenter for Devices and Radiological Health (CDRH) はGuidance to clarify the principal benefit-risk assessmentというガイダンスを発表し、“patient tolerance for risk and perspective on benefit”すなわち「患者のリスクに対する許容度とベネフィットに対する視点を承認のレビューの際に追加のファクターとして考慮することを発表しました。その後、CDRHは2013年Patient Preference Initiativeというプロジェクトを開始し、Medical Device Advisory Committee (MDAC) に患者のパネルの参加について方針を定めたそうです。 CDRHのMedical Device Innovation Consortium MDICは、The MDIC Patient Centered Benefit-Risk (PCBR) Projectを2013年に開始し、MEDICAL DEVICE INNOVATION CONSORTIUM (MDIC) PATIENT CENTERED  BENEFIT-RISK PROJECT REPORT: A Framework for Incorporating Information on Patient Preferences Regarding Benefit and Risk into Regulatory Assessments of New Medical Technologyという報告書を2015年に発行しました。こちらからダウンロードができますが登録が必要。

CDRH Patient Engagementも見てください。いろいろな資料が掲載されています。Patient and Public Involvementも重要な課題です。

論文としては、
Johnson FR, Zhou M: Patient Preferences in Regulatory Benefit-Risk Assessments: A US Perspective. Value Health 2016;19:741-745. PMID: 27712700が発表されています。 Role of Patient Preferences患者の選好の役割については、”Weighing benefits and risks of new health technologies requires not only assessing the available scientific evidence but also making societal value judgments about the relative importance of benefits and risks measured in different, noncomparable units.” と記述されており、単なる効果推定値の値、すなわち効果の大きさと不確実性だけでなく、価値観に基づく、ベネフィットとリスクの評価が必要なことが述べられています。この文章を読むだけで、①ランダム化比較試験などで得られた科学的エビデンスの評価だけでは、ベネフィットとリスクの評価はできない、②ベネフィットとリスクの相対的な重要性に関する社会的な価値判断が必要、③ベネフィットとリスクは比較ができない異なる尺度で測定が行われている、ということが分かります。

さらに、
Ho M, Saha A, McCleary KK, Levitan B, Christopher S, Zandlo K, Braithwaite RS, Hauber AB, Medical Device Innovation Consortium’s Patient Centered Benefit-Risk Steering Committee: A Framework for Incorporating Patient Preferences Regarding Benefits and Risks into Regulatory Assessment of Medical Technologies. Value Health 2016;19:746-750. PMID: 27712701 には具体的な手法について記述されています。この論文の中にMDIC’s Preference Assessment Methodology Catalogがあり、Table 2-List of methods included in the Catalog には、Prefrence選好の評価法に関してさまざまな方法がまとめられています。

表2-カタログに含まれる方法のリスト

グループ 方法
Structured weighting
構造化された重みづけ
Simple direct weighting 単純直接重みづけ
Ranking excercises ランキングエクササイズ
Swing weighting スウィングウェイティング
Point allocation ポイント配置
Analytic hierarchy process 分析的階層法
Outranking methods アウトランキング法
Health-state utility健康状態効用Time trade-off 時間得失法
Standard gamble 標準賭け法
Stated preference表明選好Direct-assessment questions 直接評価質問
Threshold technique 閾値テクニック
Conjoint analysis and discrete-choice experiments コンジョイント分析および離散選択分析
Best-worst scaling exercises 最善最悪スケーリングエクササイズ
Revealed preference
顕示選好
Patient preference trials 患者選好試験
Direct questions in clinical trials 臨床試験における直接質問

FDAもEMAもほとんど同じ考え方で定量的なベネフィットとリスクの評価法Quantitative Benefit-Risk Assessmentを模索してきたことが分かります。

診療ガイドライン作成時に益と害の評価をどのように行うかは重要なテーマですが、”効果推定値の大きさと不確実性”と”益と害の大きさとバランスの不確実性または正味の益の不確実性”は同じではないということを認識する必要があります。益と害の評価には価値観が関係します。また、これはComparative Effectiveness Research (CER)の理解とも関係します。なお、リスクRiskは害Harmと同じ意味で用いられています。また、PreferenceとValueも同じ意味で用いられています。

前の投稿FDAのBenefit-Risk Assessment Frameworkはこちら

Decision Making関連MeSH

PubMedでは医学主題見出しMedical Subject Headings MeSHと呼ばれる語句が各文献にインデクサーによってインデクスされています。検索語句に対応するMeSHが同義語辞典シソーラスに含まれていれば、検索語句がその文献のタイトルやアブストラクトに含まれていなくても、そのMeSHでインデクスされている文献を探し出し、引き出すことで、同じ意味あるいは概念の語句が含まれている文献として引き出すことが可能になる仕組みです。その検索語句がMeSHであることを指示するには、語句に続けてあるいはスペースを入れて、[mh]と書きます。[mesh], [MeSH Terms]でも同じです。

MeSHはデータべース化されており、どのような用語があるか検索して調べることができます。また、MeSHは概念の広さによって、階層化されています。Decision Makingに関連する用語がMeSHではどのように扱われているか調べてみました。

MeSH用語、定義と導入された年度、Entry Terms、その他について紹介します。Entry Termsは一部のみ示します。取り上げた語句は、Decision Making, Clinical Decision-Making, Decision Support Techniques, Cost-Benefit Analysis, Patient Preference, Risk Assessment, Outcome Assessment (Health Care), Patient Outcome Assessment, Patient Harm, Safetyです。

なお、Entry Termというのはその語句をMeSHとして指定してPubMedを検索するとそれに対応したMeSH Termに置き換えられて検索が行われるものです。例えば、medical decision making[mh]で検索すると、対応するMeSH TermはClinical Decision-Makingなので、”clinical decision-making”[MeSH Terms]で実際の検索が行われます。

Decision Making
The process of making a selective intellectual judgment when presented with several complex alternatives consisting of several variables, and usually defining a course of action or an idea.

Shared Decision Making
Shared Decision Makings

*shared decision making AND 2019[dp]で検索すると実際の検索式はAutomatic Term Mapping (ATM)が作動して、(“decision making”[MeSH Terms] OR (“decision”[All Fields] AND “making”[All Fields]) OR “decision making”[All Fields] OR (“shared”[All Fields] AND “decision”[All Fields] AND “making”[All Fields]) OR “shared decision making”[All Fields]) AND 2019[dp]で行われ3648件ヒットします。shared decision making[mh] AND 2019[dp]とMeSH Termであることを指定すると、”decision making”[MeSH Terms] AND 2019[dp]で検索が実行され171件のみになります。

Clinical Decision-Making
Process of formulating a diagnosis based on medical history and physical or mental examinations, and/or choosing an appropriate intervention.
Year introduced: 2016

Medical Decision Making
Clinical Decision Making

*以前のMeSHはDecision Making (1972-2015)

Decision Support Techniques
Mathematical or statistical procedures used as aids in making a decision. They are frequently used in medical decision-making.
Year introduced: 1991

Decision Aids
Decision Analysis
Decision Modeling
Clinical Prediction Rule
Decision Support Model

*Health Care Categoryの下4番目の階層でInformation Science Categoryの下5番目の階層。

Cost-Benefit Analysis
A method of comparing the cost of a program with its expected benefits in dollars (or other currency). The benefit-to-cost ratio is a measure of total return expected per unit of money spent. This analysis generally excludes consideration of factors that are not measured ultimately in economic terms. Cost effectiveness compares alternative ways to achieve a specific set of results.
Year introduced: 1976
Cost EffectivenessCost Effectiveness Analysis

*Health Care Categoryの下4番目の階層。

Patient Preference
Individual’s expression of desirability or value of one course of action, outcome, or selection in contrast to others.
Year introduced: 2010   Patient ValueはMeSHにない。

Patient Preferences

*Health Care Categoryの下5または6番目の階層。その他、Psychiatry and Psychology Categoryの下にも位置付けられている。

Risk Assessment
The qualitative or quantitative estimation of the likelihood of adverse effects that may result from exposure to specified health hazards or from the absence of beneficial influences. (Last, Dictionary of Epidemiology, 1988)
Year introduced: 1995

Benefit-Risk Assessment
Benefit Risk Assessment
Risk-Benefit Assessment
Risk Benefit Assessment

Outcome Assessment (Health Care)
Research aimed at assessing the quality and effectiveness of health care as measured by the attainment of a specified end result or outcome. Measures include parameters such as improved health, lowered morbidity or mortality, and improvement of abnormal states (such as elevated blood pressure).
Year introduced: 1992

Outcome MeasuresOutcome Measure
Outcomes Research

*GRADE ApproachはOutcome Assessment (Health Care)->Patient Outcome Assessment->GRADE Approachとして位置付けられている。

Patient Outcome Assessment
Patient-generated evaluation data of treatment outcome or interaction in healthcare environment.
Year introduced: 2014

Patient-Centered Outcomes Research
Patient Outcomes Assessment

Patient Harm
A measure of PATIENT SAFETY considering errors or mistakes which result in harm to the patient. They include errors in the administration of drugs and other medications (MEDICATION ERRORS), errors in the performance of procedures or the use of other types of therapy, in the use of equipment, and in the interpretation of laboratory findings and preventable accidents involving patients.
Year introduced: 2014

*ひとつ上の階層がSafety。

Safety
Freedom from exposure to danger and protection from the occurrence or risk of injury or loss. It suggests optimal precautions in the workplace, on the street, in the home, etc., and includes personal safety as well as the safety of property.
Year introduced: 1991(1975)

Safeties

*Safetyの一つ下の階層にSafety ManagementやPatient Harmがある。