システマティックレビューのためのAnalytic framework分析的枠組み

システマティックレビューの際にクリニカルクエスチョンあるいはリサーチクエスチョンを設定します。PICO、PECO、PICOTSなどの形式に当てはめて、クリニカルクエスチョンが作成されます。Population, Intervention, Exposure, Comparator, Outcome, Timing, Settingの頭文字を組み合わせた語句です。これらの要素がきちんと定義されないと、システマティックレビューを行うのが難しくなります。

一方で、クリニカルクエスチョンそのものが科学的に妥当かについても検討する必要があります。その際に、Analyltic framework分析的枠組みを作成し、それを基盤に議論することが有用とされています。分析的枠組みは、「アウトカムと関連付けながら、臨床的概念、エビデンスおよび対象集団をリンクし、定義づけるエビデンスモデルのひとつ」とされています。

この分析的枠組みについての解説を作成しました。こちらは約20分の動画です。

同じ内容ですが、HTMLのページはこちらです。システマティックレビューのためのAnalyltic framework

クリニカルクエスチョンの臨床的な文脈における位置づけを明確にし、介入の効果の科学的に妥当な分析を行うことが分析的枠組みの目的と考えられます。

文献:Harris RP, Helfand M, Woolf SH, Lohr KN, Mulrow CD, Teutsch SM, Atkins D: Current methods of the US Preventive Services Task Force: a review of the process. Am J Prev Med 2001;20:21-35. PMID: 11306229

Living SRとは?

前回の投稿で紹介したElliott JHらのLiving SRに関する論文の内容を紹介したいと思います。従来のSRとの違いと、研究のエコシステムにおけるLiving SRの位置づけについて述べられています。できるだけ原文のまま紹介したいと思います。

従来の通常のシステマティックレビュー(SR)とLiving systematic review (SR)は、出版形式、作業プロセス、著者チームマネージメント、統計学的方法の4つの点で異なる。

1. 出版形式:動的で、持続的で、オンラインのエビデンスのまとめで、更新が早く、頻回である。
2. 作業プロセス:通常のSRとは異なり、文献検索戦略は維持され、アウトプットは連続的にSRのワークフローに追加され、採択される文献、研究の質の評価、データの抽出、メタアナリシス、SRレポートは連続的に更新される。通常のSRあるいはSRの更新の集中的で間欠的な努力の代わりに、Living SRは中等度の進行中の貢献が必要となる。
3. 著者チームのマネージメントは連続的なワークフローに対応し、長期間にわたる協働と著者チームの進化を許容しながら、組織としての記憶が保たれなければならない。
4. メタアナリシスの更新は、データの再解析を伴い、蓄積される一次臨床試験のデータの再解析とともに、もし統計学的検定を単に繰り返すと、偽陽性の所見の率が上昇する。また、エフェクトサイズの推定値は不安定で、特にエビデンス生成の初期段階でそうなる。これらの問題はすべてのメタアナリシスの更新に関連するが、Living SRでは、更新の回数が多くなる可能性が高いので、特に重要となる。正式のSequential methodを用いる方法や、ベイジアンアプローチが有用である。

ワークフローおよび協働作業ツール
セミオートメーション

文献検索・選定作業、バイアスリスクの評価、データ抽出作業への機械学習などAIの活用が進む可能性がある。

データレポジトリとリンクされたデータ
 重要なヘルスケアクエスチョン(クリニカルクエスチョン)は多くのSR作成者に共通であり、互いに独立してSRを行うことは、無駄が多い。SRのプロトコールを共通のサイトに登録すること、SRのプロセスや作成データ(アウトプット)を保管し再利用を許可することで繰り返しの無駄を省くことができる。共通の概念に基づいた一定のフォーマットを用いることで、不必要な二重の作業を減らすことができる。

リンクされたデータには以下の様式が用いられるであろう:
W3C: World Wide Web Consortium
RDF:RDFはResource Description Frameworkの略です。 RDFファイル拡張子を含むファイルは、リソース記述フレームワーク言語で記述されたドキュメントである。これらのファイルは、このファイル形式を使用するWebサイトに関する情報を保存するために使用される。
Web Ontology Language ( OWL )は インターネット 上に存在する オントロジー を用いてデータ交換を行うための データ記述言語 。 OWLは RDF の語彙拡張であり、DAML+OILに由来している。

Living SRの出版
オンラインのみの出版により、ピアレビュー、編集委員会のレビューがスピードアップする。

International Committee of Medical Journal Editors (ICMJE)の基準のような出版の基準に従うことを原則とすることで、ノルムを維持できる。著者の変更も正確に反映されるべきである。

医学文献データベースでの取り扱いは、マイナーアップデートの場合、追加分の情報だけを提供し、メジャーアップデートの場合は、新規の出版として掲載する。

研究のエコシステムとLiving SRの関係
Living SRのサイクル医療Health Practice ー ヘルスケアシステムの学習 – 健康”ビッグデータ” – リンクされたデータレポジトリ – Living システマティックレビュー – Livingエビデンスサービス – Livingガイダンス – 意思決定支援システム – 医療

一次研究のサイクル医療 – 仮説の優先付け – 一次研究 – 出版 – システマティックレビュー – 出版 – ガイダンス – 知識の翻訳* – 医療

*translationは翻訳という意味であるが、研究結果をまとめた情報を実臨床に使える形に変えることを意味する。

2つのサイクルは赤字で示す一次研究とリンクされたデータレポジトリの部分でつながる。

論文のサマリーから著者らの主張が次のようなものであることがわかる:

我々は、最新であることと正確さを向上させるための厳密さとヘルスエビデンスの活用の両者を結合するエビデンスの統合への貢献として、Living systematic review “生きたシステマティックレビュー”を提案する。

Living systematic reviewは高品質で、新しい研究が得られるたびにアップデートされる最新のオンラインのまとめで、改善された作成効率と学問的コミュニケーションの基準の順守によって可能となる。

一次研究報告の技術革新と健康システムにおけるエビデンスの創生と使用を合わせて、Living systematic reviewは新しいエビデンスエコシステムに貢献する。

以下は投稿者の意見です:Living SRの著者はチームになり、その構成も随時変わっていき、一度出版してもそれで終わりではなく、新しい論文が出たら、すぐに再解析して、書き直して、アップデートを出版しなければならない。その作業の負担はかなり大きいと思われます。その出版を引き受けるジャーナルの側も、迅速なピアレビューが必要で、オンラインで出版しなければならない、旧版の処理など、いろいろな、変革が必要になります。PubMedの対処の仕方は、前回例として解説しました。また、利用者の立場からは、リサーチクエスチョン(クリニカルクエスチョン)がLiving SRになじむものに偏る可能性、それぞれのLiving SRに、臨床決断に必要な情報がすべて含まれていない可能性があることに注意が必要ではないかと思います。

文献:
Elliott JH, et al: Living systematic reviews: an emerging opportunity to narrow the evidence-practice gap. PLoS Med 2014;11:e1001603. doi: 10.1371/journal.pmed.1001603 PMID: 24558353

Living Systematic Review (SR)

Living systematic review (SR) ”生きたシステマティックレビュー”と称する論文があります。特に、最近はCOVID-19に関するSRがLiving SRとして発表されているのをみかけます。Livingなので、今後変わりうるという意味を含んでいます。SRなので、そのリサーチクエスチョンあるいは、クリニカルクエスチョンに関する新しい論文が発表されたら、それを追加してSRを更新updateして新しい論文として発表することになります。変更が小さい場合は、追加分だけ発表されることもあります。

実際の例を見てみましょう。Siemieniuk RA, et al: Drug treatments for covid-19: living systematic review and network meta-analysis. BMJ 2020;370:m2980. doi: 10.1136/bmj.m2980 PMID: 32732190は2020年7月30日にBMJに発表された論文で、タイトルにLiving systematic reviewという言葉が含まれています。この論文をPMIDからPubMedで開くと、Abstractは表示されず、下の方に、Update in となっていて、2020年7月30日以降に更新された論文が表示されます。この例では、2020年9月11日、2020年12月17日のアップデート、そして最新のアップデートが2021年3月31日です。これらのリストの下に、2020年7月30日の論文のAbstractが示されます。アップデート版のリンクを開くと、この論文の場合は、Abstractは表示されません。そして、Update ofという見出しの下に、古い論文のリンクが表示されます。Update inとUpdate ofに注意する必要があり、もしUpdate inの見出しがあったら、アップデート版があるので、そちらを見る必要があるということがわかります。

この例で分かるように、Living SRはPubMedでの取り扱いが通常のSRの論文とは異なっており、検索した結果からアップデートがある場合あるいは古い版がある場合は、それがわかるようになっています。

CochraneのSRもPubMedで検索できますが、例えば、Piechotta V, et al: Convalescent plasma or hyperimmune immunoglobulin for people with COVID-19: a living systematic review. Cochrane Database Syst Rev 2020;7:CD013600. doi: 10.1002/14651858.CD013600.pub2 PMID: 32648959は2020年7月10日の出版で、Update inと表示され、そちらをクリックするとAbstractも表示されます。そして、第一著者がChai KLに変わっています。

さて、Living SRがどのようなものかについては、Elliott JHらが2014年に論文を発表しているので、それが参考になります。Elliott JH, et al: Living systematic reviews: an emerging opportunity to narrow the evidence-practice gap. PLoS Med 2014;11:e1001603. doi: 10.1371/journal.pmed.1001603 PMID: 24558353
出版形式、作業プロセス、著者チームのマネージメント、メタアナリシスの更新において、従来のSRとはいろいろな点で異なっています。現在のICTを活用して、迅速にアップデートを行い、迅速に出版するというのが特徴と言えます

Living SRに関連した事項として、Rapid recommendationEvidence ecosystemなどがあります。

BMJは2016年にRapid recommendationに関する論文を発表しています。Siemieniuk RA, Agoritsas T, Macdonald H, Guyatt GH, Brandt L, Vandvik PO: Introduction to BMJ Rapid Recommendations. BMJ 2016;354:i5191. doi: 10.1136/bmj.i5191 PMID: 27680768

BMJはMAGICappと協働し、RapidRec projectを推進しているようです。MAGICappの活動は、診療ガイドラインだけでなく、Evidence ecosystem、Rapid recommendationと深いかかわりがあります。

また、Evidence ecosystemについては、上記のElliot JHらの論文や、下記のBoutron Iらの論文、Gough Dらの論文が参考になります。

Boutron I, et al: The COVID-NMA Project: Building an Evidence Ecosystem for the COVID-19 Pandemic. Ann Intern Med 2020;173:1015-1017. doi: 10.7326/M20-5261 PMID: 32931326

Gough D, et al: Clarifying differences between reviews within evidence ecosystems. Syst Rev 2019;8:170. doi: 10.1186/s13643-019-1089-2 PMID: 31307555

Six persistent research misconceptions

Modern Epidemiology*の著者の一人である、Rothman KJは2014年に”研究における持続する6つの誤解”というタイトルの論文を発表しています(Rothman KJ: Six persistent research misconceptions. J Gen Intern Med 2014;29:1060-4. doi: 10.1007/s11606-013-2755-z PMID: 24452418

以下にそれを紹介します。ここに書いたことは短いまとめなので、これだけを読むと、さらに誤解をする人がいるかもしれません。原文をじっくり読んでいただきたいと思います。

誤解1. 研究デザインには階層があり、ランダム化比較試験が最も妥当性が高く、次にコホート研究が続き、症例対照研究は最も信頼性が低い。  

深く考えずに、高い妥当性を研究デザインの階層に帰するのは間違いである。

「研究デザインのみに基づいて結果の妥当性を判定することは、すべきではないという意味であって、研究デザインを明確にすることが不要であるという意味ではない。ランダム化比較試験であっても、バイアスの大きな研究の妥当性は低くなることに異論はないであろう。」

 誤解2. 研究から妥当性の高い一般化を行うために必須の要素は、研究対象者が標的集団の代表的サンプルで構成されていることである。

  科学的な一般化generalizationと統計学的外挿extrapolationは異なる。科学的一般化は自然現象について正しい声明を作るプロセスである。

「例えば、動物実験では、単一種を用いて、要因曝露や治療の効果をとらえやすくできる。ヒトを対象にした研究でも、効果を証明するために、対象者が限定された研究の結果でも、共変量を調整したうえで異なる集団に一般化したり、個人に適用する場合には、価値観による調整も行ったうえで、結果を適用することは可能である。そのさいに、数理統計学的モデルは手助けしてくれるが、必ずしも絶対的な基準とはならない。」

誤解3. もし回帰モデルで、2つの因子の積が統計学的に有意でなければ、これらの因子の間に生物学的な相互作用はない。

  統計学的交互作用と生物学的相互作用は異なる。生物学的相互作用は2つまたはそれ以上の原因が同じメカニズムに作用し、相互に依存関係がある効果を持つことである。2つの原因となる因子が同時に作用した場合、個別の作用の合計とは異なる効果になる場合、生物学的相互作用がある。生物学的相互作用は必ずしも統計学的交互作用としてとらえられないこともあり、用いられるモデルや測定尺度の影響を受ける。 

誤解4. 連続変数を分類するとき、分類のカットポイントに分布の4分位あるいは5分位のようなパーセントによる境界を用いることは妥当な方法である。

  ひとつには、パーセンタイルによる境界値は生物学的な意義のある変化が起きる値とは異なり、二つ目には、パーセンタイルに基づく境界値は研究間で異なるので、必ずしも妥当な方法ではない。  

誤解5. 常に、多重比較で調整されたP値または信頼区間を報告すべきである。

  多重比較のType I errorを減らすための調整はType II errorの増加を伴い、本当は差があるのに、差がないという結論を出す可能性が高くなる。生物学的データを解析する場合、すべてがランダムな値であるという前提よりも何らかの差があることが前提の場合が多い。機械的に多重性の調整を適用する前に、事前情報から事前分布を想定することが必要である。ベイジアンアプローチを用いることがより防御的な方法である。

「ゲノム解析のような場合は、ランダムな配列を前提とするので、多重比較の調整を行うことに妥当性があるが、治療効果に真に差がある場合には、Type II errorが起きうるが、Type I errorは起こらない。解析の文脈が重要になる。もし、ベイジアンアプローチを用いれば、その研究までの事前情報に基づいて、事前分布を設定することができるので、多重比較によるType I errorが起きにくくなる。」

誤解6. 有意差検定はデータの解釈に有用で重要である。

  理想的には効果量effect sizeの大きさを推定し、それを歪める可能性のあるエラーを分析する必要がある。交絡のような系統的なエラーは分析的な方法(多変量解析の共分散の調整など)で対処でき、測定過誤あるいは選択バイアスは感度分析(バイアス分析と呼ばれる)で対処することができる。P値また信頼区間に無効果の値が含まれるかだけで結果を評価することは、研究結果の誤解を招く可能性がある。

*なお、Modern Epidemiologyの第3版は2018年に出版されていますが、第4版が2021年に出版されました。

**「」内は投稿者の意見です。

「全体として、統計学に対する誤解、生物学的な現象を深く考えることの軽視、臨床的な現象や臨床的な文脈の軽視、方法論に拘束された柔軟な思考の喪失、人の体験の全情報を測定することはできずいくつかのアウトカムに対する効果を見ているにすぎないことに対する認識の低さ、などがこれら誤解の背景にあると思います。」