カテゴリー: Systematic Review

A systematic review is a scientific investigation that focuses on a specific question and uses explicit, preplanned scientific methods to identify, select, assess, and summarize the findings of individual, relevant studies. It may or may not include a quantitative synthesis of the results from separate studies (meta-analysis).

ASReview(エイエスレビュー）を用いた文献選定

システマティックレビューの際には、Clinical Question (CQ), Healthcare Question (HcQ), Health Question (HQ)に回答するために必要な文献を検索しますが、数百、数千という数の候補文献から、目的に合う文献を選定する作業は時間と労力を要します。

Large Language Model (LLM)を用いたArtificial Intelligence （AI）で、例えばChatGPT turboが有用だという報告もありますが、現時点では、ハルシネーションの問題など、全面的に頼れるところまで来ていないと思います。

一方で、機械学習で標的文献サンプルRelevantとそれ以外Irrelevant文献を分類する方法を用いたASReviewは高性能で時間と労力がセーブできます。実際の文献選定のプロセスを支援する方式です。

ASReviewの使い方の解説を書いたので試してみてください[2024.11.23 Exportについての解説を追加しました]→ASReviewを用いた文献検索 PDF ASReviewへのリンクは文献欄に付けてあります↓

ASReviewはPythonというプログラミング言語を用いていますが、ユーザインタフェースはブラウザで、非常に使いやすくなっています。また、データ管理はクラウドではなく、ローカルなので、自分の作成したデータの漏洩の心配はありません。

文献
Yao X, Kumar MV, Su E, Flores Miranda A, Saha A, Sussman J: Evaluating the efficacy of artificial intelligence tools for the automation of systematic reviews in cancer research: A systematic review. Cancer Epidemiol. 2024;88:102511. doi: 10.1016/j.canep.2023.102511 PMID: 38071872

ASReview  https://asreview.nl/

van Dijk SHB, et al: Artificial intelligence in systematic reviews: promising when appropriately used. BMJ Open. 2023;13:e072254. doi: 10.1136/bmjopen-2023-072254 PMID: 3741964

Oami T, Okada Y, Nakada TA: Performance of a Large Language Model in Screening Citations. JAMA Netw Open 2024;7:e2420496. doi: 10.1186/s13643-018-0707-8 PMID: 38976267

Oami T, Okada Y, Sakuraya M, Fukuda T, Shime N, Nakada TA: Efficiency and Workload Reduction of Semi-automated Citation Screening Software for Creating Clinical Practice Guidelines: A Prospective Observational Study. J Epidemiol 2024;34:380-386. doi: 10.1002/cesm.12021 PMID: 38105001

Cowie K, Rahmatullah A, Hardy N, Holub K, Kallmes K: Web-Based Software Tools for Systematic Literature Review in Medicine: Systematic Search and Feature Analysis. JMIR Med Inform. 2022;10:e33219. doi: 10.2196/33219 PMID: 35499859

Cierco Jimenez R, Lee T, Rosillo N, Cordova R, Cree IA, Gonzalez A, Indave Ruiz BI: Machine learning computational tools to assist the performance of systematic reviews: A mapping review. BMC Med Res Methodol. 2022;22:322. doi: 10.1186/s12874-022-01805-4 PMID: 36522637

GammaでPowerPointスライド作成

文章からPowerPointのスライドを作成してくれるGammaというAIサイト (https://gamma.app/ja)もかなりすごいです。たとえば、”Important points of literature search for systematic reviews.”と書き込むだけで、”システマティックレビューにおける文献検索の重要性”というタイトルで8枚のスライドを作ってくれました。タイトルを「システマティックレビューにおける文献検索のキーポイント」に書き換えたり、その他一部修正しましたが、自分で図を描くことを考えると非常に効率的です。

また、MapifyというAIサイト（https://mapify.so/ja）は動画ファイルからマインドマップを作成してくれます。例えば、私のIZ statの動画「診療ガイドライン作成におけるシステマティックレビュープロセスのエッセンス」からPowerPointのスライド「システマティックレビューのプロセス」を作成してみました。やはりある程度の手直しが必要でしたが、非常に効率的です。（無料の範囲ではスライド枚数に制限があります。）

IZ stat（https://www.youtube.com/channel/UCqzzJbfQwKDvValptCAM4gg）
「診療ガイドライン作成におけるシステマティックレビュープロセスのエッセンス」(https://youtu.be/dEqvQg1ljI4)

作成したPPTのファイルはこちらです：
「システマティックレビューにおける文献検索のキーポイント」 Link
「システマティックレビューのプロセス」 Link

Napkin aiを用いたSRのための文献検索解説書作成

Cochrane Handbook for Systematic Reviews of Interventions. v.6.5 LinkのChapter 4は文献検索に関する内容です。文献検索について、Mandatory必須の作業として以下の項目が挙げられています。（一つはHighly desirableです）。

C19: Planning the search (Mandatory)
C24: Searching general bibliographic databases and CENTRAL (Mandatory)
C25: Searching specialist bibliographic databases (Highly desirable)
C27: Searching trials registers (Mandatory)
C30: Searching reference lists (Mandatory)
C26: Searching for different types of evidence (Mandatory)
C32: Structuring search strategies for bibliographic databases (Mandatory)
C33: Developing search strategies for bibliographic databases (Mandatory)
C35: Restricting database searches (Mandatory)
C48: Examining errata (Mandatory)
C37: Rerunning searches (Mandatory)
C36: Documenting the search process (Mandatory)
C42: Collating multiple reports (Mandatory)
C40: Excluding studies without useable data (Mandatory)
C39: Making inclusion decisions (Mandatory)
C41: Documenting decisions about records identified (Mandatory)

日本語にすると：
システマティックレビューのための文献検索
検索の計画 (必須)
一般書誌データベースおよび CENTRAL の検索 (必須)
専門書誌データベースの検索 (極めて望ましい)
臨床試験登録の検索 (必須)
参考文献リストの検索 (必須)
さまざまなタイプのエビデンスの検索 (必須)
書誌データベースの検索戦略の構築 (必須)
書誌データベースの検索戦略の開発 (必須)
データベース検索を制限すること （必須）
誤りの訂正報告を調べること （必須）
検索を再実行すること （必須）
検索プロセスを文書化すること （必須）
複数のレポートの照合（必須）
使用可能なデータがない研究の除外（必須）
組み入れの決定（必須）
特定された記録に関する決定の文書化（必須）

この日本語のテキストをNapkin ai (https://www.napkin.ai/)で図入りの解説書を作成してみました。PDFファイルとして出力できます。図はその最初の部分です。（Napkinは現時点でベータ版で無料で使えます。）

PDFファイルはこちらです。Link

一部手直ししましたが、分かりやすい解説書ができたと思います。図はNapkinが作成してくれたもので、解説の部分もそうです。このような図を自分で描くとなると結構大変だと思いますが、あっという間にできました。図柄の変更や、細部の修正もブラウザー上でできます。

これぐらいのレベルだと、このPDFファイルをプレゼンテーションにも使えそうです。

Standardized Mean Difference （SMD）を用いるMeta-analysis

連続変数アウトカムで研究によって測定スケールが異なる場合、そのままではメタアナリシスで統合値を求めることはできません。連続変数アウトカムの場合は、各研究から対照群の平均値と標準偏差（SD）と介入群の平均値と標準偏差の値を抽出して平均値差Mean Difference (MD)の統合値と95%信頼区間を計算しますが測定スケールが共通の場合しか適用できません。

これらの平均値を標準偏差で割り算した値を得ることを、標準化standardizationと言います。もし各群の値を標準化すると平均値は標準偏差を単位とした値になり、標準偏差は1.0になります。それぞれの標準偏差を単位とした値に変換するという意味になり、連続変数アウトカムで、測定スケールが異なる場合、各研究の平均値差＝介入群の平均値－対照群の平均値と標準化した平均値差の標準誤差あるいは分散を計算して、メタアナリシスを行い、統合値と95%信頼区間を計算することができます。分散逆数法であれば、分散の逆数を重みとして用い、ランダム効果モデルであれば、研究間の分散の値を平均値差の分散に加算して、その逆数を重みに用います。

得られた標準化平均値差Standardized Mean Difference (SMD)と95%信頼区間の値を、分かりやすい元のスケールに戻して、効果の大きさを評価することが行われます。元のスケールに戻すには、標準偏差の値が必要です。また、SMDが0.2は小さな効果、0.5は中等度の効果、0.8は大きな効果という考え方を用いることも提案されています。

SMDを用いるメタアナリシスの演算は、Keeds JJ, Higgins JPT:Statistical algorithms in Review Manager 5. 2010. Link に記載されている方法に従って行われることが一般的です。計算に用いられる式を図1と図2に示します。

図1. Standardized Mean Differenceとその分散の計算式。
図2．DerSimonian-Laird法によるランダム効果モデルを用いる分散逆数法によるメタアナリシスの計算式。

これらの計算はExcelでもできますし、Rのパッケージmetaforでもできます。また、著者が作成したMeta-analysis IZ Linkあるいは Meta-analysis IZ r Linkでもできます。Meta-analysis IZ rではMindsの評価シートのデータをReformatして、メタアナリシスを実行できます。

metaforはViechtbauer W氏の作成した優れたメタアナリシスのパッケージです。Link 以下のスクリプトはSMDを用いたメタアナリシスのスクリプトの一例です。escalc（）, rma（）,forest（）はmetaforの関数です。

est=escalc(measure=”SMD”, m1i=m1i,sd1i=sd1i,m2i=m2i,sd2i=sd2i,n1i=n1i,n2i=n2i, append=FALSE)
summary(est)
res=rma(yi, vi, data=est, method=”DL”)
summary(res)
forest(res, showweights=TRUE)

m1i 介入群の平均値
sd1i 介入群の標準偏差
m2i 対照群の平均値
sd2i 対照群の標準偏差
n1i 介入群の症例数
n2i 対照群の症例数

method=”DL”でDerSimonian-Laird法、method=”REML”でRestricted Maximum Likelihood （REML）法を指定できます。

なお、このスクリプトではForest plotの細かい設定はしていません。

SMDを用いたシステマティックレビューの論文の一例として、Sekhar P, Tee QX, Ashraf G, Trinh D, Shachar J, Jiang A, Hewitt J, Green S, Turner T: Mindfulness-based psychological interventions for improving mental well-being in medical students and junior doctors. Cochrane Database Syst Rev 2021;12:CD013740. doi: 10.1002/14651858.CD013740 PMID: 34890044 があります。この論文ではDerSimonian-Laird法が使われています。