Copilot、GeminiによるPICO要約の作成

システマティックレビューでは採用文献あるいは除外文献の一覧を作成する必要があります。Cochraneレビューでは、そのような一覧は、Characteristics of studiesとCharacteristics of excluded studiesと呼ばれています。前者では、第一著者のFamily name 年度、Methods, Participants, Interventions, Outcomes, Identification, Notesが構成項目です。後者は第一著者のFamily name 年度と除外理由が提示されます。

また、MindsのSR用テンプレート(全体版 URL: https://minds.jcqhc.or.jp/methods/cpg-development/minds-manual/)では、【SR-3 二次スクリーニング後の一覧表】がそれに相当し、文献、研究デザイン、P、I、C、O、除外、コメントが構成項目です。こちらは、全文を読んで行う二次選定で除外された文献について、除外の項目で理由を記述するようになっていますので、一次選定で採用された文献については、すべてPICO要約を作成することになります。

論文のアブストラクトからPICOの要約とCommentsをAIで作成できるか試してみました。2025年11月19日の時点で、CopilotはSmart(GPT-5)を用い、GeminiはGemini PRO 2.5 FlashモデルはFastを用います。結論から言うと、ほぼそのまま使用できるレベルのPICO要約表が極めて短時間で作成できます。

PICO要約がAIで作成できれば、効率化が図れます。そこで、まず、アブストラクトを1つずつ処理するやり方を試してみます。PubMedでその文献のAbstractを提示させ、Abstractの部分を選択し、コピー操作を行って、以下のプロンプトの後に、貼り付けます。そして、Enter Keyを押すか、↑のボタン(Copilotの場合)あるいは⇨のボタン(Geminiの場合)をクリックします。書誌情報はここでは取り込まず、別の方法で抽出されている場合を想定しており、PICOとコメントだけです。

以下の論文のアブストラクトからPopulation, Intervention, Comparator, Outcome、すなわちPICOのそれぞれの要点およびコメントを書き出してください。PICOの要点は他の研究と比較する際にそれぞれの属性の違いが分かる程度に詳細を含めてください。Pの項には全症例数、Iの項には介入群の症例数、Cの項には対照群の症例数を入れてください。出力したテキストはコピーして貼り付けられるようにしてください。形式は以下の通りで、:から書き足して、各要素の最後は改行で区切ってください。研究デザインはランダム化比較試験はRCT、コホート研究はCohort、症例対照研究はCase-control、横断研究はCross-sectional、それ以外Othersに分類してください。LaTeXの数式環境($など)は用いずに、通常のテキストとして出力し、最後に改行が入る形式にしてください。
P: 対象者の要点。
I: 介入の要点。
C: 対照の要点。
O: アウトカムの要点。
Comments: 研究デザイン 研究全体に関するコメント。
****ここにAbstractのテキストを貼り付ける****

あっという間に、以下のようなPICO要約が出力されます。この例の文献は最後に引用を付けています。

P: 138例がランダム化され、123例が解析対象。対象は肝硬変を伴う肝細胞癌患者。背景はChild-Pugh Aが70%、アルコール性肝硬変76%、Okuda stage Iが71%、多結節型腫瘍70%、門脈枝血栓10%。
I: 62例。Transarterial Lipiodol Chemoembolisation (TACE)+Tamoxifen併用療法。
C: 61例。Tamoxifen単独療法。
O: 主要アウトカムは全生存率とQOL(Spitzer Index)。2年生存率はTamoxifen群22%、TACE群25%(P=0.68)。QOLに有意差なし(P=0.70)。サブ解析(Okuda I)では2年生存率Tamoxifen群28%、TACE群32%(P=0.58)。予後因子としてAFP>400ng/mL、腹痛、肝腫大、Child-Pughスコアが有意。
Comments: RCT。多施設第III相試験。TACE+TamoxifenはTamoxifen単独と比較して生存率・QOLの改善を示さず、予後因子の解析が主な意義。

もう少し簡略化したPICO要約のためのプロンプトが以下のプロンプトです。

以下の論文のアブストラクトからPopulation, Intervention, Comparator, Outcome、すなわちPICOのそれぞれの要点およびコメントを書き出してください。出力したテキストはコピーして貼り付けられるようにしてください。形式は以下の通りで、:から書き足して、各要素の最後は改行で区切ってください。研究デザインはランダム化比較試験はRCT、コホート研究はCohort、症例対照研究はCase-control、横断研究はCross-sectional、それ以外Othersに分類してください。LaTeXの数式環境($など)は用いず、**も不要です。通常のテキストとして出力し、最後に改行が入る形式にしてください。
P: 対象者の要点。
I: 介入の要点。
C: 対照の要点。
O: アウトカムの要点。
Comments: 研究デザイン 研究全体に関するコメント。
****ここにAbstractのテキストを貼り付ける****

その出力結果です。だいぶ短くなりました。”Pの項には全症例数、Iの項には介入群の症例数、Cの項には対照群の症例数を入れてください。”を入れた方がいいかもしれません。

P: 肝硬変を伴う肝細胞癌患者。対象は1995~2002年に登録された患者138例のうち123例が解析対象。主な背景はChild-Pugh Aが70%、アルコール性肝硬変が76%、Okuda stage Iが71%、多結節型腫瘍が70%、門脈枝血栓が10%。
I: トランス動脈性リピオドール化学塞栓療法(TACE)+タモキシフェン併用。
C: タモキシフェン単独。
O: 全生存率(2年生存率:TACE群25%、タモキシフェン群22%、有意差なし)、QOL(Spitzer Indexで両群差なし)。サブ解析ではOkuda stage I群でも有意差なし。予後因子としてAFP高値、腹痛、肝腫大、Child-Pughスコアが独立因子。
Comments: RCT 多施設共同第III相ランダム化比較試験。TACE併用は生存率・QOLの改善を示さず、予後因子の探索的解析が主な意義。。

Geminiでも同じような結果が得られますが、以下の様になります。

P: 肝細胞癌(HCC)および肝硬変を有する患者。全症例数138名(適格症例123名)。Child-Pugh分類Aが70%、アルコール性肝硬変が76%、OkudaステージIが71%、多結節性腫瘍が70%、区域性門脈血栓症が10%。
I: 経動脈的リピオドール塞栓術(TACE)とタモキシフェンの併用。介入群の症例数62名(適格症例)。
C: タモキシフェン単独療法。対照群の症例数61名(適格症例)。
O: 全生存期間(2年時点の生存率がタモキシフェン群22% vs TACE群25%でP=.68)。生活の質(Spitzer Index)。
Comments: 研究デザイン: RCT。研究全体に関するコメント: HCCと肝硬変の患者に対する緩和的治療において、TACEとタモキシフェンの併用はタモキシフェン単独と比較して、生存期間も生活の質も改善しないことが示唆された。AFP > 400 ng/mL、腹痛、肝腫大、Child-Pughスコアが独立した予後因子として同定された。OkudaステージIのサブグループ解析でも有意な生存期間の改善は認められなかった。

簡略版

P: 肝細胞癌(HCC)および肝硬変を有する患者。
I: 肝動脈塞栓化学療法(TACE)とタモキシフェンの併用療法。
C: タモキシフェン単独療法。
O: 全生存期間(overall survival)、および生活の質(quality of life, Spitzer Index level)。
Comments: 研究デザイン: RCT
研究全体に関するコメント: 多施設共同の第III相ランダム化比較試験で、肝細胞癌に対するTACEとタモキシフェンの併用療法の有効性をタモキシフェン単独療法と比較しています。結果は、TACEの追加が生存期間も生活の質も改善しないことを示唆しています。

続けて、別のアブストラクトの処理をさせたい場合は、「同じように処理して。」のプロンプトに続けてアブストラクトを貼り付けて実行させるだけで大丈夫です。

プロンプトは必要に応じて、修正、追加していろいろ試してみて下さい。今回も自分で考案したさまざまなプロンプトを試してみましたが、一応使用可能だと思ったので、紹介しました。


さらに、複数の文献のPICO要約表の作成も可能です。例えば、PubMedでPMIDのリストを作成するなどして、必要な文献の検索結果を表示させます。それをAbstract形式でSaveしてテキストファイルとしてダウンロードします。他の方法で作成する場合も、書誌情報とアブストラクトが含まれている必要があります。

そして、そのテキストファイルをCopilotのチャットエリア(プロンプトを書き込むフィールド)にドラグアンドドロップします。(Geminiも同じです)。それに続けて、以下のプロンプトを書き出して、Enter Keyを押すと結果が得られます。なお、チャットエリアで、改行を入れたい場合は、Shift Keyを押しながら、Enter Keyを押します。途中で間違ってEnter Keyを押してしまうと、そこでAIの応答が始まってしまうので、注意が必要です。

Copilotの例。
Gemilniの例。
この論文のアブストラクト集のテキストから、Population, Intervention, Comparator, Outcome、すなわちPICOの要点および短いコメントを表形式で書き出し、日本語でひとつの表にしてください。PICOの要点は他の研究と比較する際にそれぞれの属性の違いが分かる程度に詳細を含めてください。Pの項には全症例数、Iの項には介入群の症例数、Cの項には対照群の症例数を入れてください。列名はStudy ID, Design, P, I, C, O, Commentsとして、PICOのフルスペルおよび日本語の説明の追加は不要です。Study IDは第一著者Family name+" "+Initials+" "+年度を用いてください。Designはランダム化比較試験はRCT、コホート研究はCohort、症例対照研究はCase-control、横断研究はCross-sectional、それ以外Othersに分類してください。表はコピーしてExcelに貼り付けられるようにしてください。文献の出版年度の新しい方から順に並べてください。LaTeXの数式環境($など)は用いず、**も不要です。

簡略版

この論文のアブストラクト集のテキストから、Population, Intervention, Comparator, Outcome、すなわちPICOの要点および短いコメントを表形式で書き出し、日本語でひとつの表にしてください。Pの項には全症例数、Iの項には介入群の症例数、Cの項には対照群の症例数を入れてください。列名はStudy ID, Design, P, I, C, O, Commentsとして、PICOのフルスペルおよび日本語の説明の追加は不要です。Study IDは第一著者Family name+" "+Initials+" "+年度を用いてください。Designはランダム化比較試験はRCT、コホート研究はCohort、症例対照研究はCase-control、横断研究はCross-sectional、それ以外Othersに分類してください。表はコピーしてExcelに貼り付けられるようにしてください。文献の出版年度の新しい方から順に並べてください。LaTeXの数式環境($など)は用いず、**も不要です。

Copilotでは直接Excelファイルとして保存することもできますが、結果のコピーボタンをクリックして、Excelシートに貼り付け、不要な部分を削除する方法がスピーディーです。以下の例は、簡略版ではない方のプロンプトの結果です。

GeminiではGoogleドライブのスプレッドシートへ直接出力できるボタンが出てきます。Googleスプレッドシートから、Excelファイルとして保存することができます。

これらの表を自分で入力することを考えると、極めて効率化が図れると言えます。今回の例では6文献でしたが、本当にあっという間にできてしまいます。除外の列は入れてありませんが、Excel間のコピー・貼り付けで、【SR-3 二次スクリーニング後の一覧表】はあっという間に作成できそうです。

また、列名がプロンプトの指示通りにならなかったり、その他にも意図したとおりにならないことがあり得ますので、そのような際にはプロンプトを追加するなり、工夫してみて下さい。

PubMedでAbstract形式でSaveしたテキストファイルだけでなく、必要な情報を含むExcelファイルからも同じことができます。CopilotもGeminiもExcelファイルをドラグアンドドロップで受け付けてくれますので、上記のテキストファイルと同じように読み込ませることができます。例えば、次のようなExcelファイルを文献処理用のソフトウェアで用意して、使うことができます。

この例の場合、プロンプトのStudy IDの取り込みに関する部分を、”Study IDは第一著者Family name+” “+Initials+” “+年度を用いてください。”から”Study IDはReference IDの値をそのまま用いてください。”に書き換えてもいいでしょう。

またBunkanという文献管理用のマクロが付いたExcel Bookを使う場合、まずファイルを編集可能にするために、ファイルのアイコンを右クリックして、プロパティを選択し、全般のタブの画面で下の方のセキュリティの項目の許可するにチェックを入れ、OKボタンをクリックします。これでコピー操作ができるようになるので、目的のSheetの下の方にあるラベルを右クリックして、ポップアップメニューから移動またはコピーを選択し、左下のコピーを作成するにチェックを入れ、移動先ブック名で(新しいブック)を選択し、OKをクリックします。これで、新しいExcelファイルに同じ文献一覧が表示されますので、そのファイルをファイル名を付けて、xlsxファイルとして保存します。このようにして保存したExcelファイルはCopilotあるいはGeminiにドラグアンドドロップして読み込ませることができますので、あとは同じように処理できます。

さて、最後に研究デザインの分類については、すべてのデザインについてテストをしていないので、もしうまく分類されなかった場合、その部分のプロンプトを書き換える必要があるかもしれません。また、今回はアブストラクトの情報からPICO要約を作成しましたが、Copilot、GeminiはPDFファイルもドラグアンドドロップで情報を読み込ませることができるので、ひとつずつであれば全文のPDFファイルからもPICO要約ができるかもしれません。全文に合わせてプロンプトの修正が必要な箇所が出てくるかもしれませんが。

また、PICO要約は一次選定後の文献一覧から作成しますが、一次選定もAIにやらせることもできます。適格基準:採用基準と除外基準をプロンプトで記述して、それで選定された文献からPICO要約を作成するようにプロンプトを記述すれば1ステップで実行できるはずです。ただし、まだ本格的には試していなので、文献数を制限する必要があるかもしれませんし、ASReviewなどの機械学習を用いる方法と比較することも必要になるでしょう。(ASReviewに関する以前の投稿はこちら)。

文献:
最初の例の論文:Doffoël M, Bonnetain F, Bouché O, Vetter D, Abergel A, Fratté S, Grangé JD, Stremsdoerfer N, Blanchi A, Bronowicki JP, Caroli-Bosc FX, Causse X, Masskouri F, Rougier P, Bedenne L; Fédération Francophone de Cancérologie Digestive. Multicentre randomised phase III trial comparing Tamoxifen alone or with Transarterial Lipiodol Chemoembolisation for unresectable hepatocellular carcinoma in cirrhotic patients (Fédération Francophone de Cancérologie Digestive 9402). Eur J Cancer. 2008 Mar;44(4):528-38. doi: 10.1016/j.ejca.2008.01.004. Epub 2008 Jan 31. PMID: 18242076.

ASReviewで重複文献を削除する方法

ASReview (エイエスレビュー)は文献選定作業を大幅に効率化できる、有力なツールであることを以前紹介しました。今回は、重複文献を削除する deduplicateの方法を紹介します。PubMed, Cochrane CENTRAL, Embase, その他の複数のデータベースを用いると、研究論文が重複していることは当然起きます。これらを自動的に除去する方法の一つです。この投稿のPDFのスライドはこちらです。

① まず、文献情報(No, Reference ID, Citation, Title, Abstractなどの情報を含む)のExcel のxlsxファイルを用意します。一行一文献で、一行目にラベルを入力します。

② コマンドプロンプトを起動します。ツールバーの検索フィールドにコマンドプロンプトと書き込むと、アイコンが表示されるので、それをクリックして起動します。

③ ASReviewをインストールします。 以下のコードをコマンドプロンプトに書き込んでEnterキーを押します。Ruquirement already satisfied:・・・・・と出力され、次のコードを待機する状態になります。

pip install asreview

もし、pythonをインストールしていない場合は、ダウンロード、インストールはこちらのサイトから。

④ Pythonを起動します。そのために、以下のコードをコマンドプロンプトに書き込んでEnterキーを押します。

python

⑤ ASReviewData関数を読み込みます。そのために、以下のコードをコマンドプロンプトに書き込んでEnterキーを押します。

from asreview import ASReviewData

⑥ 元のExcelファイルのパスを取得します。一つの方法はファイルのアイコンを右クリックしてパスのコピーを選択します。それにより、パスがクリップボードに格納されます。

⑧ 元のExcelファイルを変数datに読み込みます。まず、以下のコードをメモ帳などのテキストエディターに貼り付けて、”ファイルPath”の部分を選択して貼り付け(Ctr+V)でクリップボードに格納されているパスに置き換えます。

dat = ASReviewData.from_file("ファイルPath")


メモ帳に貼り付けてクリップボードの内容に”ファイルPath”を置き換えた例。ファイルまでのパスはそれぞれのPCによって異なります。ファイル名dce-36-with-dup.xlsx:

さらに、¥の部分を¥¥に置き換えます。編集メニューから置換を利用すると簡単です。修正したコードをコマンドプロンプトに書き込んで(コピー・貼り付け)、Enterキーを押します。これで、変数datにExcelの内容が書き込まれます。

⑨ Deduplicateを実行し結果を変数dedup_datに格納します。以下のコードをコマンドプロンプトに書き込んで、Enterキーを押します。

dedup_dat = dat.drop_duplicates()

⑩ dedup_datをExcelファイルとして保存します。

以下のコードをメモ帳に貼り付けて、”ファイルPath”を元ファイルのパスに置き換えて、ファイル名の部分を書き換えます。

dedup_dat.to_excel("ファイルPath")

例:メモ帳に貼り付けてクリップボードの内容に”ファイルPath”を置き換え、ファイル名を書き換えた例。ファイル名dce-36-without-dup.xlsx:

これで、重複文献を除外したExcelファイルが元のExcelファイルのフォルダ内にできました。

-------

コマンドプロンプトで実行するコードは以下の通りです。これらを1行ずつ実行しますが、全部を一度メモ帳にコピペして、ファイルパスの部分を書き換えてから、1行ずつコマンドプロンプトにコピペして実行するのがいいと思います。

pip install asreview
python
from asreview import ASReviewData
dat = ASReviewData.from_file("ファイルPath\\ファイル名-with-dup.xlsx")
dedup_dat = dat.drop_duplicates()
dedup_dat.to_excel("ファイルPath\\ファイル名-without-dup.xlsx")

Excelファイルを読み込むコードとExcelファイルに保存するコードの部分は、あらかじめファイルパスの部分を書き換えてから、コマンドプロンプトにコピペして実行するようにします。Excelファイルとして保存する際にファイル名を変えないと、元ファイルに上書きされるので、気を付けましょう。ファイルパスをファイルアイコンの右クリックでクリップボードに格納されたパスは区切り文字が¥(または\と表示される)一個ですが、それを¥¥二個にする必要があります。また¥は半角文字です。

重複の判定は、タイトル、抄録の類似性から行うわけですが、デフォルトでは95%の一致で除去する設定だそうです。

RISmedを用いたPubMed検索

RISmedはPubMed検索のためのRのパッケージです。作者はStephanie Kovalchik氏です。ASReview https://asreview.nl/ を用いた文献選定の際には、Title, Abstractのデータを用います。書誌情報と合わせて、これらのデータを含むExcelファイル、またはCSVあるいはRISファイルを用意する必要があります。その際に、RISmedを使うのがひとつの方法です。

PubMedではGETメソッドで直接データベースにアクセスして、検索結果をダウンロードできるe-utilitiesというサービスがあります。MeSHへのAutomatic Term Mappingは適用されません。https://www.ncbi.nlm.nih.gov/books/NBK25501/

それを利用するRのパッケージです。pmSearchも同じサービスを利用しています。

RISmedとtcltk2のパッケージをThe Comprehensive R Archive Network (CRAN)(https://cran.r-project.org/)からRにインストールしておきます。tcltk2は検索結果をCSVファイルとして保存する際のインターフェースとして用います。
Stephanie Kovalchik: RISmed https://cran.r-project.org/web/packages/RISmed/index.html
Philippe Grosjean: tcltk2 https://cran.r-project.org/web/packages/tcltk2/index.html

パッケージがまだインストールされていない場合は、以下のスクリプトをRで実行してください。
#Install the packages.
packneed=c(“RISmed”,”tcltk2″);current=installed.packages();addpack=setdiff(packneed,rownames(current));url=”https://ftp.yz.yamagata-u.ac.jp/pub/cran/”;if(length(addpack)>0){install.packages(addpack,repos=url)};if(length(addpack)==0){print(“Already installed.”)}

以下のRでスクリプトを実行すると検索結果をCSVファイルとして保存できます。SearchWordsと言う変数に検索式search queryを格納しますので、””で囲んであるところを書き換えて使用してください。すべてを選択して、実行すると、ファイル保存のダイアログまで実行されます。ResultsData=EUtilsGet(Results, type=”efetch”, db=”pubmed”)の実行に時間がかかります。

保存したCSVファイルを直接開くのではなく、Excelを起動して、データメニューからテキストまたはCSVファイルからインポートします。元のファイルはUTF-8でエンコードされており、Shift JISがデフォルトのExcelでは文字化けするので、そのような手順を取ります。ファイル保存の際は.xlsxにすることもできます。

また、CSVファイルはテキストファイルなので、Notepad++ https://notepad-plus-plus.org/ などで一度開いて、エンコーディングをUTF-8-BOMに変換するとExcleで直接開いても文字化けしません。

図 Excleで取り込んで.x.sxファイルとして保存したPubMed検索結果。

以下にR用のスクリプトを示します。
library(“RISmed”)
library(“tcltk2”)

#Make a search query for PubMed. Write your query in ” “.

SearchWords=”(junior doctor OR young doctor OR resident physician OR intern) AND mindfulness AND humans[mh] AND (english[la] OR japanese[la]) AND hasabstract[tw] AND 2024[dp]”

#Connect and retrieve a list of PubMed IDs. You can change retmax and set years asmindate=2000, maxdate=2024, retmax=2000

Results=EUtilsSummary(SearchWords, type=”esearch”, db=”pubmed”, retmax=2000)

#Show the number of citations retrieved and get title, abstract and other data. This step takes time.

QueryCount(Results)
ResultsData=EUtilsGet(Results, type=”efetch”, db=”pubmed”)

#Make publication year list.

year=YearEntrez(ResultsData)

#Make a list of authors (Last name + initials) for each citation and a list of reference id (first author + year).

au=Author(ResultsData)
refn=length(au)
auv=rep(“”,refn)
refidv=rep(“”,refn)
for(i in 1:refn){
authors=cbind(au[[i]]$LastName,au[[i]]$Initials)
ma=nrow(authors)
authors[1,]
paste(authors[1,1],authors[1,2])

aul=””
for(j in 1:ma){
aut=paste(authors[j,1],authors[j,2])
aul=paste(aul,aut,sep=”, “)
}
aul=substr(aul,3,nchar(aul))
auv[i]=aul
refidv[i]=paste(authors[1,1],authors[1,2],year[i])
}

#Make citation list. No formatting. Including DOI information.
refer=Citations(ResultsData)

cite=rep(“”,refn)
for(i in 1:refn){
cite[i]=refer[[2]][[i]]
}

#Create a data frame of PMID, Reference_ID,Citation,Year, Title,Abstract. Citation format is not modified.

pubmed_data=data.frame(‘PMID’=PMID(ResultsData),’Reference_ID’=refidv,’Citation’=cite, ‘Year’=YearEntrez(ResultsData), ‘Title’=ArticleTitle(ResultsData), ‘Abstract’=AbstractText(ResultsData))

#Save the frame work as a CSV file with a save file dialogue. Add file extension “.csv”.

filnam=tclvalue(tkgetSaveFile(initialfile=”export.csv”,filetypes=”{{CSV Files} {.csv}} {{All files} *}”));if(filnam!=”.csv”){write.csv(pubmed_data,filnam,row.names=FALSE)}

#Do not open the file directly to avoid character encoding trouble. Launch Excel, then from Data menu use import text/csv file.
#The saved file is a text file with UTF-8. You can change encoding from UTF-8 to UTF-8-BOM using Notpad++, and you can directly open the file with Excel without garbles.

ASReview(エイエスレビュー)を用いた文献選定

システマティックレビューの際には、Clinical Question (CQ), Healthcare Question (HcQ), Health Question (HQ)に回答するために必要な文献を検索しますが、数百、数千という数の候補文献から、目的に合う文献を選定する作業は時間と労力を要します。

Large Language Model (LLM)を用いたArtificial Intelligence (AI)で、例えばChatGPT turboが有用だという報告もありますが、現時点では、ハルシネーションの問題など、全面的に頼れるところまで来ていないと思います。

一方で、機械学習で標的文献サンプルRelevantとそれ以外Irrelevant文献を分類する方法を用いたASReviewは高性能で時間と労力がセーブできます。実際の文献選定のプロセスを支援する方式です。

ASReviewの使い方の解説を書いたので試してみてください[2024.11.23 Exportについての解説を追加しました]→ASReviewを用いた文献検索 PDF ASReviewへのリンクは文献欄に付けてあります↓

ASReviewはPythonというプログラミング言語を用いていますが、ユーザインタフェースはブラウザで、非常に使いやすくなっています。また、データ管理はクラウドではなく、ローカルなので、自分の作成したデータの漏洩の心配はありません。

文献
Yao X, Kumar MV, Su E, Flores Miranda A, Saha A, Sussman J: Evaluating the efficacy of artificial intelligence tools for the automation of systematic reviews in cancer research: A systematic review. Cancer Epidemiol. 2024;88:102511. doi: 10.1016/j.canep.2023.102511 PMID: 38071872

ASReview  https://asreview.nl/

van Dijk SHB, et al: Artificial intelligence in systematic reviews: promising when appropriately used. BMJ Open. 2023;13:e072254. doi: 10.1136/bmjopen-2023-072254 PMID: 3741964

Oami T, Okada Y, Nakada TA: Performance of a Large Language Model in Screening Citations. JAMA Netw Open 2024;7:e2420496. doi: 10.1186/s13643-018-0707-8 PMID: 38976267

Oami T, Okada Y, Sakuraya M, Fukuda T, Shime N, Nakada TA: Efficiency and Workload Reduction of Semi-automated Citation Screening Software for Creating Clinical Practice Guidelines: A Prospective Observational Study. J Epidemiol 2024;34:380-386. doi: 10.1002/cesm.12021 PMID: 38105001

Cowie K, Rahmatullah A, Hardy N, Holub K, Kallmes K: Web-Based Software Tools for Systematic Literature Review in Medicine: Systematic Search and Feature Analysis. JMIR Med Inform. 2022;10:e33219. doi: 10.2196/33219 PMID: 35499859

Cierco Jimenez R, Lee T, Rosillo N, Cordova R, Cree IA, Gonzalez A, Indave Ruiz BI: Machine learning computational tools to assist the performance of systematic reviews: A mapping review. BMC Med Res Methodol. 2022;22:322. doi: 10.1186/s12874-022-01805-4 PMID: 36522637