UTH CAD Challenge 2015 開催要領
期間
2015年7月 ～ 2016年3月
スケジュール
- 概要発表
- 2014年12月20日（第8回次世代コンピュータ支援診断ソフトウェア臨床使用・評価プラットフォーム研究会にて）
- 参加申込
- 2015年2月1日～8月31日
- サンプル症例提供
- 東大・参加施設の倫理審査申請等承認後随時
- CADソフトウェア受付
- 2015年8月～
10月31日（追加提出は2016年1月31日まで）11月30日（追加提出は2016年2月29日まで） - 学習・評価期間
- 2015年7月～2016年3月
- 結果公表
- 2015年11月以降、本サイトにて適宜公表
次世代コンピュータ支援診断ソフトウェア臨床使用・評価プラットフォーム研究会等で発表予定です。
対象CAD
以下の2部門を実施します。参加はいずれか一方、両方どちらも可能です。
- 脳動脈瘤検出部門
- 使用画像： 3T MR装置で3D-TOF法により撮像された頭部MRA画像
- 検出対象： 長径2mm以上の病変
- 肺結節検出部門
- 使用画像： MDCT装置で撮影された胸部CT画像（スライス厚1.25mm）
- 検出対象： 長径5mm以上の病変
参加資格
大学、病院等の研究グループ（※個人での参加については個別対応）
- 研究参加前に自施設の倫理委員会の承認を得てください（自施設に倫理委員会が設置されていない場合などは東京大学大学院医学系研究科・医学部倫理委員会へ審査を依頼することも可能です）。
※企業が参加する場合、東京大学医学部附属病院コンピュータ画像診断学／予防医学講座との共同研究契約締結後、東京大学大学院医学系研究科・医学部倫理委員会への倫理審査申請を別途行います。
参加申込
2015年8月31日までに東大病院・野村（nomuray-tky＠umin.ac.jp、＠は半角に変換）まで以下の内容を記載したメールにて申込ください。
- 施設名
- 代表者氏名
- 代表者連絡先
- 共同参加者氏名
- 参加部門（脳動脈瘤／肺結節／両方）
後日、申込者に対して参加のための詳細情報を連絡します。
ソフトウェア開発
参加者には開発／動作確認用のサンプル症例を提供します（詳細は下記参照）。
- 提供時に覚書を二通作成し、参加者および東大病院それぞれで保管します。
仕様に従って学習用および検出用ソフトウェアを開発し、コンパイルした実行ファイルを提出します。
- Microsoft Windows 7以降で動作するものとします（64 bit推奨）
- CIRCUS CSプラグインソフトウェア開発キット（SDK、開発言語：C/C++）を使用した開発を推奨しますが、他の開発言語による開発も可能です（ただし、Microsoft .NET Framework以外のランタイムソフトウェア等のインストールが必要な場合は要応談）。
ファイル提出時に以下の文書等を併せて提出します。
- ソフトウェアの入出力ファイルの説明（実行に必要な補助ファイル、学習用ソフトウェア出力、評価用ファイルへの入力）
- Webサイト公開用説明文（400文字程度。引用文献、Webサイトへのリンクを含めることも可能）
- 覚書（二通作成し、参加者および東大病院それぞれで保管）
提出されたソフトウェアを用いてベースライン評価を行い、9割以上の症例で処理が正常終了することが確認された時点で提出完了とします。提出完了後、研究終了まで同一ソフトウェアを使用します。
同一グループから複数ソフトウェアの提出を認めます。
参加施設より希望がある場合、経時的評価の結果を基に改善したソフトウェアの追加提出を1回のみ認めます（改善のためのデータの追加提供は要応談）。
- 初回提出分とは別ソフトウェア扱いとし、経時的評価（最後の3ヶ月分、学習データは初期学習症例＋6ヶ月の有病症例）のみを行います。
学習過程における性能の変遷などを観察する研究の性格上、学習処理には東大病院のデータのみを使用することとします（事前にサンプル症例以外の症例で学習を行わないでください）。
学習および評価
症例セット
症例セットの種類
- 初期学習症例：過去に当院検診施設で撮像された有病症例150例、および正常症例150例（計300例）
- うち有病症例10例をサンプル症例として参加施設に提供します（UTH CAD Challenmge 2014サンプル症例と同一）。
- 経時評価症例：2015年7月～2016年3月に当院検診施設で撮像された症例（正常症例を含む、約250例／月）
病変の決定基準（全症例）
2名の読影医が個々に読影した後に協議を行い、合意が得られたものとします。（診断基準はこちら）
実施内容
1) ベースライン評価
初期学習症例を用いた3-fold cross validationによる評価
2) 初期学習
初期学習症例全例を用いた学習
3) 経時的評価
- 2015年7月以降、3ヶ月毎に評価を行います（計3回、図1）。
- 3ヶ月毎にそれまでの有病症例および同数の正常症例を加えた再学習を行います。
- 複数のCADソフトウェアの組み合わせによる性能改善についても検討を試みます。
評価基準
検出判定
検出用ソフトウェアより出力された病変候補の座標が以下の要件を満たせば検出と判定します（複数存在する場合は最も距離の短い候補1つのみ検出とします）。
- 脳動脈瘤：病変の重心座標との距離が3mm以内、もしくは入力した病変領域内に含まれている。
- 肺結節：病変の重心座標との距離が（医師が計測した長径）* 0.75以内（半径の1.5倍、ANODE'09と同一判定基準）
学習処理における検出判定は参加者が自由に設定してください。
評価指標
ANODEスコア（FROC曲線上の7点（1/8, 1/4, 1/2, 1, 2, 4, および8 FPs/case）におけるTP ratioの平均）
学習・検出環境
- CPU
- Intel 第4世代 Core i7プロセッサ（4コア、Hyper-Threading有効）
- メモリ
- 32GB
- OS
- Microsoft Windows 7 Professional （SP1適用）
参加者に提供するデータ
評価結果（随時）
- 評価に使用した症例の情報（病変中心部の画像（3断面）、サイズなどの臨床情報）
- 評価ソフトウェア出力（各症例、検出結果ファイルの必須項目部分）
- 評価結果データ（FROC曲線など）
研究終了時
- 学習結果および学習時のログファイル（ソフトウェア提供時に指定されたファイル群）
- 検出用ソフトウェアに使用する学習結果（特徴量の統計データ）のみ提供します。
※画像の全体／部分を再現できるようなデータの流出を防ぐため、提供前にデータ内容を確認した上で、提供しない場合があります。
結果公表・成果発表について
結果公表
CIRCUSプロジェクトWebサイトにて適宜公表します。
- 施設名は匿名／公表のいずれも可能です。
- 公開は一部のみとし、全ての結果は参加施設のみが閲覧可能とします。
成果発表
研究全体については、進捗状況を「次世代コンピュータ支援診断ソフトウェア臨床使用・評価プラットフォーム研究会」にて報告するとともに、状況に応じて学会等で共同発表ならびに論文投稿を行います。
- 参加施設の共同演者は原則代表者のみとし、事前に演者として加わるかどうかを確認いたします。
各参加施設がアルゴリズムについて各種学会、研究会、あるいは学術誌で発表することは妨げません。本企画の結果を載せる場合、共同プロジェクトの一環であること、東大病院のデータを利用していることについて、発表媒体（スライド、ポスター、予稿および論文原稿）に明記してください。
- プロジェクトの概要をUMIN臨床試験登録システムに登録予定です。
その他
本研究は、東京大学大学院医学系研究科・医学部倫理委員会ならびに各参加施設の倫理委員会等の承認を受けて行います。
厚生労働省の「疫学研究に関する倫理指針」で示されている「インフォームド・コンセントを受けない場合において当該研究の実施について公開すべき事項」については、こちらに掲示します。なお、掲示文書内に参加施設名を記載します。