第十四屆中國(guó)大學(xué)生服務(wù)外包創(chuàng)新創(chuàng)業(yè)大賽百度賽道-智慧醫(yī)療賽題baseline 2

比賽介紹

中國(guó)大學(xué)生服務(wù)外包創(chuàng)新創(chuàng)業(yè)大賽是中國(guó)高等教育學(xué)會(huì)全國(guó)普通高校學(xué)科競(jìng)賽排行榜內(nèi)競(jìng)賽，本屆賽事，百度飛槳設(shè)立了“基于百度飛槳的3D 醫(yī)療數(shù)據(jù)解析平臺(tái)”的賽道，參賽獲獎(jiǎng)有助于保研加分。

賽題背景

腹部多器官分割一直是醫(yī)學(xué)圖像分析領(lǐng)域最活躍的研究領(lǐng)域之一，其作為一項(xiàng)基礎(chǔ)技術(shù)，在支持疾病診斷，治療規(guī)劃等計(jì)算機(jī)輔助技術(shù)發(fā)揮著重要作用。近年來，基于深度學(xué)習(xí)的方法在該領(lǐng)域中獲得了巨大成功，卻也暴露出了一個(gè)迫切問題: 當(dāng)前社區(qū)缺乏一個(gè)大規(guī)模、多樣性、且符合真正臨床場(chǎng)景的綜合基準(zhǔn)數(shù)據(jù)集來開發(fā)/評(píng)估對(duì)應(yīng)的算法。雖然目前已有幾個(gè)腹部器官分割數(shù)據(jù)集，它們的標(biāo)注器官和標(biāo)注例子數(shù)目卻相對(duì)有限，仍然限制了現(xiàn)代深度模型的力量，也難以對(duì)提出的不同方法進(jìn)行全面和公平的評(píng)估。

為了解決上述問題，進(jìn)一步促進(jìn)醫(yī)療圖像分割技術(shù)的發(fā)展，深圳市大數(shù)據(jù)研究院、香港中文大學(xué)（深圳）、香港大學(xué)、中山大學(xué)等機(jī)構(gòu)聯(lián)合深圳市龍崗區(qū)人民醫(yī)院、深圳市龍崗中心醫(yī)院提出了多模態(tài)腹部分割數(shù)據(jù)集（AMOS），一個(gè)大規(guī)模，多樣性的，收集自真實(shí)臨床場(chǎng)景下的腹部多器官分割基準(zhǔn)數(shù)據(jù)。

本次競(jìng)賽抽取AMOS2022數(shù)據(jù)集中的部分?jǐn)?shù)據(jù)作為訓(xùn)練和評(píng)測(cè)數(shù)據(jù)。
注意：本比賽只允許使用提供的數(shù)據(jù)集。

任務(wù)說明

參賽者利用提供的訓(xùn)練數(shù)據(jù)，實(shí)現(xiàn)對(duì)腹部多器官圖像的器官分割。

數(shù)據(jù)集介紹

多器官數(shù)據(jù)集共有15個(gè)器官的標(biāo)注，包括脾臟、右腎、左腎、膽囊、食道、肝、胃、主動(dòng)脈、下腔靜脈、胰腺、右腎上腺、左腎上腺、十二指腸、膀胱、前列腺/子宮。本數(shù)據(jù)集共包含160個(gè)訓(xùn)練數(shù)據(jù)，40個(gè)測(cè)試數(shù)據(jù)。

PaddleSeg介紹

PaddleSeg是基于飛槳PaddlePaddle的端到端圖像分割套件，內(nèi)置45+模型算法及140+預(yù)訓(xùn)練模型，支持配置化驅(qū)動(dòng)和API調(diào)用開發(fā)方式，打通數(shù)據(jù)標(biāo)注、模型開發(fā)、訓(xùn)練、壓縮、部署的全流程，提供語(yǔ)義分割、交互式分割、Matting、全景分割四大分割能力，助力算法在醫(yī)療、工業(yè)、遙感、娛樂等場(chǎng)景落地應(yīng)用。

本baseline使用PaddleSeg的MedicaSeg開發(fā)，github地址：https://github.com/PaddlePaddle/PaddleSeg

老爺們，動(dòng)動(dòng)發(fā)財(cái)?shù)男∈?#xff0c;點(diǎn)點(diǎn)star為我們助力，您的支持就是我們的動(dòng)力～～

nnunet高精度模型-訓(xùn)練-推理-提交全流程

上一篇baseline使用vnet模型，使用的與處理策略非常簡(jiǎn)單，預(yù)測(cè)精度很低，本baseline使用nnunet 的cascade lowres模型，nnunet包含大量的trick，能夠獲得很高的精度。

本baseline僅包含部分使用內(nèi)容，完整的nnunet使用方案請(qǐng)參考：
nnunet教程： https://aistudio.baidu.com/aistudio/projectdetail/4884907?contributionType=1

# step 1: 克隆PaddleSeg倉(cāng)庫(kù) %cd ~/ !git clone https://github.com/PaddlePaddle/PaddleSeg.git %cd ~/PaddleSeg !git checkout develop # develop分支目前支持nnformer,transunet,swinunet等多個(gè)算法，歡迎體驗(yàn) # step2: 解壓數(shù)據(jù)到~/PaddleSeg/contrib/MedicalSeg/data/raw_data !mkdir ~/PaddleSeg/contrib/MedicalSeg/data !unzip -oq ~/data/data179474/base_train.zip -d ~/PaddleSeg/contrib/MedicalSeg/data/raw_data # step 3: 刪除原本的數(shù)據(jù)集壓縮包，節(jié)約內(nèi)存 !rm -rf ~/data/data179474/base_train.zip # 刪除掉數(shù)據(jù)集中一個(gè)沒用的文件夾，否則會(huì)報(bào)錯(cuò) !rm -rf ~/PaddleSeg/contrib/MedicalSeg/data/raw_data/.ipynb_checkpoints # step 4: 安裝依賴包 %cd ~/PaddleSeg/contrib/MedicalSeg/ !pip install -r requirements.txt !pip install medpy # step 5: nnunet cascade lowres訓(xùn)練，混合精度訓(xùn)練快一些，五折訓(xùn)練，這里使用fold 2，一共有0,1,2,3,4共五個(gè)fold。 # 在訓(xùn)練之前，會(huì)先對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，如果覺得耗時(shí)過久懷疑出錯(cuò)，可以看一下PaddleSeg/contrib/Medicalseg/data目錄里面是否有decathlon、preprocessed、cropped 3個(gè)文件夾 # 沒有這3個(gè)文件夾請(qǐng)耐心等待。# 為什么會(huì)報(bào)錯(cuò)json文件缺失？ # 預(yù)處理的過程不可中斷，如果中斷可能導(dǎo)致部分文件丟失，可以把decathlon、preprocessed、cropped報(bào)錯(cuò)的文件夾刪除，重新生成即可。# 什么是交叉訓(xùn)練？ # 假設(shè)有100條數(shù)據(jù)，使用五折交叉驗(yàn)證訓(xùn)練。可以把數(shù)據(jù)集分為 ｜20｜20｜20｜20｜20｜，每次訓(xùn)練的時(shí)候，把其中一個(gè)作為驗(yàn)證集，其他作為訓(xùn)練集，這樣可以得到5個(gè)模型，他們的驗(yàn)證集不重復(fù)。%cd ~/PaddleSeg/contrib/MedicalSeg/ !python train.py --config ~/configs/nnunet_fold2.yml \--log_iters 20 --precision fp16 --nnunet --save_dir output/cascade_lowres/fold2 --save_interval 2000 --use_vdl # 為了防止內(nèi)存溢出，請(qǐng)?zhí)鎿Qcascade預(yù)測(cè)下一階段的部分代碼 !mv ~/PaddleSeg/contrib/MedicalSeg/nnunet/utils/cascade_utils.py ~/PaddleSeg/contrib/MedicalSeg/nnunet/utils/cascade_utils_backup.py !cp ~/cascade_utils.py ~/PaddleSeg/contrib/MedicalSeg/nnunet/utils/ # step 6: fold2的數(shù)據(jù)集劃分驗(yàn)證一下精度，運(yùn)行一下，生成下個(gè)命令需要用的json，如果不使用后處理策略可以不運(yùn)行 # 有的數(shù)據(jù)很大，可能導(dǎo)致內(nèi)存溢出，可以切換A100環(huán)境預(yù)測(cè)下一階段 # 可以除去--predict_next_stage參數(shù)，不預(yù)測(cè)該數(shù)據(jù)的下一階段# predict_next_stage的作用是什么？ # cascade unet分為2階段，第一階段會(huì)把分辨率降低進(jìn)行訓(xùn)練，增強(qiáng)模型的感受野。第二階段會(huì)把第一階段的模型預(yù)測(cè)結(jié)果和原始數(shù)據(jù)一起作為輸入，所以訓(xùn)練low resolution模型后， # 需要預(yù)測(cè)下一階段的輸入數(shù)據(jù)。# 交叉驗(yàn)證和二階段訓(xùn)練結(jié)合為什么這么難懂？ # 一階段交叉訓(xùn)練：｜20｜20｜20｜20｜20｜ # 二階段交叉訓(xùn)練：｜20（concat（原始數(shù)據(jù)，一階段預(yù)測(cè)的結(jié)果））｜20（concat（原始數(shù)據(jù)，一階段預(yù)測(cè)的結(jié)果））｜20（concat（原始數(shù)據(jù)，一階段預(yù)測(cè)的結(jié)果））｜20（concat（原始數(shù)據(jù)，一階段預(yù)測(cè)的結(jié)果））｜20（concat（原始數(shù)據(jù)，一階段預(yù)測(cè)的結(jié)果））｜ # 為了訓(xùn)練第二階段，需要使用五個(gè)模型預(yù)測(cè)整個(gè)數(shù)據(jù)集，這樣二階段才能訓(xùn)練。 %cd ~/PaddleSeg/contrib/MedicalSeg/ !python nnunet/single_fold_eval.py --config ~/configs/nnunet_fold2.yml \--model_path output/cascade_lowres/fold2/iter_2000/model.pdparams --val_save_folder output/cascade_lowres_val \--precision fp16 --predict_next_stage ## 可選步驟：先運(yùn)行step 7，如果提示內(nèi)存溢出則運(yùn)行此命令，替代原本的推理代碼 !mv ~/PaddleSeg/contrib/MedicalSeg/nnunet/utils/predict_utils.py ~/PaddleSeg/contrib/MedicalSeg/nnunet/utils/predict_utils_old.py !cp ~/predict_utils.py ~/PaddleSeg/contrib/MedicalSeg/nnunet/utils/ # step 7: 推理# 為什么要用json文件？ # nnunet采用了后處理策略對(duì)預(yù)測(cè)結(jié)果進(jìn)行修正，但是后處理策略是否一定會(huì)漲點(diǎn)呢？對(duì)每個(gè)類別，對(duì)比使用了后處理和不使用后處理策略的精度，這樣就可以決定每個(gè)類別是否使用后處理策略。 # 需要后處理漲點(diǎn)的類別存放在json中，這是json的作用。# 是否一定要該折對(duì)應(yīng)的json？ # 不是，json只是決定某個(gè)類別是否使用后處理，即使使用其他折的json，也可以預(yù)測(cè)，但是后處理的類別可能會(huì)錯(cuò)誤，這個(gè)時(shí)候后處理的預(yù)測(cè)結(jié)果不可靠。# 不希望使用后處理策略怎么辦？ # 命令中加上--disable_postprocessing即可%cd ~/PaddleSeg/contrib/MedicalSeg/ !python nnunet/predict.py --image_folder data/decathlon/imagesTs \--output_folder ~/submit \--plan_path data/preprocessed/nnUNetPlansv2.1_plans_3D.pkl \--model_paths output/cascade_lowres/fold2/iter_30000/model.pdparams \--postprocessing_json_path output/cascade_lowres_val/postprocessing.json --model_type cascade_lowres # step 8: 打包提交，生成submit.zip,在/home/aistudio目錄下 !zip -j ~/submit.zip ~/submit/*.nii.gz

nnunet高精度模型 推理-提交全流程

使用提供的權(quán)重，快速進(jìn)行推理提交

# step 1: 克隆PaddleSeg倉(cāng)庫(kù)--已有請(qǐng)忽略 %cd ~/ !git clone https://github.com/PaddlePaddle/PaddleSeg.git %cd ~/PaddleSeg !git checkout develop # develop分支目前支持nnformer,transunet,swinunet等多個(gè)算法，歡迎體驗(yàn) # step2: 解壓數(shù)據(jù)到~/PaddleSeg/contrib/MedicalSeg/data/raw_data --- 如果已經(jīng)運(yùn)行過數(shù)據(jù)預(yù)處理，請(qǐng)忽略。~/PaddleSeg/contrib/MedicalSeg/data這個(gè)目錄下是否有decalthon和preprocess這2個(gè)文件夾 !mkdir ~/PaddleSeg/contrib/MedicalSeg/data !unzip -oq ~/data/data179474/base_train.zip -d ~/PaddleSeg/contrib/MedicalSeg/data/raw_data # step 3: 刪除原本的數(shù)據(jù)集壓縮包，節(jié)約內(nèi)存 !rm -rf ~/data/data179474/base_train.zip # 刪除掉數(shù)據(jù)集中一個(gè)沒用的文件夾，否則會(huì)報(bào)錯(cuò) !rm -rf ~/PaddleSeg/contrib/MedicalSeg/data/raw_data/.ipynb_checkpoints # step 4: 安裝依賴包 --- 已安裝請(qǐng)忽略 %cd ~/PaddleSeg/contrib/MedicalSeg/ !pip install -r requirements.txt !pip install medpy # step 5: fold2的數(shù)據(jù)集驗(yàn)證一下精度，這里的目的是觸發(fā)數(shù)據(jù)預(yù)處理，不然step 6沒法推理，如果PaddleSeg/contrib/MedicalSeg/data/decathlon文件夾存在，可以跳過 %cd ~/PaddleSeg/contrib/MedicalSeg/ !python nnunet/single_fold_eval.py --config ~/configs/nnunet_fold2.yml \--model_path ~/baseline_model/model.pdparams --val_save_folder output/cascade_lowres_val \--precision fp16 ## 可選步驟：先運(yùn)行step 6，如果提示內(nèi)存溢出則運(yùn)行此命令，替代原本的推理代碼 !mv ~/PaddleSeg/contrib/MedicalSeg/nnunet/utils/predict_utils.py ~/PaddleSeg/contrib/MedicalSeg/nnunet/utils/predict_utils_old.py !cp ~/predict_utils.py ~/PaddleSeg/contrib/MedicalSeg/nnunet/utils/ # step 6: 使用提供的權(quán)重推理，nnunet默認(rèn)使用tta策略，速度比較慢 %cd ~/PaddleSeg/contrib/MedicalSeg/ !python nnunet/predict.py --image_folder data/decathlon/imagesTs \--output_folder ~/submit \--plan_path data/preprocessed/nnUNetPlansv2.1_plans_3D.pkl \--model_paths ~/baseline_model/model.pdparams \--postprocessing_json_path ~/baseline_model/postprocessing.json --model_type cascade_lowres \--num_threads_preprocessing 1 --num_threads_nifti_save 1 --precision fp16 # step 7: 打包提交，生成submit.zip,在/home/aistudio目錄下 !zip -j ~/submit.zip ~/submit/*.nii.gz

上分策略

本baseline只提供了nnunet cascade lowres的單折模型，并未使用多折模型ensemble以及多模型間ensemble，選手可以自行嘗試。

此文章為搬運(yùn)
原項(xiàng)目鏈接

總結(jié)

以上是生活随笔為你收集整理的第十四届中国大学生服务外包创新创业大赛百度赛道-智慧医疗赛题baselin的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。