如何快将数据集划分为train、val(Python3代码模板)
生活随笔
收集整理的這篇文章主要介紹了
如何快将数据集划分为train、val(Python3代码模板)
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
🔥本文 GitHub https://github.com/kzbkzb/Python-AI 已收錄
作者:K同學啊
本代碼不僅適用于兩類別,更適用于任意類別數
1. 分為訓練集、驗證集
import os, random, shutildef moveFile(fileDir,tarDir_train,tarDir_val):pathDir = os.listdir(fileDir) #取圖片的原始路徑filenumber=len(pathDir)rate=0.2 #自定義抽取圖片的比例,比方說100張抽10張,那就是0.1picknumber = int(filenumber*rate) #按照rate比例從文件夾中取一定數量圖片sample_val = random.sample(pathDir, picknumber) #隨機選取picknumber數量的樣本圖片for name in sample_val:shutil.move(fileDir+name, tarDir_val+name)for name in os.listdir(fileDir):shutil.move(fileDir+name, tarDir_train+name)if __name__ == '__main__':filePath = "./1-cat-dog-raw/" #源圖片文件夾路徑train_fileDir = filePath + "train/"val_fileDir = filePath + "val/"for oneDir in os.listdir(filePath): onefileDir = filePath + oneDir + "/"onetarDir_train = train_fileDir+oneDir+"/" # A的二級目錄onetarDir_val = val_fileDir+oneDir+"/" # B的二級目錄print(onefileDir)print(onetarDir_train)print(onetarDir_val,end="\n\n")# 判斷文件夾是否存在,不存在則創建if not os.path.exists(onetarDir_train):os.makedirs(onetarDir_train)if not os.path.exists(onetarDir_val):os.makedirs(onetarDir_val)moveFile(onefileDir,onetarDir_train,onetarDir_val)# 刪除原文件夾(這個時候文件夾應該是已經空了的)os.removedirs(onefileDir)2. 分為訓練集、驗證集、測試集
import os, random, shutildef moveFile(fileDir,tarDir_train,tarDir_val,tarDir_test):pathDir = os.listdir(fileDir) #取圖片的原始路徑filenumber=len(pathDir)print(len(pathDir))rate=0.2 #自定義抽取圖片的比例,比方說100張抽10張,那就是0.1picknumber = int(filenumber*rate) #按照rate比例從文件夾中取一定數量圖片# 將圖片轉移到驗證集pathDir = os.listdir(fileDir) #取圖片的原始路徑sample_val = random.sample(pathDir, picknumber) #隨機選取picknumber數量的樣本圖片for name in sample_val:shutil.move(fileDir+name, tarDir_val+name)# 將圖片轉移到測試集pathDir = os.listdir(fileDir) #重新取圖片的原始路徑sample_test = random.sample(pathDir, picknumber) #隨機選取picknumber數量的樣本圖片for name in sample_test:shutil.move(fileDir+name, tarDir_test+name)# 將圖片轉移到訓練集for name in os.listdir(fileDir):shutil.move(fileDir+name, tarDir_train+name)if __name__ == '__main__':filePath = "./data/" #源圖片文件夾路徑train_fileDir = filePath + "train/"val_fileDir = filePath + "val/"test_fileDir = filePath + "test/"for oneDir in os.listdir(filePath): onefileDir = filePath + oneDir + "/"onetarDir_train = train_fileDir+oneDir+"/" onetarDir_val = val_fileDir+oneDir+"/" onetarDir_test = test_fileDir+oneDir+"/" print(onefileDir)print(onetarDir_train)print(onetarDir_test)print(onetarDir_val,end="\n\n")# 判斷文件夾是否存在,不存在則創建if not os.path.exists(onetarDir_train):os.makedirs(onetarDir_train)if not os.path.exists(onetarDir_val):os.makedirs(onetarDir_val)if not os.path.exists(onetarDir_test):os.makedirs(onetarDir_test)moveFile(onefileDir,onetarDir_train,onetarDir_val,onetarDir_test)# 刪除原文件夾(這個時候文件夾應該是已經空了的)os.removedirs(onefileDir)總結
以上是生活随笔為你收集整理的如何快将数据集划分为train、val(Python3代码模板)的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 第二篇:自动微分
- 下一篇: 目标检测 - 如何在图片中标记Annot