【Week Y2】使用自己的数据集训练YOLO-v5s

Y2-使用自己的数据集训练YOLO-v5s

  • 零、遇到的问题汇总
    • （1）遇到git的`import error`
    • （2）`Error：Dataset not found`
    • （3）`Error：删除中文后，训练图片路径不存在`
  • 一、.xml文件里保存的是什么
  • 二、准备好自己的数据
  • 三、创建split_train_val.py 文件，运行并生成 train.txt、test.txt、val.txt
    • （1）在yolov5-master工程内，新建一个.py文件，并命名为`split_train_val.py`：
    • （2）将以下代码写入该文件，设置自己的`.xml`和`.txt`文件路径：
    • （3）然后执行该文件，就得到下面的结果：
    • （4）创建`voc_label.py`，填充图片路径
  • 四、创建 `fruit.yaml `文件
  • 五、开始用自己的数据集训练模型
    • (1) 输入训练指令
    • （2）查看训练结果

本文使用水果数据集、CPU进行训练，包含200张图像，水果类别分为4类， Banana、Snake fruit、Dragon fruit和Pineapple。

本文先列出执行过程中遇到的问题以及解决办法，再将执行步骤一一说明，给出的代码是我修改过后的最终的代码。

需要注意的是：!!!文件路径不要包含中文!!!

零、遇到的问题汇总

（1）遇到git的import error

参考【这里】解决：
在这里插入图片描述
找到提示报错的路径d:\jupyter notebook\365-DL\.venv\Lib\site-packages\git\cmd.py，然后在该文件中添加一行：

os.environ['GIT_PYTHON_REFRESH'] = 'quiet'

（2）Error：Dataset not found

在这里插入图片描述
路径中含有中文，删除中文。

（3）Error：删除中文后，训练图片路径不存在

在这里插入图片描述
将split_train_val.py和voc_label.py生成的所有文件删除，重新生成。【注意检查路径】

如下所示：
【注意abs_path的路径，本文的图像路径为D:\jupyter notebook\365-DL\YOLO\Y2\yolov5-master\Y2-fruit_data\images\*.png，而abs_path=D:\jupyter notebook\365-DL\YOLO\Y2\yolov5-master】
在这里插入图片描述

一、.xml文件里保存的是什么

在annotations/文件夹里，打开任意一个.xml文件，这里打开fruit0.xml，文件内容如下：
注意每个标签组内的信息，后续voc_label.py文件会提取这些信息。


<annotation>
    <folder>images</folder>
    <filename>fruit0.png</filename>
    <size>
        <width>400</width>
        <height>300</height>
        <depth>3</depth>
    </size>
    <segmented>0</segmented>
    <object>
        <name>pineapple</name>
        <pose>Unspecified</pose>
        <truncated>0</truncated>
        <occluded>0</occluded>
        <difficult>0</difficult>
        <bndbox>
            <xmin>38</xmin>
            <ymin>82</ymin>
            <xmax>271</xmax>
            <ymax>227</ymax>
        </bndbox>
    </object>
    <object>
        <name>snake fruit</name>
        <pose>Unspecified</pose>
        <truncated>0</truncated>
        <occluded>0</occluded>
        <difficult>0</difficult>
        <bndbox>
            <xmin>244</xmin>
            <ymin>174</ymin>
            <xmax>280</xmax>
            <ymax>207</ymax>
        </bndbox>
    </object>
    <object>
        <name>dragon fruit</name>
        <pose>Unspecified</pose>
        <truncated>0</truncated>
        <occluded>0</occluded>
        <difficult>0</difficult>
        <bndbox>
            <xmin>254</xmin>
            <ymin>228</ymin>
            <xmax>351</xmax>
            <ymax>300</ymax>
        </bndbox>
    </object>
</annotation>

二、准备好自己的数据

本次使用水果数据集，数据集包含200张图片，每张图片包含4种不同类别的水果：Banana、Snake fruit、Dragon fruit和Pineapple。
在这里插入图片描述

三、创建split_train_val.py 文件，运行并生成 train.txt、test.txt、val.txt

执行split_train_val.py前的文件结构：
在这里插入图片描述

（1）在yolov5-master工程内，新建一个.py文件，并命名为split_train_val.py：

在这里插入图片描述

（2）将以下代码写入该文件，设置自己的.xml和.txt文件路径：

# 导入必要的库
# 导入必要的库
import os
import random
import argparse

# 创建一个参数解析器
parser = argparse.ArgumentParser()

# 添加命令行参数，用于指定XML文件的路径，默认为“Annotations”文件夹
parser.add_argument('--xml_path', default='D:/jupyter notebook/365-DL/YOLO/Y2/yolov5-master/Y2-fruit_data/annotations/', type=str, help='input xml label path')

# 添加命令行参数，用于指定txt标签文件的路径，默认为“ImageSets/Main”文件夹
parser.add_argument('--txt_path', default='D:/jupyter notebook/365-DL/YOLO/Y2/yolov5-master/Y2-fruit_data/ImageSets/Main', type=str, help='output txt label path')

# 解析命令行参数
opt = parser.parse_args()

# 定义训练验证和测试集的划分比例
trainval_percent = 1.0  # 使用全部数据
train_percent = 0.9     # 训练集占验证集的90%

# 设置xml文件的路径，并根据命令行参数指定
xmlfilepath = opt.xml_path
print("xmlfilepath: ", xmlfilepath)

# 设置txt文件的路径，并根据命令行参数指定
txtfilepath = opt.txt_path

# 获取xml文件夹中的所有xml文件列表
total_xml = os.listdir(xmlfilepath)

# 如果输出txt标签文件的文件夹不存在，创建它
if not os.path.exists(txtfilepath):
    os.makedirs(txtfilepath)

# 获取xml文件的总数
num = len(total_xml)

# 创建一个包含所有xml文件索引的列表
list_index = range(num)

# 计算训练验证集的数量
tv = int(num*trainval_percent)

# 计算训练集的数量
tr = int(num*train_percent)

# 从所有xml文件索引中随机选择出训练验证集的索引
trainval = random.sample(list_index, tv)

# 从训练验证集的索引中随机选择出训练集的索引
train = random.sample(list_index, tr)

# 打开要写入的训练验证集、测试集、训练集、验证集的txt文件
file_trainval = open(txtfilepath + '/trainval.txt', 'w')
file_test = open(txtfilepath + '/test.txt', 'w')
file_train = open(txtfilepath + '/train.txt', 'w')
file_val = open(txtfilepath + '/val.txt', 'w')

# 遍历所有xml文件的索引
for i in list_index:
    name = total_xml[i][:-4] + '\n' # 获取所有文件的名称（去掉后缀.xml），并添加换行符

    # 如果该索引在训练验证集中, 写入训练验证集txt文件，否则写入测试集txt文件
    if i in trainval:    
        file_trainval.write(name) # 
        if i in train: # 如果该索引在训练集中, 写入训练集txt文件，否则写入验证集txt文件
            file_train.write(name)
        else:
            file_val.write(name)
    else:
        file_test.write(name)

# 关闭所有打开的文件
file_trainval.close()
file_train.close()
file_val.close()
file_test.close()

（3）然后执行该文件，就得到下面的结果：

在这里插入图片描述
打开任意一个文件，查看内容：【此处打开val.txt，文件内保存的是个文件名】
在这里插入图片描述

（4）创建voc_label.py，填充图片路径

voc_label.py代码如下：

# 导入必要的库
import xml.etree.ElementTree as ET
import os
from os import getcwd
# 定义数据集的名称
sets = ['train', 'val', 'test']
# 根据所用数据集，填写类别名称，本文使用水果数据集，包含4类，分别如下：
classes = ["banana", "snake fruit", "dragon fruit", "pineapple"]
# 获取当前工作目录的绝对路径
abs_path = os.getcwd()  # abs_path:  D:\jupyter notebook\365-DL\YOLO\Y2\yolov5-master
print("abs_path: ", abs_path)
# 定义一个函数，将边界框的坐标绝对值转换为相对于图像大小的比例
def convert(size, box):
    dw = 1./(size[0])  # 计算图像宽度的倒数
    dh = 1./(size[1])  # 计算图像高度的倒数
    x  = (box[0] + box[1])/ 2.0 - 1  # 计算中心点的x坐标
    y  = (box[2] + box[3])/ 2.0 - 1  # 计算中心点的y坐标
    w  = box[1] - box[0]  # 计算边界框的宽度
    h  = box[3] - box[2]  # 计算边界框的高度
    x  = x * dw  # 缩放x坐标
    w  = w * dw  # 缩放宽度
    y  = y * dh  # 缩放y坐标
    h  = h * dh  # 缩放高度
    return x,y,w,h

# 定义一个函数，将标注文件从xml格式转为YOLO格式
dir = "D:/jupyter notebook/365-DL/YOLO/Y2/yolov5-master/Y2-fruit_data/"
def convert_annotations(image_id):
    # 打开xml标注文件
    in_file = open(dir + "annotations/%s.xml" % (image_id), encoding='UTF-8') 
    # 打开要写入的YOLO格式标签文件
    out_file = open(dir + "labels/%s.txt" % (image_id), 'w')
    # 解析xml文件
    tree = ET.parse(in_file)
    root = tree.getroot()
    # 获取图像文件名
    filename = root.find('filename').text
    # 获取图像文件格式
    filenameFormat = filename.split(".")[1]
    # 获取图像尺寸信息
    size = root.find('size')
    # 获取图像的宽、高
    w = int(size.find('width').text)
    h = int(size.find('height').text)
    
    for obj in root.iter('object'):
    	# 获取对象的难度标志
        difficult = obj.find('difficult').text
        # 获取对象的类别名称
        cls = obj.find('name').text
        if cls not in classes or int(difficult)==1:
            continue
        # 获取类别索引
        cls_id = classes.index(cls)
        # 获取对象的边界框信息，包括：左上角x坐标、左上角y坐标、右下角x坐标、右下角y坐标
        xmlbox = obj.find('bndbox')
        b = ( float(xmlbox.find('xmin').text),
              float(xmlbox.find('xmax').text),
              float(xmlbox.find('ymin').text),
              float(xmlbox.find('ymax').text) )
        b1,b2,b3,b4 = b
        # 标注越界修正
        if b2 > w:
            b2 = w
        if b4 > h:
            b4 = h
        b = (b1,b2,b3,b4)
        # 调用convert()函数，将边界框坐标转换为YOLO格式
        bb = convert((w,h), b)
        out_file.write(str(cls_id)+" " + " ".join([str(a) for a in bb]) + "\n")
    return filenameFormat
# 获取当前工作目录
wd = getcwd()
# 遍历每个数据集（train、val、test）
for image_set in sets:
	# 如果labels目录不存在，就创建它
    if not os.path.exists(dir + "labels/"):
        os.makedirs(dir + "labels/")
    # 从数据集文件中获取图像id列表
    image_ids = open(dir + "ImageSets/Main/%s.txt" % (image_set)).read().strip().split()
    # 打开要写入的文件，写入图像文件路径和格式
    list_file = open(dir + "ImageSets/Main/%s.txt" % (image_set), 'w')
    for image_id in image_ids:
        filenameFormat = convert_annotations(image_id)
        list_file.write(abs_path + '/Y2-fruit_data/images/%s.%s\n' % (image_id,filenameFormat))
    list_file.close()

执行后得到结果：
在这里插入图片描述

四、创建 fruit.yaml 文件

新建fruit.yaml 文件：

train: D:/jupyter notebook/365-DL/YOLO/Y2/yolov5-master/Y2-fruit_data/ImageSets/Main/train.txt
val: D:/jupyter notebook/365-DL/YOLO/Y2/yolov5-master/Y2-fruit_data/ImageSets/Main/val.txt

# number of classes
nc: 4

# class names
names: ["banana", "snake fruit", "dragon fruit", "pineapple"]

五、开始用自己的数据集训练模型

(1) 输入训练指令

由于本机没有GPU，所以执行：python .\train.py --img 900 --batch 2 --epoch 100 --data .\fruit.yaml --cfg .\models\yolov5s.yaml --weights .\yolov5s.pt --device cpu
在这里插入图片描述

如果有GPU，则执行：python .\train.py --img 900 --batch 2 --epoch 100 --data .\fruit.yaml --cfg .\models\yolov5s.yaml --weights .\yolov5s.pt --device '0'

执行命令后，出现如下提示，表明训练进行中，等待训练完成，查看训练结果。
在这里插入图片描述
在这里插入图片描述

（2）查看训练结果

在这里插入图片描述
如图中所示，使用YOLO-v5s训练本文的数据集：

  • a. 100个epoch需要的时间是3.382小时
  • b. YOLOv5s 网络结构: 157 层, 参数量是7020913 , 梯度是0 , GFLOPs是15.8
  • c. 还显示了类别的训练结果，包括P-R值、mAP50的值
  • d. 训练结果保存在runs\train\exp7，在该路径下生成了许多文件：
  • 在这里插入图片描述
    打开其中一张图片，如val_batch1_labels.jpg，如下图，显示了各水果的标签：
    在这里插入图片描述
    打开val_batch1_labels.jpg，则显示了带预测值的标签：
    在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.kler.cn/a/274466.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

docker入门（一）—— docker概述

docker入门（一）—— docker概述

docker 概述 docker 官网&#xff1a;http://www.docker.com 官网文档&#xff1a; https://docs.docker.com/get-docker/ Docker Hub官网&#xff1a;https://hub.docker.com &#xff08;仓库&#xff09; 什么是 docker docker 是一个开源的容器化平台&#xff0c;可以…
阅读更多...
Hive借助java反射解决User-agent编码乱码问题

Hive借助java反射解决User-agent编码乱码问题

一、需求背景 在截取到浏览器user-agent&#xff0c;并想保存入数据库中&#xff0c;经查询发现展示的为编码后的结果。 现需要经过url解码过程&#xff0c;将解码后的结果保存进数据库&#xff0c;那么有几种实现方式。 二、问题解决 1、百度&#xff1a;url在线解码工具 …
阅读更多...
学生课程数据库综合操作（SQL）

学生课程数据库综合操作（SQL）

1.学生&#xff0c;课程&#xff0c;选课关系表 Student 列名说明数据类型约束Sno学号字符&#xff08;8&#xff09;主键Sname姓名字符&#xff08;12&#xff09;非空&#xff0c;唯一Ssex性别字符&#xff08;2&#xff09;取“男”或“女”&#xff0c;默认“男”Sage年龄整…
阅读更多...
android 怎么自定义view

android 怎么自定义view

首先了解view的绘制流程： 所以onmeasure ---测量view onlayout---确定view大小----》所以继承ViewGroup必须要重写onlayout，确定子view 而onDraw----是继承view时候需要操作的。 所以：自定义ViewGroup一般是利用现有的组件根据特定的布局方式来组成新的组件。 自定义Vi…
阅读更多...
【博士每天一篇文献-综述】Brain network communication_ concepts, models and applications

【博士每天一篇文献-综述】Brain network communication_ concepts, models and applications

阅读时间&#xff1a;2023-12-1 1 介绍 年份&#xff1a;2023 作者&#xff1a;Caio Seguin&#xff0c;Olaf Sporns印第安纳大学心理与脑科学系 期刊&#xff1a; nature reviews neuroscience 引用量&#xff1a;33 中文翻译参考&#xff1a;https://swarma.org/?p44524 …
阅读更多...
vue3实现输入框短信验证码功能---全网始祖

vue3实现输入框短信验证码功能---全网始祖

组件功能分析 1.按键删除&#xff0c;清空当前input&#xff0c;并跳转prevInput & 获取焦点,按键delete&#xff0c;清空当前input&#xff0c;并跳转nextInput & 获取焦点。按键Home/End键&#xff0c;焦点跳转first/最后一个input输入框。ArrowLeft/ArrowRight键点击…
阅读更多...
虚拟游戏理财 - 华为OD统一考试(C卷)

虚拟游戏理财 - 华为OD统一考试(C卷)

OD统一考试（C卷） 分值： 100分 题解： Java / Python / C++ 题目描述 在一款虚拟游戏中生活，你必须进行投资以增强在虚拟游戏中的资产以免被淘汰出局。 现有一家Bank，它提供有若干理财产品m，风险及投资回报不同，你有N (元)进行投资，能接受的总风,险值为X。 你要在可接…
阅读更多...
CVE-2019-5782：kArgumentsLengthType 设置偏小导致优化阶段可以错误的去除 CheckBound 节点

CVE-2019-5782：kArgumentsLengthType 设置偏小导致优化阶段可以错误的去除 CheckBound 节点

文章目录 环境搭建漏洞分析笔者初分析笔者再分析漏洞触发源码分析 漏洞利用总结 环境搭建 sudo apt install pythongit reset --hard b474b3102bd4a95eafcdb68e0e44656046132bc9 export DEPOT_TOOLS_UPDATE0 gclient sync -D// debug version tools/dev/v8gen.py x64.debug ni…
阅读更多...
【ESP32 IDF】ESPTIMER定时器

【ESP32 IDF】ESPTIMER定时器

文章目录 前言一、ESPTIMER定时器的介绍1.1 定时器是什么1.2 ESPTIMER定时器的介绍 二、ESPTIMER的使用2.1 简单使用过程2.2 停止定时器2.3 删除定时器 三、示例代码总结 前言 在ESP32 IDF开发框架中&#xff0c;ESPTIMER是一个功能强大的定时器模块&#xff0c;用于实现定时任…
阅读更多...
Java八股文（RabbitMQ）

Java八股文（RabbitMQ）

Java八股文のRabbitMQ RabbitMQ RabbitMQ RabbitMQ 是什么&#xff1f;它解决了哪些问题&#xff1f; RabbitMQ 是一个开源的消息代理中间件&#xff0c;用于在应用程序之间进行可靠的异步消息传递。 它解决了应用程序间解耦、消息传递、负载均衡、故障恢复等问题。 RabbitMQ …
阅读更多...
JavaSE（上）-Day6

JavaSE（上）-Day6

JavaSE&#xff08;上&#xff09;-Day6 数组数组的定义数组的初始化打印数组分析数组索引数组内存图 方法方法的定义和调用方法的重载方法的内存图 二维数组二位数组的创建和初始化二维数组的内存图 数组 1.数组是一种容器&#xff0c;可以一次存储多个相同类型的数据 数组的…
阅读更多...
基于openresty构建运维工具链实践

基于openresty构建运维工具链实践

本文字数&#xff1a;4591字 预计阅读时间&#xff1a;25 01 导读 如今OpenResty已广泛被各个互联网公司在实际生产环境中应用&#xff0c;在保留Nginx高并发、高稳定等特性基础上&#xff0c;通过嵌入Lua来提升在负载均衡层的开发效率并保证其高性能。本文主要介绍接口鉴权、流…
阅读更多...
从零开始写 Docker(六)---实现 mydocker run -v 支持数据卷挂载

从零开始写 Docker(六)---实现 mydocker run -v 支持数据卷挂载

本文为从零开始写 Docker 系列第六篇&#xff0c;实现类似 docker -v 的功能&#xff0c;通过挂载数据卷将容器中部分数据持久化到宿主机。 完整代码见&#xff1a;https://github.com/lixd/mydocker 欢迎 Star 推荐阅读以下文章对 docker 基本实现有一个大致认识&#xff1a; …
阅读更多...
搭建项目后台系统基础架构

搭建项目后台系统基础架构

任务描述 1、了解搭建民航后端框架 2、使用IDEA创建基于SpringBoot、MyBatis、MySQL、Redis的Java项目 3、以原项目为参照搭建项目所涉及到的各个业务和底层服务 4、以原项目为例&#xff0c;具体介绍各个目录情况并参照创建相关文件夹 1、创建项目后端 BigData-KongGuan …
阅读更多...
【MySQL】MySQL视图

【MySQL】MySQL视图

文章目录 一、视图的基本使用1.创建视图2.修改了视图&#xff0c;对基表数据有影响3.修改了基表&#xff0c;对视图有影响4.删除视图 二、视图规则和限制 一、视图的基本使用 视图是一个虚拟表&#xff0c;其内容由查询定义。同真实的表一样&#xff0c;视图包含一系列带有名称…
阅读更多...
15届蓝桥杯备赛(2)

15届蓝桥杯备赛(2)

文章目录 刷题笔记(2)二分查找在排序数组中查找元素的第一个和最后一个位置寻找旋转排序数组中的最小值搜索旋转排序数组 链表反转链表反转链表II 二叉树相同的树对称二叉树平衡二叉树二叉树的右视图验证二叉搜索树二叉树的最近公共祖先二叉搜索树的最近公共祖先二叉树层序遍历…
阅读更多...
管道（acwing，蓝桥杯，二分）

管道（acwing，蓝桥杯，二分）

题目描述&#xff1a; 有一根长度为 len 的横向的管道&#xff0c;该管道按照单位长度分为 len 段&#xff0c;每一段的中央有一个可开关的阀门和一个检测水流的传感器。 一开始管道是空的&#xff0c;位于 Li的阀门会在 Si 时刻打开&#xff0c;并不断让水流入管道。 对于位…
阅读更多...
WRF模型运行教程（ububtu系统）--III.运行WRF模型（官网案例）

WRF模型运行教程（ububtu系统）--III.运行WRF模型（官网案例）

零、创建DATA目录 # 1.创建一个DATA目录用于存放数据&#xff08;一般为fnl数据&#xff0c;放在Build_WRF目录下&#xff09;。 mkdir DATA # 2.进入 DATA cd DATA 一、WPS预处理 在模拟之前先确定模拟域&#xff08;即模拟范围&#xff09;,并进行数据预处理&#xff08…
阅读更多...
我的尝试：Codigger + Vim

我的尝试：Codigger + Vim

若您愿意耐心投入&#xff0c;学习 Vim 的过程其实远比想象中轻松。我对 Vim 产生兴趣&#xff0c;主要是源于它对提升生产力的巨大潜力。我尝试了 Neovim、NvChad 以及 Codigger Vim 插件&#xff0c;如今我的工作效率已远超从前。 那么&#xff0c;Vim 究竟是什么呢&#xff…
阅读更多...
Leetcode 79. 单词搜索

Leetcode 79. 单词搜索

心路历程&#xff1a; 做完这道题才发现是回溯&#xff0c;一开始想的是递归&#xff0c;判断完第i个字符后&#xff0c;只需要挨个判断第i1个字符在不在第i个字符的邻域。后来发现由于不能重复使用元素&#xff0c;所以需要维护一个visited列表&#xff0c;并且在遍历所有可能…
阅读更多...
最新文章

Copyright @ 2022~2023