基于yoloV7-pose添加任意关键点 ＋ 多类别分类网络修改

一 修改思想

目前yoloV7已经发布有一段时间了，其中yoloV7有一个关键点检测的分支pose，是一个姿态关键点的检测算法，其中有给出的数据，大家可以下载运行起来。

由于实际项目需求，发现17个关键点是不能满足大家的需求的，这里我就稍作修改了一下，把关键点的数量修改为任意数量，并且添加目标检测多分类情况。

二 数据修改

这里我是以车牌的关键点进行举例修改，所有关键点的数量为4个。

修改的过程中需要做左右翻转，所以我的关键点翻转后，1和2交换，3和4交换，5和6交换，依次类推。

1 yaml文件修改

• 设置关键点数量，修改关键点数量为4

  

• 设置类别数量和类别标签

  

  数据制作

  • 训练标签制作

    # -nfs-阿拉伯车牌字符-沙特阿拉伯卡口车牌-2-沙特阿拉伯卡口车牌-2-image1837.txt
    # data.txt   含义分别是： cls   	 x	           y          w       h        point1x		point1y		point2x	   	point2y		 point3x	  point3y	  point4x	   point4y		    ...
    # 						类别  目标中心点x    目标中心点y   目标宽w   目标高h    目标点1x坐标  目标点1y坐标   目标点2x坐标  目标点2y坐标   目标点3x坐标  目标点3y坐标   目标点4x坐标  目标点4y坐标    依次类推 
    0  0.5739299610894941  0.1724137931034483  0.3715953307392996  0.29064039408866993  0.38910505836575876  0.08374384236453201  0.7587548638132295  0.029556650246305417  0.7607003891050583  0.2660098522167488  0.39299610894941633  0.32019704433497537  
    2  0.5739299610894941  0.1724137931034483  0.3715953307392996  0.29064039408866993  0.38910505836575876  0.08374384236453201  0.7587548638132295  0.029556650246305417  0.7607003891050583  0.2660098522167488  0.39299610894941633  0.32019704433497537  
    0  0.5739299610894941  0.1724137931034483  0.3715953307392996  0.29064039408866993  0.38910505836575876  0.08374384236453201  0.7587548638132295  0.029556650246305417  0.7607003891050583  0.2660098522167488  0.39299610894941633  0.32019704433497537  
    

    • 训练文件train.txt 和val.txt 制作

      # train.txt
      ./train/images/-nfs-阿拉伯车牌字符-沙特阿拉伯卡口车牌-2-沙特阿拉伯卡口车牌-2-image1837.jpeg
      ./train/images/-nfs-车牌字符-埃及车牌-埃及车牌截图-2021-04-30 11-11-52屏幕截图.png
      ./train/images/-nfs-车牌字符-埃及车牌-埃及车牌截图-2021-04-30 13-57-27屏幕截图.png
      ./train/images/-nfs-车牌字符-埃及车牌-埃及车牌截图-2021-04-30 10-19-54屏幕截图.png
      ./train/images/-nfs-阿拉伯车牌字符-外国车牌现场_20210519_1-外国车牌现场_20210519_1-e0d92b0990a1249388bc77bdfa8e43ed.jpg
      ./train/images/-nfs-车牌字符-埃及车牌-埃及车牌截图-2021-04-30 13-51-28屏幕截图.png
      ./train/images/-nfs-车牌字符-约旦车牌-videoplayback-videoplayback_13_1460.jpg
      ./train/images/-nfs-车牌字符-埃及车牌-埃及车牌截图-2021-04-30 13-56-51屏幕截图.png
      ./train/images/-nfs-车牌字符-埃及车牌-埃及车牌截图-2021-04-30 10-27-50屏幕截图.png
      

      数据读取修改

      核心思想就是要把关键点的数量传入数据读取中，根据关键点数量进行数据读取操作。

      • datasets.py/LoadImagesAndLabels() 初始化修改

        

      • cache_labels() 方法 ：数据读取修改

        

      • LoadImagesAndLabels()中__getitem__() 方法 ：数据左右翻转修改

        

      • datasets.py/random_perspective() 方法

        

        用到random_perspective()方法的地方记得都去添加一个关机键点数量参数。

        

        三 网络结构修改

        1 model文件修改

        • yolo.py 我们用到的是IKeypoint()方法，所以这里只修改这个方法，其他方法是一样的修改。

          结构中主要是把分类数量和关机键点数量加入进去就ok了。

          

          loss文件修改

          • loss初始化类别数量和关机键数量

            

          • loss 计算中加入类别和关机键点计算

            

            

            • build_targets() 方法修改 添加关键点数量

              

              四 训练代码修改

              1 train.py

              • 添加关机键点数量

                

              • 读取数据加入关机键点数量

                

              • 初始化loss 添加关键点数量和类别数量

                

              • 画图添加关键点数量

                

                2 test.py

                • 读取数据添加关机键点数量

                  

                • 画图添加关机键点数量

                  

                  3 general.py 中non_max_suppression()方法修改

                  

                  

                  

                  4 plots.py 文件夹修改

                  主要是添加关机键点的数量

                  

                  

                  

                  五 代码分享

                  1 训练测试

                  

                  关键点效果已经成功加上去了，并且也添加了多分类。

                  2 代码链接

                  代码地址（yolov7-pose_Npoint_Ncla）：https://Github.com/qinggangwu/yolov7-pose_Npoint_Ncla