Ultralytics YOLOv5 架构

YOLOv5 (v6.0/6.1) 是一款由 Ultralytics 开发的强大目标检测算法。本文深入探讨了 YOLOv5 架构、数据增强策略、训练方法以及损失计算技术。全面了解这些内容将有助于你提升目标检测在监控、自动驾驶和图像识别等各个领域的实际应用能力。

模型结构

YOLOv5 的架构由三个主要部分组成：

Backbone：这是网络的主干。对于 YOLOv5，backbone 使用 CSPDarknet53 结构进行设计，这是对先前版本中使用的 Darknet 架构的修改。
Neck：该部分连接 Backbone 和 Head。在 YOLOv5 中，使用了 SPPF (Spatial Pyramid Pooling - Fast) 和 PANet (Path Aggregation Network) 结构。
Head：该部分负责生成最终输出。YOLOv5 为此使用了 YOLOv3 Head。

模型结构如下图所示。模型结构的详细信息可以在 models/yolov5l.yaml 中找到。

YOLOv5 显示 backbone、neck 和 head 的架构图

与前代产品相比，YOLOv5 引入了一些显著改进：

早期版本中使用的 Focus 结构被替换为 6x6 Conv2d 结构。这一更改提高了效率 #4825。
SPP 结构被替换为 SPPF。这一调整在保持相同输出的同时，处理速度提高了一倍以上。

若要测试 SPP 和 SPPF 的速度，可以使用以下代码：

SPP vs SPPF speed profiling example (click to open)

import time

import torch
import torch.nn as nn

class SPP(nn.Module):
    def __init__(self):
        """Initializes an SPP module with three different sizes of max pooling layers."""
        super().__init__()
        self.maxpool1 = nn.MaxPool2d(5, 1, padding=2)
        self.maxpool2 = nn.MaxPool2d(9, 1, padding=4)
        self.maxpool3 = nn.MaxPool2d(13, 1, padding=6)

    def forward(self, x):
        """Applies three max pooling layers on input `x` and concatenates results along channel dimension."""
        o1 = self.maxpool1(x)
        o2 = self.maxpool2(x)
        o3 = self.maxpool3(x)
        return torch.cat([x, o1, o2, o3], dim=1)

class SPPF(nn.Module):
    def __init__(self):
        """Initializes an SPPF module with a specific configuration of MaxPool2d layer."""
        super().__init__()
        self.maxpool = nn.MaxPool2d(5, 1, padding=2)

    def forward(self, x):
        """Applies sequential max pooling and concatenates results with input tensor."""
        o1 = self.maxpool(x)
        o2 = self.maxpool(o1)
        o3 = self.maxpool(o2)
        return torch.cat([x, o1, o2, o3], dim=1)

def main():
    """Compares outputs and performance of SPP and SPPF on a random tensor (8, 32, 16, 16)."""
    input_tensor = torch.rand(8, 32, 16, 16)
    spp = SPP()
    sppf = SPPF()
    output1 = spp(input_tensor)
    output2 = sppf(input_tensor)

    print(torch.equal(output1, output2))

    t_start = time.time()
    for _ in range(100):
        spp(input_tensor)
    print(f"SPP time: {time.time() - t_start}")

    t_start = time.time()
    for _ in range(100):
        sppf(input_tensor)
    print(f"SPPF time: {time.time() - t_start}")

if __name__ == "__main__":
    main()

结果：

True
SPP time: 0.5373051166534424
SPPF time: 0.20780706405639648

数据增强技术

YOLOv5 采用多种数据增强技术来提高模型的泛化能力并减少过拟合。这些技术包括：

Mosaic Augmentation：这是一种图像处理技术，将四张训练图像组合成一张，旨在促使目标检测模型能够更好地处理各种物体尺度和位移。
Copy-Paste Augmentation：这是一种创新的数据增强方法，它从一张图像中随机复制补丁并粘贴到另一张随机选择的图像上，从而有效地生成一个新的训练样本。
Random Affine Transformations：包括对图像进行随机旋转、缩放、平移和剪切。
MixUp Augmentation：一种通过取两张图像及其相关标签的线性组合来创建合成图像的方法。
Albumentations：一个强大的图像增强库，支持各种各样的增强技术。了解更多关于使用 Albumentations 增强的信息。
HSV Augmentation：对图像的色调 (Hue)、饱和度 (Saturation) 和明度 (Value) 进行随机更改。
Random Horizontal Flip：一种随机水平翻转图像的增强方法。