使用 ClearML 训练 YOLO26:简化你的 MLOps 工作流程#
MLOps 弥合了在现实世界环境中创建和部署 machine learning 模型之间的鸿沟。它专注于高效的部署、可扩展性和持续管理,以确保模型在实际应用中表现良好。
Ultralytics YOLO26 与 ClearML 可以轻松集成,从而简化并增强你的 object detection 模型训练与管理。本指南将引导你完成集成过程,详细介绍如何设置 ClearML、管理实验、自动化模型管理以及进行高效协作。
ClearML#
ClearML 是一个创新的开源 MLOps 平台,专为自动化、监控和编排机器学习工作流而设计。其核心功能包括:自动记录所有训练和推理数据以实现完全的实验可复现性;直观的网络界面,便于进行 data visualization 和分析;先进的超参数 optimization algorithms;以及强大的模型管理,可在各种平台上实现高效部署。
使用 ClearML 进行 YOLO26 训练#
通过将 YOLO26 与 ClearML 集成,你可以为机器学习工作流程带来自动化和效率,从而改善训练过程。
安装#
要安装所需的软件包,请运行:
# Install the required packages for YOLO26 and ClearML
pip install ultralytics clearml有关安装过程的详细说明和最佳实践,请务必查看我们的 YOLO26 Installation guide。在安装 YOLO26 所需的软件包时,如果遇到任何困难,请查阅我们的 Common Issues guide 获取解决方案和提示。
配置 ClearML#
安装必要的软件包后,下一步是初始化并配置你的 ClearML SDK。这涉及设置你的 ClearML 帐户并获取必要的凭据,以实现开发环境与 ClearML 服务器之间的无缝连接。
首先在你的环境中初始化 ClearML SDK。clearml-init 命令会启动设置过程并提示你输入所需的凭据。
# Initialize your ClearML SDK setup process
clearml-init执行此命令后,访问 ClearML Settings page。导航到右上角并选择“Settings”。进入“Workspace”部分并点击“Create new credentials”。根据是在 Jupyter Notebook 还是在本地 Python 环境中配置 ClearML,使用“Create Credentials”弹出窗口中提供的凭据按照说明完成设置。
用法#
在深入了解使用说明之前,请务必查看 YOLO26 models offered by Ultralytics。这将帮助你为你的项目需求选择最合适的模型。
from ultralytics import YOLO
# The callback creates and connects the ClearML task automatically
model = YOLO("yolo26n.pt")
results = model.train(
data="coco8.yaml",
epochs=16,
project="my_project",
name="my_yolo26_task",
)理解代码#
一旦安装并配置好 ClearML,其回调就会默认启用。它会在训练开始时创建一个任务,使用 YOLO 的 project 和 name 参数作为 ClearML 项目和任务名称,并自动连接训练参数。运行 yolo settings clearml=False 可以禁用该集成。有关训练选项和最佳实践,请参阅 YOLO26 Model Training guide。
理解输出#
运行上述使用代码片段后,你可以预期看到以下输出:
- 一条确认消息,指示已创建新的 ClearML 任务,以及其唯一 ID。
- 一条关于正在存储脚本代码的信息性消息,表明代码执行正在由 ClearML 跟踪。
- 指向 ClearML 结果页面的 URL 链接,你可以在其中监控训练进度并查看详细日志。
- YOLO26 模型和指定数据集的下载进度,随后是模型架构和训练配置的摘要。
- 各种训练组件(如 TensorBoard、自动 Mixed Precision (AMP) 和数据集准备)的初始化消息。
- 最后,训练过程开始,随着模型在指定数据集上的训练,会提供进度更新。为了深入理解训练期间使用的性能指标,请阅读our guide on performance metrics。
查看 ClearML 结果页面#
通过点击使用代码片段输出中指向 ClearML 结果页面的 URL 链接,你可以全面查看模型的训练过程。
ClearML 结果页面的主要功能#
-
实时指标跟踪
- 实时跟踪关键指标,例如损失、accuracy 和验证分数。
- 提供即时反馈,以便及时进行模型性能调整。
-
实验比较
- 并排比较不同的训练运行。
- 对于hyperparameter tuning和识别最有效的模型至关重要。
-
详细日志和输出
- 访问全面的日志、指标的图形表示以及控制台输出。
- 更深入地了解模型行为和问题解决过程。
-
资源利用率监控
- 监控计算资源的使用情况,包括 CPU、GPU 和内存。
- 这是优化训练效率和成本的关键。
-
模型制品管理
- 查看、下载并共享模型制品,例如已训练的模型和检查点。
- 增强协作,并简化model deployment和共享。
要直观了解 ClearML 结果页面的外观,请观看下面的视频:
Watch: YOLO26 MLOps Integration using ClearML
ClearML 中的高级功能#
ClearML 提供多项高级功能来增强你的 MLOps 体验。
远程执行#
ClearML 的远程执行功能有助于在不同机器上复现和操作实验。它会记录重要细节,例如已安装的包和未提交的更改。当任务进入队列时,ClearML Agent 会拉取该任务,重建环境并运行实验,最后返回详细的结果。
部署 ClearML Agent 非常简单,可以使用以下命令在各种机器上完成:
clearml-agent daemon --queue QUEUES_TO_LISTEN_TO [--docker]此设置适用于云虚拟机、本地 GPU 或笔记本电脑。ClearML Autoscalers 有助于管理 AWS、GCP 和 Azure 等平台上的云工作负载,自动化代理的部署并根据你的资源预算调整资源。
克隆、编辑和入队#
ClearML 的用户友好界面允许轻松克隆、编辑和对任务进行入队操作。用户可以克隆现有实验,通过 UI 调整参数或其他详细信息,并将任务入队以进行执行。此简化流程确保执行任务的 ClearML Agent 使用更新后的配置,非常适合迭代实验和模型微调。
数据集版本管理#
ClearML 还提供强大的dataset version management功能,可与 YOLO26 训练工作流无缝集成。此功能允许你:
- 将数据集版本与代码分开管理
- 跟踪每个实验所使用的数据集版本
- 轻松访问并下载最新的数据集版本
要为 ClearML 准备数据集,请遵循以下步骤:
-
使用标准 YOLO 结构(图像、标签等)组织你的数据集
-
将对应的 YAML 文件复制到你的数据集文件夹根目录
-
使用 ClearML Data 工具上传你的数据集:
cd your_dataset_folder clearml-data sync --project YOLO26 --name your_dataset_name --folder .
此命令将在 ClearML 中创建一个版本化的数据集,该数据集可以在你的训练脚本中引用,从而确保可重复性并方便访问你的数据。
总结#
本指南引导你完成了将 ClearML 与 Ultralytics YOLO26 集成的过程。从初始设置到高级模型管理,你已经了解了如何利用 ClearML 在机器学习项目中实现高效的训练、实验跟踪和工作流程优化。
有关用法的更多详细信息,请访问 ClearML's official YOLOv8 integration guide,该指南同样适用于 YOLO26 工作流。
此外,通过访问 Ultralytics integration guide page 探索 Ultralytics 的更多集成和功能,这里汇集了丰富的资源和见解。
常见问题解答#
将 Ultralytics YOLO26 与 ClearML 集成涉及一系列步骤,以简化你的 MLOps 工作流程。首先,安装必要的软件包:
pip install ultralytics clearml接下来,使用以下命令在你的环境中初始化 ClearML SDK:
clearml-init然后,你可以使用来自 ClearML Settings page 的凭据来配置 ClearML。有关整个设置过程的详细说明(包括模型选择和训练配置),可以在我们的 YOLO26 Model Training guide 中找到。
将 ClearML 与 Ultralytics YOLO26 配合使用,可以通过自动化实验跟踪、简化工作流以及实现稳健的模型管理来增强你的机器学习项目。ClearML 提供实时指标跟踪、资源利用率监控以及用于比较实验的用户友好界面。这些功能有助于优化模型的性能并使开发过程更高效。在我们的 MLOps Integration guide 中了解有关益处和步骤的更多信息。
如果在将 YOLO26 与 ClearML 集成期间遇到问题,请查阅我们的 Common Issues guide 获取解决方案和提示。常见问题可能涉及包安装错误、凭据设置或配置问题。本指南提供了逐步的故障排除说明,以高效解决这些常见问题。
在
clearml-init之后,像往常一样开始训练。回调会创建 ClearML 任务并自动连接训练参数:from ultralytics import YOLO model = YOLO("yolo26n.pt") results = model.train(data="coco8.yaml", epochs=16, project="my_project", name="my_yolo26_task")YOLO 的
project和name参数将成为 ClearML 项目和任务名称。详情请参阅 Usage guide。在使用 ClearML 运行 YOLO26 训练脚本后,你可以在 ClearML 结果页面上查看结果。输出将包含一个指向 ClearML 仪表板的 URL 链接,你可以在其中跟踪指标、比较实验并监控资源使用情况。有关如何查看和解释结果的更多详细信息,请查看我们关于 Viewing the ClearML Results Page 的部分。