Huấn luyện và suy luận trên GPU AMD với Ultralytics YOLO, ROCm và MIGraphX#

Ultralytics YOLO chạy trên GPU AMD Instinct và Radeon được hỗ trợ thông qua ROCm, stack tính toán GPU mở của AMD. Với bản PyTorch được xây dựng cho ROCm, bạn có thể huấn luyện, xác thực và dự đoán bằng model .pt, sử dụng cùng đối số device=0 như trên bất kỳ GPU nào khác mà không cần thay đổi code.

Để triển khai, hãy xuất model đã huấn luyện sang ONNX và chạy model thông qua MIGraphX, engine tối ưu hóa graph và suy luận của AMD. Backend ONNX của Ultralytics phát hiện ROCm và tự động chọn MIGraphXExecutionProvider của ONNX Runtime, vì vậy cùng lệnh predict chạy trên GPU NVIDIA cũng chạy được trên GPU AMD. Các lượt continuous integration theo lịch của Ultralytics thực hiện xuất ONNX và suy luận MIGraphX cho mọi tác vụ trên phần cứng GPU AMD.

Cài đặt#

Stack Python được cài đặt hoàn toàn thông qua pip từ các chỉ mục wheel ROCm của AMD, do đó không cần gói apt hay quyền truy cập root để cài PyTorch, plugin hoặc thư viện runtime ROCm, miễn là máy chủ đã có driver kernel GPU AMD (amdgpu / /dev/kfd).

# Read the GPU architecture from the amdgpu driver, e.g. device-gfx1151
GPU_ARCH=$(grep -rhs '^gfx_target_version' /sys/class/kfd/kfd/topology/nodes | awk '$2 {printf "device-gfx%d%d%x\n", int($2/10000), int($2/100)%100, $2%100}' | sort -u | paste -sd, -)

# ROCm PyTorch + torchvision for the detected architecture
pip install "torch[${GPU_ARCH:?No AMD GPU found}]" "torchvision[$GPU_ARCH]" --index-url https://stable.repo.amd.com/rocm/whl-next/

# Ultralytics
pip install ultralytics

Ultralytics tự động cài onnx trong lần xuất ONNX đầu tiên. Trong lần suy luận ONNX đầu tiên trên hệ thống ROCm, Ultralytics cũng cài plugin MIGraphX execution provider (onnxruntime-ep-migraphx) và các thư viện runtime MIGraphX mà plugin tải (migraphx-libs); các thành phần này được ghim ở những phiên bản đã được kiểm thử cùng nhau. Plugin chỉ được phát hành cho Python 3.11 trở lên trên Linux x86_64; với các phiên bản Python hoặc kiến trúc khác, hoặc khi dùng YOLO_AUTOINSTALL=false mà chưa cài plugin, suy luận ONNX sẽ chuyển về CPU kèm cảnh báo. Để xem hướng dẫn chi tiết và các phương pháp tốt nhất, hãy tham khảo hướng dẫn cài đặt YOLO26; nếu gặp khó khăn, hãy xem hướng dẫn Các vấn đề thường gặp.

Xác minh PyTorch nhận diện GPU AMD trước khi huấn luyện hoặc xuất model:

import torch

print(torch.cuda.is_available())  # Đúng nếu cài đặt ROCm hoạt động
print(torch.cuda.get_device_name(0))  # Tên GPU AMD, ví dụ AMD Radeon 8060S
print(torch.version.hip)  # Phiên bản HIP của bản PyTorch ROCm; là None với bản CUDA hoặc CPU

Huấn luyện trên GPU AMD bằng PyTorch ROCm#

Quy trình huấn luyện, xác thực và dự đoán gốc trên model .pt chạy trên GPU AMD thông qua PyTorch ROCm, độc lập với quy trình suy luận MIGraphX bên dưới. Cài bản PyTorch ROCm như hướng dẫn trong mục Cài đặt và sử dụng cùng các đối số thiết bị như khi chạy bất kỳ phiên huấn luyện Ultralytics nào khác:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# Huấn luyện trên GPU AMD đầu tiên được PyTorch ROCm hiển thị
results = model.train(data="coco8.yaml", epochs=100, imgsz=640, device=0)

# Huấn luyện trên hai GPU AMD
results = model.train(data="coco8.yaml", epochs=100, imgsz=640, device=[0, 1])

Xác thực và dự đoán trên model .pt sử dụng cùng cách chọn thiết bị:

yolo detect val model=path/to/best.pt data=coco8.yaml device=0
yolo predict model=path/to/best.pt source=path/to/image.jpg device=0

yolo detect train data=coco8.yaml model=yolo26n.pt device=0 amp=False

Xuất và suy luận với MIGraphX#

ONNX Runtime là engine suy luận đa nền tảng, có thể chạy một model ONNX trên nhiều backend phần cứng thông qua các execution provider (EP) có thể cắm thêm. Mỗi EP ánh xạ graph ONNX lên một bộ tăng tốc cụ thể: CUDA cho GPU NVIDIA, CoreML cho Apple silicon và MIGraphX cho GPU AMD chạy ROCm. MIGraphX được phân phối dưới dạng plugin onnxruntime-ep-migraphx và biên dịch graph thành chương trình được tối ưu cho GPU của bạn.

Suy luận MIGraphX sử dụng xuất ONNX tiêu chuẩn. Xuất model sang ONNX (format="onnx"), sau đó suy luận Ultralytics sẽ tự động dùng backend MIGraphXExecutionProvider để chạy model ONNX trên GPU AMD của bạn.

Các tính năng chính của suy luận MIGraphX#

• Tự động chọn provider: Trên máy chủ ROCm, backend ONNX đăng ký plugin và chọn MIGraphXExecutionProvider mà không cần thay đổi code. Nếu thiếu plugin hoặc plugin không tải được, quá trình suy luận sẽ chuyển về CPU kèm cảnh báo.
• Tối ưu hóa graph: MIGraphX áp dụng hợp nhất toán tử, hoạch định bộ nhớ và lựa chọn kernel được tối ưu cho kiến trúc GPU AMD.
• Liên kết IO không sao chép: Đầu vào và đầu ra được liên kết trực tiếp với tensor GPU thông qua giao thức DLPack, tránh việc truyền dữ liệu qua host trong quá trình suy luận.
• Tùy chọn độ chính xác: Chạy FP32 hoặc xuất model ONNX FP16 để suy luận với độ chính xác thấp hơn.
• Artifact có tính di động: Một file .onnx duy nhất có thể chạy trên CPU, GPU NVIDIA và GPU AMD, cho phép nhắm đến nhiều nền tảng từ cùng một bản xuất.
• Triển khai có thể tái lập: Toàn bộ stack (PyTorch ROCm, plugin MIGraphX và các thư viện của plugin) được cài đặt qua pip từ các chỉ mục wheel ROCm của AMD.

Các tác vụ được hỗ trợ#

Suy luận MIGraphX hỗ trợ cả bảy tác vụ của Ultralytics. Phân đoạn ngữ nghĩa và ước tính độ sâu chỉ khả dụng với YOLO26, dòng model duy nhất có các head này.

Cách sử dụng#

Trước khi tìm hiểu hướng dẫn sử dụng, hãy xem qua các model YOLO26 do Ultralytics cung cấp. Điều này sẽ giúp bạn chọn model phù hợp nhất với yêu cầu dự án.

Định dạng ONNX hỗ trợ các chế độ Xuất, Dự đoán và Xác thực. Để suy luận và xác thực trên GPU AMD, cần có hệ thống ROCm đã cài plugin MIGraphX. Xuất model, sau đó tải model đã xuất để chạy suy luận hoặc xác thực độ chính xác trên device=0.

from ultralytics import YOLO

# Nạp model YOLO26
model = YOLO("yolo26n.pt")

# # Xuất model sang định dạng ONNX
model.export(format="onnx")  # tạo 'yolo26n.onnx'

from ultralytics import YOLO

# Nạp model ONNX đã xuất và chạy suy luận trên GPU AMD
model = YOLO("yolo26n.onnx")

# Execution provider MIGraphX được tự động chọn trên ROCm
results = model.predict("https://ultralytics.com/images/bus.jpg", device=0)

from ultralytics import YOLO

# Nạp model ONNX đã xuất
model = YOLO("yolo26n.onnx")

# Xác thực độ chính xác trên tập dữ liệu COCO8 bằng GPU AMD
metrics = model.val(data="coco8.yaml", device=0)

Các tham số xuất model#

Quá trình suy luận MIGraphX sử dụng lại các tham số xuất ONNX. Các tùy chọn phù hợp nhất cho việc triển khai trên GPU AMD là:

Để xem danh sách đầy đủ các tham số xuất, hãy tham khảo tích hợp ONNX và trang tài liệu Ultralytics về xuất model.

Triển khai trên GPU AMD bằng MIGraphX#

Để có môi trường sẵn sàng chạy, Dockerfile-amd tạo image ultralytics/ultralytics:latest-amd với ROCm PyTorch và MIGraphX EP được cài đặt sẵn. Xem mục Sử dụng GPU trong Docker Quickstart để biết các flag docker run giúp cấp quyền truy cập GPU AMD cho container.

Benchmark#

Các benchmark YOLO26 dưới đây do nhóm Ultralytics thực hiện trên GPU AMD Radeon 8060S (Ryzen AI Max+ PRO 395), so sánh tốc độ và độ chính xác giữa PyTorch và ONNX trên execution provider MIGraphX. Cả hai định dạng đều chạy trên GPU với độ chính xác FP32: PyTorch thông qua ROCm và ONNX thông qua MIGraphX.

Tổng quan về hỗ trợ#

Việc hỗ trợ một sản phẩm hoặc runtime AMD không đồng nghĩa với việc hỗ trợ mọi bộ tăng tốc AMD. Bảng này tóm tắt trạng thái hiện tại trong package Python của Ultralytics.

Tóm tắt#

Trong hướng dẫn này, bạn đã tìm hiểu cách huấn luyện model Ultralytics YOLO26 trên GPU AMD bằng PyTorch ROCm với tham số device=0 tiêu chuẩn, sau đó xuất model sang ONNX để tăng tốc suy luận thông qua ONNX Runtime MIGraphX execution provider. Backend ONNX tự động chọn MIGraphXExecutionProvider, lưu bộ nhớ đệm chương trình đã biên dịch để tăng tốc các lần tải tiếp theo và hỗ trợ mọi tác vụ YOLO26 mà không cần thay đổi code.

Để xem các mục tiêu triển khai khác, hãy duyệt qua trang hướng dẫn tích hợp và so sánh các định dạng xuất bằng chế độ Benchmark.

Câu hỏi thường gặp#