Tích hợp Roboflow

Roboflow cung cấp một bộ công cụ được thiết kế để xây dựng và triển khai các mô hình thị giác máy tính. Bạn có thể tích hợp Roboflow ở nhiều giai đoạn khác nhau trong quy trình phát triển của mình bằng cách sử dụng API và SDK của họ, hoặc sử dụng giao diện end-to-end của nó để quản lý quy trình từ thu thập hình ảnh đến suy luận. Roboflow cung cấp các chức năng để gán nhãn dữ liệu, huấn luyện mô hình và triển khai mô hình, cung cấp các thành phần để phát triển các giải pháp thị giác máy tính tùy chỉnh cùng với các công cụ của Ultralytics.

Hướng dẫn này trình bày cách tìm, gắn nhãn và sắp xếp dữ liệu để huấn luyện mô hình Ultralytics YOLO11 tùy chỉnh bằng Roboflow.

• Thu thập Dữ liệu để Huấn luyện Mô hình YOLO11 Tùy chỉnh
• Tải lên, Chuyển đổi và Gán nhãn Dữ liệu cho Định dạng YOLO11
• Tiền xử lý và tăng cường dữ liệu để mô hình mạnh mẽ hơn
• Quản lý bộ dữ liệu cho YOLO11
• Xuất dữ liệu ở hơn 40 định dạng để huấn luyện mô hình
• Tải lên Trọng số Mô hình YOLO11 Tùy chỉnh để Kiểm tra và Triển khai
• Cách Đánh Giá Các Mô Hình YOLO11
• Tài Nguyên Học Tập
• Giới thiệu dự án
• Câu hỏi thường gặp

Thu thập Dữ liệu để Huấn luyện Mô hình YOLO11 Tùy chỉnh

Roboflow cung cấp hai dịch vụ chính để hỗ trợ thu thập dữ liệu cho các mô hình Ultralytics YOLO: Universe và Collect. Để biết thêm thông tin chung về các chiến lược thu thập dữ liệu, hãy tham khảo Hướng dẫn Chú thích và Thu thập Dữ liệu của chúng tôi.

Roboflow Universe

Roboflow Universe là một kho lưu trữ trực tuyến có nhiều bộ dữ liệu thị giác.

Với tài khoản Roboflow, bạn có thể xuất các bộ dữ liệu có sẵn trên Universe. Để xuất một bộ dữ liệu, hãy sử dụng nút "Download this Dataset" (Tải xuống bộ dữ liệu này) trên trang bộ dữ liệu liên quan.

Để tương thích với Ultralytics YOLO11, hãy chọn "YOLO11" làm định dạng xuất:

Universe cũng có một trang tổng hợp các mô hình YOLO đã được tinh chỉnh công khai được tải lên Roboflow. Điều này có thể hữu ích cho việc khám phá các mô hình được đào tạo trước để thử nghiệm hoặc gắn nhãn dữ liệu tự động.

Roboflow Collect

Nếu bạn muốn tự thu thập hình ảnh, Roboflow Collect là một dự án mã nguồn mở cho phép thu thập hình ảnh tự động thông qua webcam trên các thiết bị biên. Bạn có thể sử dụng văn bản hoặc hình ảnh để chỉ định dữ liệu cần thu thập, giúp thu thập chỉ những hình ảnh cần thiết cho mô hình thị giác của bạn.

Tải lên, Chuyển đổi và Gán nhãn Dữ liệu cho Định dạng YOLO11

Roboflow Annotate là một công cụ trực tuyến để gắn nhãn hình ảnh cho các tác vụ thị giác máy tính khác nhau, bao gồm phát hiện đối tượng, phân loại và phân đoạn.

Để gắn nhãn dữ liệu cho một mô hình Ultralytics YOLO (hỗ trợ phát hiện, phân đoạn thể hiện, phân loại, ước tính tư thế và OBB), hãy bắt đầu bằng cách tạo một dự án trong Roboflow.

Tiếp theo, tải lên hình ảnh của bạn và mọi chú thích hiện có từ các công cụ khác vào Roboflow.

Sau khi tải lên, bạn sẽ được chuyển đến trang Chú thích. Chọn lô hình ảnh đã tải lên và nhấp vào "Bắt đầu Chú thích" để bắt đầu gắn nhãn.

Công cụ chú thích

• Chú thích Hộp giới hạn: Nhấn B hoặc nhấp vào biểu tượng hộp. Nhấp và kéo để tạo hộp giới hạn. Một cửa sổ bật lên sẽ nhắc bạn chọn một lớp cho chú thích.

• Chú thích đa giác: Được sử dụng cho phân vùng thể hiện. Nhấn P hoặc nhấp vào biểu tượng đa giác. Nhấp vào các điểm xung quanh đối tượng để vẽ đa giác.

Trợ lý Gán nhãn (Tích hợp SAM)

Roboflow tích hợp một trình hỗ trợ gắn nhãn dựa trên Segment Anything Model (SAM) để có khả năng tăng tốc độ chú thích.

Để sử dụng trợ lý dán nhãn, hãy nhấp vào biểu tượng con trỏ ở thanh bên. SAM sẽ được bật cho dự án của bạn.

Di chuột qua một đối tượng và SAM có thể đề xuất một chú thích. Nhấp để chấp nhận chú thích. Bạn có thể tinh chỉnh tính đặc hiệu của chú thích bằng cách nhấp vào bên trong hoặc bên ngoài khu vực được đề xuất.

Gắn thẻ

Bạn có thể thêm thẻ vào hình ảnh bằng cách sử dụng bảng Tags (Thẻ) ở thanh bên. Các thẻ có thể đại diện cho các thuộc tính như vị trí, nguồn camera, v.v. Các thẻ này cho phép bạn tìm kiếm các hình ảnh cụ thể và tạo các phiên bản tập dữ liệu chứa các hình ảnh có các thẻ cụ thể.

Hỗ trợ Gán nhãn (Dựa trên mô hình)

Các mô hình được lưu trữ trên Roboflow có thể được sử dụng với Label Assist, một công cụ chú thích tự động tận dụng mô hình YOLO11 đã huấn luyện của bạn để đề xuất các chú thích. Đầu tiên, tải lên trọng số mô hình YOLO11 của bạn lên Roboflow (xem hướng dẫn bên dưới). Sau đó, kích hoạt Label Assist bằng cách nhấp vào biểu tượng cây đũa thần ở thanh bên trái và chọn mô hình của bạn.

Chọn mô hình của bạn và nhấp vào "Tiếp tục" để bật Hỗ trợ Gắn nhãn:

Khi bạn mở hình ảnh mới để chú thích, Label Assist có thể tự động đề xuất các chú thích dựa trên dự đoán của mô hình của bạn.

Quản lý bộ dữ liệu cho YOLO11

Roboflow cung cấp một số công cụ để hiểu và quản lý bộ dữ liệu thị giác máy tính của bạn.

Tìm Kiếm Tập Dữ Liệu

Sử dụng tìm kiếm bộ dữ liệu để tìm hình ảnh dựa trên mô tả văn bản ngữ nghĩa (ví dụ: "tìm tất cả hình ảnh chứa người") hoặc các nhãn/thẻ cụ thể. Truy cập tính năng này bằng cách nhấp vào "Dataset" trong thanh bên và sử dụng thanh tìm kiếm và bộ lọc.

Ví dụ: tìm kiếm hình ảnh có chứa người:

Bạn có thể tinh chỉnh tìm kiếm bằng cách sử dụng các tag thông qua bộ chọn "Tags":

Kiểm tra sức khỏe

Trước khi huấn luyện, hãy sử dụng Roboflow Health Check để hiểu rõ hơn về bộ dữ liệu của bạn và xác định các cải tiến tiềm năng. Truy cập thông qua liên kết bên trong thanh bên "Health Check". Nó cung cấp số liệu thống kê về kích thước hình ảnh, sự cân bằng lớp, bản đồ nhiệt chú thích và hơn thế nữa.

Kiểm tra sức khỏe có thể đề xuất các thay đổi để tăng cường hiệu suất, chẳng hạn như giải quyết sự mất cân bằng lớp được xác định trong tính năng cân bằng lớp. Hiểu rõ tình trạng bộ dữ liệu là rất quan trọng để huấn luyện mô hình hiệu quả.

Tiền xử lý và tăng cường dữ liệu để mô hình mạnh mẽ hơn

Để xuất dữ liệu của bạn, bạn cần tạo một phiên bản bộ dữ liệu, là một bản chụp nhanh của bộ dữ liệu của bạn tại một thời điểm cụ thể. Nhấp vào "Versions" trong thanh bên, sau đó "Create New Version"." Tại đây, bạn có thể áp dụng các bước tiền xử lý và tăng cường dữ liệu để có khả năng tăng cường độ mạnh mẽ của mô hình.

Đối với mỗi loại tăng cường dữ liệu được chọn, một cửa sổ bật lên cho phép bạn tinh chỉnh các tham số của nó, chẳng hạn như độ sáng. Tăng cường dữ liệu phù hợp có thể cải thiện đáng kể khả năng khái quát hóa của mô hình, một khái niệm quan trọng được thảo luận trong hướng dẫn các mẹo đào tạo mô hình của chúng tôi.

Xuất dữ liệu ở hơn 40 định dạng để huấn luyện mô hình

Sau khi phiên bản bộ dữ liệu của bạn được tạo, bạn có thể xuất nó ở nhiều định dạng khác nhau phù hợp cho việc huấn luyện mô hình. Nhấp vào nút "Export Dataset" (Xuất Bộ dữ liệu) trên trang phiên bản.

Chọn định dạng "YOLO11" để tương thích với quy trình huấn luyện của Ultralytics. Bây giờ bạn đã sẵn sàng huấn luyện mô hình YOLO11 tùy chỉnh của mình. Tham khảo tài liệu về chế độ Huấn luyện của Ultralytics để biết hướng dẫn chi tiết về cách bắt đầu huấn luyện với bộ dữ liệu đã xuất của bạn.

Tải lên Trọng số Mô hình YOLO11 Tùy chỉnh để Kiểm tra và Triển khai

Roboflow cung cấp một API có khả năng mở rộng cho các mô hình đã triển khai và SDK tương thích với các thiết bị như NVIDIA Jetson, Luxonis OAK, Raspberry Pi và các hệ thống dựa trên GPU. Khám phá các tùy chọn triển khai mô hình khác nhau trong hướng dẫn của chúng tôi.

Bạn có thể triển khai các model YOLO11 bằng cách tải trọng số của chúng lên Roboflow bằng một script Python đơn giản.

Tạo một tệp Python mới và thêm đoạn mã sau:

import roboflow  # install with 'pip install roboflow'

# Log in to Roboflow (requires API key)
roboflow.login()

# Initialize Roboflow client
rf = roboflow.Roboflow()

# Define your workspace and project details
WORKSPACE_ID = "your-workspace-id"  # Replace with your actual Workspace ID
PROJECT_ID = "your-project-id"  # Replace with your actual Project ID
VERSION = 1  # Replace with your desired dataset version number
MODEL_PATH = "path/to/your/runs/detect/train/"  # Replace with the path to your YOLO11 training results directory

# Get project and version
project = rf.workspace(WORKSPACE_ID).project(PROJECT_ID)
dataset = project.version(VERSION)

# Upload model weights for deployment
# Ensure model_path points to the directory containing 'best.pt'
project.version(dataset.version).deploy(
    model_type="yolov8", model_path=MODEL_PATH
)  # Note: Use "yolov8" as model_type for YOLO11 compatibility in Roboflow deployment

print(f"Model from {MODEL_PATH} uploaded to Roboflow project {PROJECT_ID}, version {VERSION}.")
print("Deployment may take up to 30 minutes.")

Trong đoạn code này, hãy thay thế your-workspace-id, your-project-id, hàm VERSION số và MODEL_PATH với các giá trị cụ thể cho tài khoản Roboflow, dự án và thư mục kết quả huấn luyện cục bộ của bạn. Đảm bảo rằng MODEL_PATH trỏ chính xác đến thư mục chứa best.pt tệp trọng số.

Khi bạn chạy đoạn mã trên, bạn sẽ được yêu cầu xác thực (thường là thông qua khóa API). Sau đó, mô hình của bạn sẽ được tải lên và một điểm cuối API sẽ được tạo cho dự án của bạn. Quá trình này có thể mất đến 30 phút để hoàn thành.

Để kiểm tra mô hình của bạn và tìm hướng dẫn triển khai cho các SDK được hỗ trợ, hãy chuyển đến tab "Deploy" trong thanh bên Roboflow. Ở đầu trang này, một tiện ích sẽ xuất hiện cho phép bạn kiểm tra mô hình của mình bằng webcam hoặc bằng cách tải lên hình ảnh hoặc video.

Mô hình bạn tải lên cũng có thể được sử dụng làm trợ lý dán nhãn, đề xuất các chú thích trên hình ảnh mới dựa trên quá trình huấn luyện của nó.

Cách Đánh Giá Các Mô Hình YOLO11

Roboflow cung cấp các tính năng để đánh giá hiệu suất mô hình. Hiểu các chỉ số hiệu suất là rất quan trọng để lặp lại mô hình.

Sau khi tải lên một mô hình, hãy truy cập công cụ đánh giá mô hình thông qua trang mô hình của bạn trên bảng điều khiển Roboflow. Nhấp vào "Xem Đánh giá Chi tiết".

Công cụ này hiển thị ma trận nhầm lẫn minh họa hiệu suất của mô hình và biểu đồ phân tích vector tương tác bằng cách sử dụng các lớp nhúng CLIP. Các tính năng này giúp xác định các lĩnh vực cần cải thiện mô hình.

Cửa sổ bật lên ma trận nhầm lẫn:

Di chuột qua các ô để xem giá trị và nhấp vào các ô để xem hình ảnh tương ứng với các dự đoán mô hình và dữ liệu ground truth.

Nhấp vào "Phân tích Vector" để có biểu đồ phân tán trực quan hóa sự tương đồng của hình ảnh dựa trên các embedding CLIP. Các hình ảnh gần nhau hơn thì tương tự về mặt ngữ nghĩa. Các dấu chấm đại diện cho hình ảnh, được tô màu từ trắng (hiệu suất tốt) đến đỏ (hiệu suất kém).

Phân tích Vector giúp:

• Xác định các cụm ảnh.
• Xác định chính xác các cụm mà mô hình hoạt động kém.
• Hiểu rõ những điểm chung giữa các hình ảnh gây ra hiệu suất kém.

Tài Nguyên Học Tập

Khám phá các tài nguyên này để tìm hiểu thêm về cách sử dụng Roboflow với Ultralytics YOLO11:

• Huấn luyện YOLO11 trên một bộ dữ liệu tùy chỉnh (Colab): Một sổ tay Google Colab tương tác hướng dẫn bạn huấn luyện YOLO11 trên dữ liệu của mình.
• Tài liệu YOLO11: Tìm hiểu về huấn luyện, xuất và triển khai các mô hình YOLO11 trong framework Ultralytics.
• Blog của Ultralytics: Các bài viết nổi bật về thị giác máy tính, bao gồm huấn luyện YOLO11 và các phương pháp hay nhất để chú thích.
• Kênh YouTube của Ultralytics: Cung cấp các video hướng dẫn chuyên sâu về các chủ đề thị giác máy tính, từ huấn luyện mô hình đến gắn nhãn tự động và triển khai.

Giới thiệu dự án

Phản hồi từ người dùng khi kết hợp Ultralytics YOLO11 và Roboflow:

Câu hỏi thường gặp

Các câu hỏi thường gặp

Làm cách nào để gắn nhãn dữ liệu cho các mô hình YOLO11 bằng Roboflow?

Sử dụng Roboflow Annotate. Tạo một dự án, tải lên hình ảnh và sử dụng các công cụ chú thích (B cho các hộp giới hạn, P cho đa giác) hoặc trợ lý dán nhãn dựa trên SAM để dán nhãn nhanh hơn. Các bước chi tiết có sẵn trong Phần Tải lên, Chuyển đổi và Gán nhãn Dữ liệu.

Roboflow cung cấp những dịch vụ nào để thu thập dữ liệu huấn luyện YOLO11?

Roboflow cung cấp Universe (truy cập vào vô số bộ dữ liệu) và Collect (thu thập hình ảnh tự động qua webcam). Chúng có thể giúp thu thập dữ liệu huấn luyện cần thiết cho mô hình YOLO11 của bạn, bổ sung cho các chiến lược được nêu trong Hướng dẫn Thu thập Dữ liệu của chúng tôi.

Làm thế nào để quản lý và phân tích bộ dữ liệu YOLO11 của tôi bằng Roboflow?

Sử dụng các tính năng tìm kiếm, gắn thẻ và kiểm tra chất lượng (Health Check) bộ dữ liệu của Roboflow. Chức năng tìm kiếm giúp tìm ảnh bằng văn bản hoặc thẻ, trong khi Health Check phân tích chất lượng bộ dữ liệu (cân bằng lớp, kích thước ảnh, v.v.) để hướng dẫn cải thiện trước khi huấn luyện. Xem phần Quản lý bộ dữ liệu để biết chi tiết.

Làm cách nào để xuất bộ dữ liệu YOLO11 của tôi từ Roboflow?

Tạo một phiên bản bộ dữ liệu trong Roboflow, áp dụng các bước tiền xử lý và tăng cường dữ liệu mong muốn, sau đó nhấp vào "Xuất Bộ dữ liệu" và chọn định dạng YOLO11. Quy trình này được trình bày trong phần Xuất Dữ liệu. Điều này chuẩn bị dữ liệu của bạn để sử dụng với quy trình huấn luyện Ultralytics.

Làm thế nào để tích hợp và triển khai các mô hình YOLO11 với Roboflow?

Tải lên trọng số YOLO11 đã huấn luyện của bạn lên Roboflow bằng cách sử dụng script Python được cung cấp. Thao tác này tạo ra một điểm cuối API có thể triển khai. Tham khảo phần Tải lên Trọng số Tùy chỉnh để biết script và hướng dẫn. Tìm hiểu thêm về các tùy chọn triển khai trong tài liệu của chúng tôi.

📅 Đã tạo 1 năm trước ✏️ Cập nhật 5 tháng trước

Bình luận