Roboflow Tích hợp
Roboflow cung cấp một bộ công cụ được thiết kế để xây dựng và triển khai các mô hình thị giác máy tính . Bạn có thể tích hợp Roboflow ở nhiều giai đoạn khác nhau của quy trình phát triển bằng cách sử dụng API và SDK của họ hoặc sử dụng giao diện đầu cuối của họ để quản lý quy trình từ thu thập hình ảnh đến suy luận. Roboflow cung cấp các chức năng cho việc gắn nhãn dữ liệu , đào tạo mô hình và triển khai mô hình , cung cấp các thành phần để phát triển các giải pháp thị giác máy tính tùy chỉnh cùng với Ultralytics công cụ.
Cấp phép
Ultralytics cung cấp hai tùy chọn cấp phép để phù hợp với các trường hợp sử dụng khác nhau:
- Giấy phép AGPL-3.0 : Giấy phép nguồn mở được OSI chấp thuận này lý tưởng cho sinh viên và những người đam mê, thúc đẩy sự cộng tác cởi mở và chia sẻ kiến thức. Xem tệp LICENSE để biết thêm chi tiết.
- Giấy phép doanh nghiệp : Được thiết kế cho mục đích thương mại, giấy phép này cho phép tích hợp liền mạch Ultralytics phần mềm và mô hình AI thành các sản phẩm và dịch vụ thương mại. Nếu kịch bản của bạn liên quan đến các ứng dụng thương mại, vui lòng liên hệ qua Ultralytics Licensing .
Để biết thêm chi tiết, hãy xem trang Cấp phép Ultralytics .
Hướng dẫn này trình bày cách tìm, dán nhãn và sắp xếp dữ liệu để đào tạo mô hình Ultralytics YOLO11 tùy chỉnh bằng cách sử dụng Roboflow .
- Thu thập dữ liệu để đào tạo một tùy chỉnh YOLO11 Người mẫu
- Tải lên, chuyển đổi và gắn nhãn dữ liệu cho YOLO11 Định dạng
- Tiền xử lý và tăng cường dữ liệu cho mô hình mạnh mẽ
- Quản lý tập dữ liệu cho YOLO11
- Xuất dữ liệu theo hơn 40 định dạng để đào tạo mô hình
- Tải lên tùy chỉnh YOLO11 Trọng số mô hình cho thử nghiệm và triển khai
- Cách đánh giá YOLO11 Mô hình
- Tài nguyên học tập
- Trình bày dự án
- CÂU HỎI THƯỜNG GẶP
Thu thập dữ liệu để đào tạo một tùy chỉnh YOLO11 Người mẫu
Roboflow cung cấp hai dịch vụ chính để hỗ trợ thu thập dữ liệu cho Ultralytics Mô hình YOLO : Universe và Collect. Để biết thêm thông tin chung về các chiến lược thu thập dữ liệu, hãy tham khảo Hướng dẫn thu thập và chú thích dữ liệu của chúng tôi.
Roboflow Vũ trụ
Roboflow Universe là kho lưu trữ trực tuyến có số lượng lớn các tập dữ liệu về thị giác.
Với một Roboflow tài khoản, bạn có thể xuất các tập dữ liệu có sẵn trên Universe. Để xuất một tập dữ liệu, hãy sử dụng nút "Tải xuống tập dữ liệu này" trên trang tập dữ liệu có liên quan.
Để tương thích với Ultralytics YOLO11 , chọn " YOLO11 " như định dạng xuất:
Vũ trụ cũng có một trang tổng hợp công khai tinh chỉnh YOLO mô hình được tải lên Roboflow . Điều này có thể hữu ích khi khám phá các mô hình được đào tạo trước để thử nghiệm hoặc dán nhãn dữ liệu tự động.
Roboflow Sưu tầm
Nếu bạn thích tự mình thu thập hình ảnh, Roboflow Collect là một dự án nguồn mở cho phép thu thập hình ảnh tự động thông qua webcam trên các thiết bị edge. Bạn có thể sử dụng lời nhắc văn bản hoặc hình ảnh để chỉ định dữ liệu cần thu thập, giúp chỉ chụp những hình ảnh cần thiết cho mô hình tầm nhìn của bạn.
Tải lên, chuyển đổi và gắn nhãn dữ liệu cho YOLO11 Định dạng
Roboflow Annotate là một công cụ trực tuyến để dán nhãn hình ảnh cho nhiều tác vụ thị giác máy tính, bao gồm phát hiện đối tượng , phân loại và phân đoạn .
Để dán nhãn dữ liệu cho một Ultralytics Mô hình YOLO (hỗ trợ phát hiện, phân đoạn trường hợp, phân loại, ước tính tư thế và OBB), bắt đầu bằng cách tạo một dự án trong Roboflow .
Tiếp theo, hãy tải hình ảnh của bạn và bất kỳ chú thích hiện có nào từ các công cụ khác vào Roboflow .
Sau khi tải lên, bạn sẽ được chuyển hướng đến trang Chú thích. Chọn lô hình ảnh đã tải lên và nhấp vào "Bắt đầu chú thích" để bắt đầu dán nhãn.
Công cụ chú thích
- Chú thích hộp giới hạn: Nhấn
Bhoặc nhấp vào biểu tượng hộp. Nhấp và kéo để tạo hộp giới hạn. Một cửa sổ bật lên sẽ nhắc bạn chọn lớp cho chú thích.
- Chú thích đa giác: Được sử dụng cho phân đoạn trường hợp. Nhấn
Phoặc nhấp vào biểu tượng đa giác. Nhấp vào các điểm xung quanh đối tượng để vẽ đa giác.
Trợ lý nhãn ( SAM Tích hợp)
Roboflow tích hợp trợ lý nhãn dựa trên Mô hình phân đoạn bất kỳ ( SAM ) để có khả năng tăng tốc chú thích.
Để sử dụng trợ lý nhãn, hãy nhấp vào biểu tượng con trỏ ở thanh bên. SAM sẽ được kích hoạt cho dự án của bạn.
Di chuột qua một đối tượng và SAM có thể gợi ý chú thích. Nhấp để chấp nhận chú thích. Bạn có thể tinh chỉnh độ cụ thể của chú thích bằng cách nhấp vào bên trong hoặc bên ngoài vùng được gợi ý.
Đánh dấu
Bạn có thể thêm thẻ vào hình ảnh bằng bảng Thẻ trong thanh bên. Thẻ có thể biểu thị các thuộc tính như vị trí, nguồn máy ảnh, v.v. Các thẻ này cho phép bạn tìm kiếm hình ảnh cụ thể và tạo phiên bản tập dữ liệu có chứa hình ảnh với các thẻ cụ thể.
Hỗ trợ nhãn (Dựa trên mô hình)
Các mô hình được lưu trữ trên Roboflow có thể được sử dụng với Label Assist, một công cụ chú thích tự động tận dụng mô hình YOLO11 đã được đào tạo của bạn để đề xuất chú thích. Đầu tiên, hãy tải lên YOLO11 mô hình trọng số để Roboflow (xem hướng dẫn bên dưới). Sau đó, kích hoạt Label Assist bằng cách nhấp vào biểu tượng cây đũa thần ở thanh bên trái và chọn mô hình của bạn.
Chọn mẫu của bạn và nhấp vào "Tiếp tục" để bật Label Assist:
Khi bạn mở hình ảnh mới để chú thích, Label Assist có thể tự động đề xuất chú thích dựa trên dự đoán của mô hình.
Quản lý tập dữ liệu cho YOLO11
Roboflow cung cấp một số công cụ để hiểu và quản lý tập dữ liệu thị giác máy tính của bạn.
Tìm kiếm tập dữ liệu
Sử dụng tìm kiếm tập dữ liệu để tìm hình ảnh dựa trên mô tả văn bản ngữ nghĩa (ví dụ: "tìm tất cả hình ảnh có chứa người") hoặc nhãn/thẻ cụ thể. Truy cập tính năng này bằng cách nhấp vào "Tập dữ liệu" trong thanh bên và sử dụng thanh tìm kiếm và bộ lọc.
Ví dụ: tìm kiếm hình ảnh có người:
Bạn có thể tinh chỉnh tìm kiếm bằng cách sử dụng thẻ thông qua bộ chọn "Thẻ":
Kiểm tra sức khỏe
Trước khi đào tạo, sử dụng Roboflow Kiểm tra sức khỏe để có được thông tin chi tiết về tập dữ liệu của bạn và xác định những cải tiến tiềm năng. Truy cập thông qua liên kết thanh bên "Kiểm tra sức khỏe". Nó cung cấp số liệu thống kê về kích thước hình ảnh, cân bằng lớp, bản đồ nhiệt chú thích và nhiều hơn nữa.
Kiểm tra sức khỏe có thể đề xuất các thay đổi để nâng cao hiệu suất, chẳng hạn như giải quyết tình trạng mất cân bằng lớp được xác định trong tính năng cân bằng lớp. Hiểu được tình trạng sức khỏe của tập dữ liệu là rất quan trọng để đào tạo mô hình hiệu quả.
Tiền xử lý và tăng cường dữ liệu cho mô hình mạnh mẽ
Để xuất dữ liệu của bạn, bạn cần tạo một phiên bản tập dữ liệu, là ảnh chụp nhanh tập dữ liệu của bạn tại một thời điểm cụ thể. Nhấp vào "Phiên bản" trong thanh bên, sau đó "Tạo phiên bản mới". Tại đây, bạn có thể áp dụng các bước xử lý trước và tăng cường dữ liệu để có khả năng tăng cường độ mạnh mẽ của mô hình.
Đối với mỗi lần tăng cường được chọn, một cửa sổ bật lên cho phép bạn tinh chỉnh các thông số của nó như độ sáng. Việc tăng cường thích hợp có thể cải thiện đáng kể khả năng khái quát hóa mô hình, một khái niệm chính được thảo luận trong hướng dẫn mẹo đào tạo mô hình của chúng tôi.
Xuất dữ liệu theo hơn 40 định dạng để đào tạo mô hình
Sau khi phiên bản tập dữ liệu của bạn được tạo, bạn có thể xuất nó theo nhiều định dạng khác nhau phù hợp để đào tạo mô hình. Nhấp vào nút "Xuất tập dữ liệu" trên trang phiên bản.
Chọn " YOLO11 "định dạng để tương thích với Ultralytics đường ống đào tạo. Bây giờ bạn đã sẵn sàng đào tạo mô hình YOLO11 tùy chỉnh của mình. Tham khảo tài liệu chế độ Đào tạo Ultralytics để biết hướng dẫn chi tiết về cách bắt đầu đào tạo với tập dữ liệu đã xuất của bạn.
Tải lên tùy chỉnh YOLO11 Trọng số mô hình cho thử nghiệm và triển khai
Roboflow cung cấp API có khả năng mở rộng cho các mô hình được triển khai và SDK tương thích với các thiết bị như NVIDIA Jetson , Luxonis OAK , Raspberry Pi và GPU -hệ thống dựa trên. Khám phá các tùy chọn triển khai mô hình khác nhau trong hướng dẫn của chúng tôi.
Bạn có thể triển khai YOLO11 mô hình bằng cách tải trọng lượng của chúng lên Roboflow sử dụng một tập lệnh Python đơn giản.
Tạo một cái mới Python tập tin và thêm đoạn mã sau:
import roboflow # install with 'pip install roboflow'
# Log in to Roboflow (requires API key)
roboflow.login()
# Initialize Roboflow client
rf = roboflow.Roboflow()
# Define your workspace and project details
WORKSPACE_ID = "your-workspace-id" # Replace with your actual Workspace ID
PROJECT_ID = "your-project-id" # Replace with your actual Project ID
VERSION = 1 # Replace with your desired dataset version number
MODEL_PATH = "path/to/your/runs/detect/train/" # Replace with the path to your YOLO11 training results directory
# Get project and version
project = rf.workspace(WORKSPACE_ID).project(PROJECT_ID)
dataset = project.version(VERSION)
# Upload model weights for deployment
# Ensure model_path points to the directory containing 'best.pt'
project.version(dataset.version).deploy(
model_type="yolov8", model_path=MODEL_PATH
) # Note: Use "yolov8" as model_type for YOLO11 compatibility in Roboflow deployment
print(f"Model from {MODEL_PATH} uploaded to Roboflow project {PROJECT_ID}, version {VERSION}.")
print("Deployment may take up to 30 minutes.")
Trong mã này, thay thế your-workspace-id, your-project-id, các VERSION số lượng, và MODEL_PATH với các giá trị cụ thể của bạn Roboflow tài khoản, dự án và thư mục kết quả đào tạo tại địa phương. Đảm bảo MODEL_PATH trỏ đúng đến thư mục chứa dữ liệu đã được đào tạo của bạn best.pt tập tin trọng số.
Khi bạn chạy mã ở trên, bạn sẽ được yêu cầu xác thực (thường thông qua khóa API). Sau đó, mô hình của bạn sẽ được tải lên và điểm cuối API sẽ được tạo cho dự án của bạn. Quá trình này có thể mất tới 30 phút để hoàn tất.
Để kiểm tra mô hình của bạn và tìm hướng dẫn triển khai cho các SDK được hỗ trợ, hãy chuyển đến tab "Triển khai" trong Roboflow thanh bên. Ở đầu trang này, một tiện ích sẽ xuất hiện cho phép bạn kiểm tra mô hình của mình bằng webcam hoặc bằng cách tải lên hình ảnh hoặc video.
Mô hình bạn tải lên cũng có thể được sử dụng như một trợ lý dán nhãn, gợi ý chú thích trên hình ảnh mới dựa trên quá trình đào tạo của nó.
Cách đánh giá YOLO11 Mô hình
Roboflow cung cấp các tính năng để đánh giá hiệu suất mô hình. Hiểu được số liệu hiệu suất là rất quan trọng đối với việc lặp lại mô hình.
Sau khi tải lên một mô hình, hãy truy cập công cụ đánh giá mô hình thông qua trang mô hình của bạn trên Roboflow bảng điều khiển. Nhấp vào "Xem Đánh giá Chi tiết".
Công cụ này hiển thị ma trận nhầm lẫn minh họa hiệu suất mô hình và biểu đồ phân tích vectơ tương tác sử dụng nhúng CLIP . Các tính năng này giúp xác định các khu vực cần cải thiện mô hình.
Ma trận nhầm lẫn xuất hiện:
Di chuột qua các ô để xem giá trị và nhấp vào các ô để xem hình ảnh tương ứng với dự đoán của mô hình và dữ liệu thực tế.
Nhấp vào "Phân tích vectơ" để có biểu đồ phân tán trực quan hóa độ tương đồng của hình ảnh dựa trên nhúng CLIP. Hình ảnh gần nhau hơn thì tương tự về mặt ngữ nghĩa. Các chấm biểu thị hình ảnh, được tô màu từ trắng (hiệu suất tốt) đến đỏ (hiệu suất kém).
Phân tích vectơ giúp:
- Xác định cụm hình ảnh.
- Xác định chính xác các cụm mà mô hình hoạt động kém.
- Hiểu được điểm chung giữa các hình ảnh gây ra hiệu suất kém.
Tài nguyên học tập
Khám phá các nguồn tài nguyên này để tìm hiểu thêm về cách sử dụng Roboflow với Ultralytics YOLO11 :
- Đào tạo YOLO11 trên Bộ dữ liệu tùy chỉnh (Colab) : Sổ tay Google Colab tương tác hướng dẫn bạn trong quá trình đào tạo YOLO11 trên dữ liệu của bạn.
- Tài liệu YOLO11 : Tìm hiểu về đào tạo, xuất khẩu và triển khai YOLO11 các mô hình trong Ultralytics khung.
- Blog Ultralytics : Có các bài viết về thị giác máy tính, bao gồm đào tạo YOLO11 và các biện pháp chú thích tốt nhất.
- Kênh YouTube Ultralytics : Cung cấp hướng dẫn video chuyên sâu về các chủ đề về thị giác máy tính, từ đào tạo mô hình đến gắn nhãn và triển khai tự động.
Trình bày dự án
Phản hồi từ người dùng kết hợp Ultralytics YOLO11 Và Roboflow :
CÂU HỎI THƯỜNG GẶP
Những câu hỏi thường gặp
Làm thế nào để tôi dán nhãn dữ liệu cho YOLO11 mô hình sử dụng Roboflow ?
Sử dụng Roboflow Chú thích. Tạo một dự án, tải lên hình ảnh và sử dụng các công cụ chú thích (B vì hộp giới hạn, P đối với đa giác) hoặc SAM - trợ lý nhãn dựa trên để dán nhãn nhanh hơn. Các bước chi tiết có sẵn trong Phần Tải lên, Chuyển đổi và Nhãn dữ liệu.
Những dịch vụ nào Roboflow đề nghị thu thập YOLO11 dữ liệu đào tạo?
Roboflow cung cấp Universe (truy cập vào nhiều tập dữ liệu ) và Collect (thu thập hình ảnh tự động qua webcam). Những thứ này có thể giúp thu thập dữ liệu đào tạo cần thiết cho bạn YOLO11 mô hình, bổ sung các chiến lược được nêu trong Hướng dẫn thu thập dữ liệu của chúng tôi.
Làm thế nào tôi có thể quản lý và phân tích của tôi YOLO11 tập dữ liệu sử dụng Roboflow ?
Sử dụng Roboflow Tìm kiếm tập dữ liệu, gắn thẻ và các tính năng Kiểm tra sức khỏe. Tìm kiếm tìm hình ảnh theo văn bản hoặc thẻ, trong khi Kiểm tra sức khỏe phân tích chất lượng tập dữ liệu (cân bằng lớp, kích thước hình ảnh, v.v.) để hướng dẫn cải tiến trước khi đào tạo. Xem phần Quản lý tập dữ liệu để biết chi tiết.
Làm thế nào để tôi xuất khẩu của tôi YOLO11 tập dữ liệu từ Roboflow ?
Tạo một phiên bản tập dữ liệu trong Roboflow , áp dụng tiền xử lý và tăng cường mong muốn, sau đó nhấp vào "Xuất bộ dữ liệu" và chọn YOLO11 định dạng. Quy trình được nêu trong phần Xuất dữ liệu . Phần này chuẩn bị dữ liệu của bạn để sử dụng với Ultralytics đường ống đào tạo .
Làm thế nào tôi có thể tích hợp và triển khai YOLO11 các mô hình với Roboflow ?
Tải lên đào tạo của bạn YOLO11 trọng lượng để Roboflow sử dụng được cung cấp Python script. Điều này tạo ra một điểm cuối API có thể triển khai. Tham khảo phần Tải lên trọng số tùy chỉnh để biết script và hướng dẫn. Khám phá thêm các tùy chọn triển khai trong tài liệu của chúng tôi.
