Roboflow

Roboflow có mọi thứ bạn cần để xây dựng và triển khai các mô hình thị giác máy tính. Kết nối Roboflow ở bất kỳ bước nào trong quy trình của bạn với API và SDK hoặc sử dụng giao diện đầu cuối để tự động hóa toàn bộ quy trình từ hình ảnh đến suy luận. Cho dù bạn đang cần gắn nhãn dữ liệu, đào tạo mô hình hay triển khai mô hình, Roboflow Cung cấp cho bạn các khối xây dựng để mang lại các giải pháp thị giác máy tính tùy chỉnh cho dự án của bạn.

Trong hướng dẫn này, chúng tôi sẽ giới thiệu cách tìm, gắn nhãn và sắp xếp dữ liệu để sử dụng trong đào tạo tùy chỉnh Ultralytics YOLOv8 mẫu. Sử dụng mục lục bên dưới để chuyển trực tiếp đến một phần cụ thể:

• Thu thập dữ liệu để đào tạo một tùy chỉnh YOLOv8 mẫu
• Tải lên, chuyển đổi và gắn nhãn dữ liệu cho YOLOv8 định dạng
• Tiền xử lý và tăng cường dữ liệu để đảm bảo tính mạnh mẽ của mô hình
• Quản lý tập dữ liệu cho YOLOv8
• Xuất dữ liệu ở định dạng 40+ để đào tạo mô hình
• Tải lên tùy chỉnh YOLOv8 Mô hình trọng số để thử nghiệm và triển khai
• Thu thập dữ liệu để đào tạo một tùy chỉnh YOLOv8 Mẫu

Roboflow cung cấp hai dịch vụ có thể giúp bạn thu thập dữ liệu cho YOLOv8 mô hình: Vũ trụ và Thu thập.

Vũ trụ là một kho lưu trữ trực tuyến với hơn 250.000 bộ dữ liệu tầm nhìn với tổng số hơn 100 triệu hình ảnh.

Với một tự do Roboflow tài khoản, bạn có thể xuất bất kỳ tập dữ liệu nào có sẵn trên Vũ trụ. Để xuất tập dữ liệu, hãy nhấp vào nút "Tải xuống tập dữ liệu này" trên bất kỳ tập dữ liệu nào.

Cho YOLOv8, chọn "YOLOv8" như định dạng xuất:

Vũ trụ cũng có một trang tổng hợp tất cả tinh chỉnh công khai YOLOv8 Mô hình được tải lên Roboflow. Bạn có thể sử dụng trang này để khám phá các mô hình được đào tạo trước mà bạn có thể sử dụng để thử nghiệm hoặc gắn nhãn dữ liệu tự động hoặc để tạo nguyên mẫu Roboflow suy luận.

Nếu bạn muốn tự thu thập hình ảnh, hãy thử Collect, một dự án mã nguồn mở cho phép bạn tự động thu thập hình ảnh bằng webcam ở rìa. Bạn có thể sử dụng lời nhắc bằng văn bản hoặc hình ảnh với Thu thập để hướng dẫn dữ liệu nào cần được thu thập, cho phép bạn chỉ nắm bắt dữ liệu hữu ích mà bạn cần để xây dựng mô hình tầm nhìn của mình.

Tải lên, chuyển đổi và gắn nhãn dữ liệu cho YOLOv8 Định dạng

Roboflow Chú thích là một công cụ chú thích trực tuyến để sử dụng trong việc gắn nhãn hình ảnh để phát hiện, phân loại và phân đoạn đối tượng.

Để gắn nhãn dữ liệu cho một YOLOv8 Phát hiện đối tượng, phân đoạn phiên bản hoặc mô hình phân loại, trước tiên hãy tạo một dự án trong Roboflow.

Tiếp theo, tải lên hình ảnh của bạn và bất kỳ chú thích nào có sẵn mà bạn có từ các công cụ khác (sử dụng một trong 40+ định dạng nhập được hỗ trợ), vào Roboflow.

Chọn hàng loạt hình ảnh bạn đã tải lên trên trang Chú thích mà bạn được chụp sau khi tải lên hình ảnh. Sau đó, nhấp vào "Bắt đầu chú thích" để gắn nhãn hình ảnh.

Để gắn nhãn bằng hộp giới hạn, hãy nhấn nút B trên bàn phím hoặc bấm vào biểu tượng hộp trong thanh bên. Nhấp vào một điểm mà bạn muốn bắt đầu hộp giới hạn của mình, sau đó kéo để tạo hộp:

Một cửa sổ bật lên sẽ xuất hiện yêu cầu bạn chọn một lớp cho chú thích của mình sau khi bạn đã tạo chú thích.

Để gắn nhãn bằng đa giác, hãy nhấn nút P trên bàn phím hoặc biểu tượng đa giác trong thanh bên. Với công cụ chú thích đa giác được bật, hãy nhấp vào các điểm riêng lẻ trong hình ảnh để vẽ đa giác.

Roboflow cung cấp một SAM-dựa trên trợ lý nhãn mà bạn có thể gắn nhãn hình ảnh nhanh hơn bao giờ hết. SAM (Mô hình phân đoạn bất cứ điều gì) là một mô hình thị giác máy tính hiện đại có thể gắn nhãn chính xác cho hình ảnh. Với SAM, bạn có thể tăng tốc đáng kể quá trình ghi nhãn hình ảnh. Chú thích hình ảnh bằng đa giác trở nên đơn giản như một vài cú nhấp chuột, thay vì quá trình tẻ nhạt để nhấp chính xác các điểm xung quanh một đối tượng.

Để sử dụng trợ lý nhãn, hãy nhấp vào biểu tượng con trỏ trong thanh bên, SAM sẽ được tải để sử dụng trong dự án của bạn.

Di chuột qua bất kỳ đối tượng nào trong hình ảnh và SAM sẽ đề xuất một chú thích. Bạn có thể di chuột để tìm đúng nơi cần chú thích, sau đó nhấp để tạo chú thích. Để sửa đổi chú thích của bạn cụ thể hơn hoặc ít hơn, bạn có thể nhấp vào bên trong hoặc bên ngoài chú thích SAM đã tạo trên tài liệu.

Bạn cũng có thể thêm thẻ vào hình ảnh từ bảng Thẻ trong thanh bên. Bạn có thể áp dụng thẻ cho dữ liệu từ một khu vực cụ thể, được chụp từ một máy ảnh cụ thể và hơn thế nữa. Sau đó, bạn có thể sử dụng các thẻ này để tìm kiếm thông qua dữ liệu cho hình ảnh khớp với thẻ và tạo phiên bản của tập dữ liệu với hình ảnh chứa một thẻ hoặc tập hợp thẻ cụ thể.

Mô hình được lưu trữ trên Roboflow có thể được sử dụng với Label Assist, một công cụ chú thích tự động sử dụng YOLOv8 mô hình để đề xuất chú thích. Để sử dụng Label Assist, trước tiên hãy tải lên một YOLOv8 Mô hình để Roboflow (xem hướng dẫn sau trong hướng dẫn). Sau đó, nhấp vào biểu tượng cây đũa thần ở thanh bên trái và chọn kiểu máy của bạn để sử dụng trong Label Assist.

Chọn một kiểu máy, sau đó nhấp vào "Tiếp tục" để bật Hỗ trợ nhãn:

Khi bạn mở hình ảnh mới để chú thích, Label Assist sẽ kích hoạt và đề xuất chú thích.

Quản lý tập dữ liệu cho YOLOv8

Roboflow Cung cấp một bộ công cụ để hiểu các bộ dữ liệu thị giác máy tính.

Trước tiên, bạn có thể sử dụng tìm kiếm tập dữ liệu để tìm hình ảnh đáp ứng mô tả văn bản ngữ nghĩa (tức là tìm tất cả hình ảnh có chứa người) hoặc đáp ứng một nhãn được chỉ định (tức là hình ảnh được liên kết với một thẻ cụ thể). Để sử dụng tìm kiếm tập dữ liệu, hãy nhấp vào "Tập dữ liệu" trong thanh bên. Sau đó, nhập truy vấn tìm kiếm bằng thanh tìm kiếm và các bộ lọc liên quan ở đầu trang.

Ví dụ: truy vấn văn bản sau đây tìm hình ảnh có chứa người trong tập dữ liệu:

Bạn có thể thu hẹp tìm kiếm của mình thành hình ảnh có thẻ cụ thể bằng cách sử dụng bộ chọn "Thẻ":

Trước khi bạn bắt đầu đào tạo một mô hình với tập dữ liệu của mình, chúng tôi khuyên bạn nên sử dụng Roboflow Kiểm tra sức khỏe, một công cụ web cung cấp cái nhìn sâu sắc về tập dữ liệu của bạn và cách bạn có thể cải thiện tập dữ liệu trước khi đào tạo mô hình thị giác.

Để sử dụng Kiểm tra sức khỏe, hãy nhấp vào liên kết thanh bên "Kiểm tra sức khỏe". Một danh sách thống kê sẽ xuất hiện hiển thị kích thước trung bình của hình ảnh trong tập dữ liệu, số dư lớp, bản đồ nhiệt về vị trí chú thích trong hình ảnh của bạn và hơn thế nữa.

Kiểm tra tình trạng có thể đề xuất các thay đổi để giúp nâng cao hiệu suất tập dữ liệu. Ví dụ: tính năng cân bằng lớp có thể cho thấy rằng có sự mất cân bằng trong nhãn, nếu được giải quyết, có thể tăng hiệu suất hoặc mô hình của bạn.

Xuất dữ liệu ở định dạng 40+ để đào tạo mô hình

Để xuất dữ liệu của bạn, bạn sẽ cần một phiên bản tập dữ liệu. Phiên bản là trạng thái của tập dữ liệu của bạn bị đóng băng trong thời gian. Để tạo phiên bản, trước tiên hãy nhấp vào "Phiên bản" trong thanh bên. Sau đó, nhấp vào nút "Tạo phiên bản mới". Trên trang này, bạn sẽ có thể chọn các bước tăng cường và tiền xử lý để áp dụng cho tập dữ liệu của mình:

Đối với mỗi lần tăng cường bạn chọn, một cửa sổ bật lên sẽ xuất hiện cho phép bạn điều chỉnh phần tăng theo nhu cầu của mình. Dưới đây là một ví dụ về việc điều chỉnh tăng độ sáng trong các tham số được chỉ định:

Khi phiên bản tập dữ liệu của bạn đã được tạo, bạn có thể xuất dữ liệu của mình sang nhiều định dạng. Nhấp vào nút "Xuất tập dữ liệu" trên trang phiên bản tập dữ liệu của bạn để xuất dữ liệu của bạn:

Bây giờ bạn đã sẵn sàng để đào tạo YOLOv8 trên tập dữ liệu tùy chỉnh. Làm theo hướng dẫn bằng văn bản này và video YouTube để biết hướng dẫn từng bước hoặc tham khảo Ultralytics tài liệu.

Tải lên tùy chỉnh YOLOv8 Trọng số mô hình để thử nghiệm và triển khai

Roboflow cung cấp API có thể mở rộng vô hạn cho các mô hình và SDK đã triển khai để sử dụng với NVIDIA Jetsons, Luxonis OAKs, Raspberry Pis, các thiết bị dựa trên GPU, v.v.

Bạn có thể triển khai YOLOv8 Mô hình bằng cách tải lên YOLOv8 trọng số đến Roboflow. Bạn có thể làm điều này trong một vài dòng Python mã. Tạo mới Python tập tin và thêm mã sau:

import roboflow  # install with 'pip install roboflow'

roboflow.login()

rf = roboflow.Roboflow()

project = rf.workspace(WORKSPACE_ID).project("football-players-detection-3zvbc")
dataset = project.version(VERSION).download("yolov8")

project.version(dataset.version).deploy(model_type="yolov8", model_path=f"{HOME}/runs/detect/train/")

Trong mã này, hãy thay thế ID dự án và ID phiên bản bằng các giá trị cho tài khoản và dự án của bạn. Tìm hiểu cách truy xuất Roboflow Khóa API.

Khi bạn chạy mã ở trên, bạn sẽ được yêu cầu xác thực. Sau đó, mô hình của bạn sẽ được tải lên và một API sẽ được tạo cho dự án của bạn. Quá trình này có thể mất tối đa 30 phút để hoàn tất.

Để kiểm tra mô hình của bạn và tìm hướng dẫn triển khai SDK được hỗ trợ, hãy chuyển đến tab "Triển khai" trong Roboflow Bên. Ở đầu trang này, một tiện ích sẽ xuất hiện để bạn có thể kiểm tra mô hình của mình. Bạn có thể sử dụng webcam của mình để thử nghiệm trực tiếp hoặc tải lên hình ảnh hoặc video.

Bạn cũng có thể sử dụng mô hình đã tải lên làm trợ lý ghi nhãn. Tính năng này sử dụng mô hình đã đào tạo của bạn để đề xuất chú thích trên hình ảnh được tải lên Roboflow.

Cách đánh giá YOLOv8 Mô hình

Roboflow Cung cấp một loạt các tính năng để sử dụng trong việc đánh giá các mô hình.

Khi bạn đã tải mô hình lên Roboflow, bạn có thể truy cập công cụ đánh giá mô hình của chúng tôi, công cụ này cung cấp ma trận nhầm lẫn hiển thị hiệu suất của mô hình của bạn cũng như biểu đồ phân tích vectơ tương tác. Những tính năng này có thể giúp bạn tìm cơ hội cải thiện mô hình của mình.

Để truy cập ma trận nhầm lẫn, hãy truy cập trang mô hình của bạn trên Roboflow bảng điều khiển, sau đó nhấp vào "Xem đánh giá chi tiết":

Một cửa sổ bật lên sẽ xuất hiện hiển thị ma trận nhầm lẫn:

Di chuột qua một hộp trên ma trận nhầm lẫn để xem giá trị được liên kết với hộp. Nhấp vào một hộp để xem hình ảnh trong danh mục tương ứng. Nhấp vào một hình ảnh để xem các dự đoán mô hình và dữ liệu sự thật cơ bản được liên kết với hình ảnh đó.

Để biết thêm thông tin chi tiết, hãy nhấp vào Phân tích vector. Điều này sẽ hiển thị biểu đồ phân tán của các hình ảnh trong tập dữ liệu của bạn, được tính bằng CLIP. Hình ảnh càng gần trong cốt truyện, chúng càng giống nhau, về mặt ngữ nghĩa. Mỗi hình ảnh được thể hiện dưới dạng một dấu chấm với màu giữa trắng và đỏ. Dấu chấm càng đỏ, mô hình hoạt động càng tệ.

Bạn có thể sử dụng Vector Analysis để:

• Tìm các cụm hình ảnh;
• Xác định các cụm mà mô hình hoạt động kém, và;
• Hình dung điểm tương đồng giữa các hình ảnh mà người mẫu hoạt động kém.

Tài nguyên học tập

Muốn tìm hiểu thêm về cách sử dụng Roboflow để tạo YOLOv8 Mô hình? Các tài nguyên sau đây có thể hữu ích trong công việc của bạn.

• Xe lửa YOLOv8 trên Tập dữ liệu tùy chỉnh: Theo dõi sổ ghi chép tương tác của chúng tôi chỉ cho bạn cách đào tạo YOLOv8 mô hình trên tập dữ liệu tùy chỉnh.
• Tự động chưng cất: Sử dụng các mô hình tầm nhìn nền tảng lớn để gắn nhãn dữ liệu cho các mô hình cụ thể. Bạn có thể gắn nhãn hình ảnh để sử dụng trong đào tạo YOLOv8 phân loại, phát hiện và phân đoạn các mô hình với Autodistill.
• Giám sát: A Python Gói với các tiện ích hữu ích để sử dụng trong làm việc với các mô hình thị giác máy tính. Bạn có thể sử dụng tính năng giám sát để lọc phát hiện, ma trận nhầm lẫn điện toán và hơn thế nữa, tất cả trong một vài dòng Python mã.
• Roboflow Blog: Các Roboflow Blog có hơn 500 bài viết về thị giác máy tính, bao gồm các chủ đề từ cách đào tạo một YOLOv8 Các phương pháp hay nhất về mô hình hóa để chú thích.
• Roboflow Kênh YouTube: Duyệt qua hàng chục hướng dẫn chuyên sâu về thị giác máy tính trên kênh YouTube của chúng tôi, bao gồm các chủ đề từ đào tạo YOLOv8 mô hình để gắn nhãn hình ảnh tự động.

Giới thiệu dự án

Dưới đây là một vài trong số rất nhiều phản hồi mà chúng tôi đã nhận được khi sử dụng YOLOv8 và Roboflow cùng nhau tạo ra các mô hình thị giác máy tính.

Ý kiến