Tìm hiểu chuyên sâu về các chỉ số hiệu năng#

Giới thiệu#

Các chỉ số hiệu năng là công cụ quan trọng để đánh giá độ chính xác và hiệu quả của các model phát hiện đối tượng. Chúng cho biết mức độ hiệu quả của model trong việc nhận diện và định vị đối tượng trong ảnh. Ngoài ra, các chỉ số này giúp hiểu rõ cách model xử lý false positive và false negative. Những thông tin này rất quan trọng để đánh giá và cải thiện hiệu năng của model. Trong hướng dẫn này, chúng ta sẽ tìm hiểu các chỉ số hiệu năng liên quan đến YOLO26, ý nghĩa của chúng và cách diễn giải.

Các chỉ số phát hiện đối tượng#

Trước tiên, hãy cùng thảo luận về một số chỉ số không chỉ quan trọng với YOLO26 mà còn được áp dụng rộng rãi cho nhiều model phát hiện đối tượng khác nhau.

• Intersection over Union (IoU): IoU là thước đo định lượng mức độ chồng lấp giữa bounding box dự đoán và bounding box ground truth. Chỉ số này đóng vai trò nền tảng trong việc đánh giá độ chính xác của định vị đối tượng.

• Độ chính xác trung bình (AP): AP tính diện tích bên dưới đường cong precision-recall, cung cấp một giá trị duy nhất tổng hợp hiệu năng precision và recall của model.

• Độ chính xác trung bình mAP (mAP): mAP mở rộng khái niệm AP bằng cách tính trung bình các giá trị AP trên nhiều lớp đối tượng. Chỉ số này hữu ích trong các tình huống phát hiện đối tượng đa lớp để đánh giá toàn diện hiệu năng của model.

• Precision và Recall: Precision định lượng tỷ lệ true positive trong tổng số dự đoán positive, đánh giá khả năng tránh false positive của model. Trong khi đó, Recall tính tỷ lệ true positive trong tổng số đối tượng positive thực tế, đo lường khả năng phát hiện mọi instance của một lớp.

• Điểm F1: Điểm F1 là trung bình điều hòa của precision và recall, cung cấp đánh giá cân bằng về hiệu năng của model đồng thời xét đến cả false positive và false negative.

Cách tính các chỉ số cho model YOLO26#

Bây giờ, chúng ta có thể tìm hiểu chế độ Validation của YOLO26, có thể dùng để tính các chỉ số đánh giá đã nêu ở trên.

Sử dụng chế độ validation rất đơn giản. Sau khi huấn luyện model, bạn có thể gọi hàm model.val(). Hàm này sẽ xử lý dataset validation rồi trả về nhiều chỉ số hiệu năng. Nhưng các chỉ số này có ý nghĩa gì? Và nên diễn giải chúng như thế nào?

Diễn giải kết quả#

Hãy cùng phân tích kết quả của hàm model.val() và tìm hiểu từng phần trong kết quả.

Các chỉ số theo từng lớp#

Một phần trong kết quả là bảng phân tích chi tiết các chỉ số hiệu năng theo từng lớp. Thông tin chi tiết này hữu ích khi bạn muốn tìm hiểu model hoạt động tốt đến đâu với từng lớp cụ thể, đặc biệt là trong các dataset có nhiều loại đối tượng đa dạng. Với mỗi lớp trong dataset, các thông tin sau được cung cấp:

• Class: Tên của lớp đối tượng, chẳng hạn như "person", "car" hoặc "dog".

• Images: Chỉ số này cho biết số ảnh trong tập validation có chứa lớp đối tượng đó.

• Instances: Số lần lớp đó xuất hiện trong tất cả ảnh thuộc tập validation.

• Box(P, R, mAP50, mAP50-95): Chỉ số này cung cấp thông tin về hiệu năng phát hiện đối tượng của model:

  • P (Precision): Độ chính xác của các đối tượng được phát hiện, cho biết có bao nhiêu dự đoán là chính xác.

  • R (Recall): Khả năng của model trong việc nhận diện tất cả instance đối tượng trong ảnh.

  • mAP50: Độ chính xác trung bình mAP được tính tại ngưỡng giao trên hợp (IoU) là 0.50. Chỉ số này đo độ chính xác của model khi chỉ xét các phát hiện "dễ".

  • mAP50-95: Giá trị trung bình của mAP được tính tại các ngưỡng IoU khác nhau, từ 0.50 đến 0.95. Chỉ số này cung cấp cái nhìn toàn diện về hiệu năng của model ở các mức độ khó phát hiện khác nhau.

Các chỉ số tốc độ#

Tốc độ suy luận có thể quan trọng không kém độ chính xác, đặc biệt trong các tình huống phát hiện đối tượng theo thời gian thực. Phần này phân tích thời gian cần thiết cho từng giai đoạn của quy trình validation, từ tiền xử lý đến hậu xử lý.

Đánh giá theo các chỉ số COCO#

Đối với người dùng xác thực trên dataset COCO, các chỉ số bổ sung được tính bằng script đánh giá COCO. Những chỉ số này cung cấp thông tin về precision và recall tại các ngưỡng IoU khác nhau và đối với các đối tượng có kích thước khác nhau.

Kết quả trực quan#

Ngoài việc tạo ra các chỉ số dạng số, hàm model.val() còn tạo ra kết quả trực quan giúp bạn hiểu hiệu năng của model một cách trực quan hơn. Dưới đây là các kết quả trực quan bạn có thể nhận được:

• Đường cong F1 Score (BoxF1_curve.png): Đường cong này biểu diễn F1 score ở nhiều ngưỡng khác nhau. Việc diễn giải đường cong này có thể cung cấp thông tin về mức cân bằng giữa false positive và false negative của model tại các ngưỡng khác nhau.

• Đường cong Precision-Recall (BoxPR_curve.png): Đây là biểu đồ trực quan quan trọng đối với mọi bài toán phân loại, thể hiện sự đánh đổi giữa precision và recall ở nhiều ngưỡng khác nhau. Biểu đồ này đặc biệt quan trọng khi xử lý các lớp mất cân bằng.

• Đường cong Precision (BoxP_curve.png): Biểu diễn trực quan các giá trị precision ở những ngưỡng khác nhau. Đường cong này giúp hiểu rõ precision thay đổi như thế nào khi ngưỡng thay đổi.

• Đường cong Recall (BoxR_curve.png): Tương tự, biểu đồ này minh họa cách các giá trị recall thay đổi ở những ngưỡng khác nhau.

• Ma trận nhầm lẫn (confusion_matrix.png): Ma trận nhầm lẫn cung cấp cái nhìn chi tiết về kết quả, thể hiện số lượng true positive, true negative, false positive và false negative cho mỗi lớp.

• Ma trận nhầm lẫn chuẩn hóa (confusion_matrix_normalized.png): Biểu đồ trực quan này là phiên bản chuẩn hóa của ma trận nhầm lẫn. Biểu đồ biểu diễn dữ liệu dưới dạng tỷ lệ thay vì số lượng thô. Định dạng này giúp so sánh hiệu suất giữa các lớp dễ dàng hơn.

• Nhãn của batch validation (val_batchX_labels.jpg): Những hình ảnh này mô tả nhãn ground truth cho các batch riêng biệt trong tập dữ liệu validation. Chúng thể hiện rõ các đối tượng là gì và vị trí tương ứng của chúng theo tập dữ liệu.

• Dự đoán của batch validation (val_batchX_pred.jpg): Khác với hình ảnh nhãn, những hình ảnh trực quan này hiển thị các dự đoán mà model YOLO26 đưa ra cho từng batch tương ứng. So sánh các hình ảnh này với hình ảnh nhãn giúp bạn dễ dàng đánh giá trực quan khả năng phát hiện và phân loại đối tượng của model.

Với các tác vụ phát hiện, phân đoạn và ước lượng tư thế, tên các biểu đồ đường cong có tiền tố là loại metric: tác vụ phát hiện tạo các đường cong Box*, tác vụ phân đoạn tạo cả đường cong Box* và Mask*, còn tác vụ ước lượng tư thế tạo cả đường cong Box* và Pose*.

Lưu trữ kết quả#

Để tiện tham khảo sau này, kết quả được lưu vào một thư mục, thường có tên runs/detect/val.

Chọn metric phù hợp#

Việc chọn metric phù hợp để đánh giá thường phụ thuộc vào ứng dụng cụ thể.

• mAP: Phù hợp để đánh giá tổng quan hiệu suất model.

• IoU: Thiết yếu khi cần xác định chính xác vị trí đối tượng.

• Precision: Quan trọng khi ưu tiên giảm thiểu các phát hiện sai.

• Recall: Cần thiết khi mục tiêu là phát hiện mọi đối tượng xuất hiện.

• F1 Score: Hữu ích khi cần cân bằng giữa precision và recall.

Với các ứng dụng thời gian thực, những metric tốc độ như FPS (số khung hình mỗi giây) và độ trễ rất quan trọng để đảm bảo kết quả được trả về kịp thời.

Diễn giải kết quả#

Điều quan trọng là phải hiểu các metric. Dưới đây là ý nghĩa của một số điểm số thấp thường gặp:

• mAP thấp: Cho thấy model có thể cần được tinh chỉnh tổng thể.

• IoU thấp: Model có thể gặp khó khăn khi xác định chính xác vị trí đối tượng. Các phương pháp bounding box khác nhau có thể hữu ích.

• Precision thấp: Model có thể đang phát hiện quá nhiều đối tượng không tồn tại. Điều chỉnh ngưỡng confidence có thể giảm tình trạng này.

• Recall thấp: Model có thể bỏ sót các đối tượng thực. Cải thiện trích xuất đặc trưng hoặc sử dụng thêm dữ liệu có thể hữu ích.

• F1 Score mất cân bằng: Có sự chênh lệch giữa precision và recall.

• AP theo từng lớp: Điểm số thấp ở đây có thể cho thấy những lớp mà model gặp khó khăn.

Nghiên cứu tình huống#

Các ví dụ thực tế có thể giúp làm rõ cách những metric này hoạt động trong thực tiễn.

Trường hợp 1#

• Tình huống: mAP và F1 Score chưa tối ưu; Recall tốt nhưng Precision thì không.

• Diễn giải & hành động: Có thể có quá nhiều phát hiện sai. Siết chặt ngưỡng confidence có thể giảm các phát hiện này, nhưng cũng có thể khiến recall giảm nhẹ.

Trường hợp 2#

• Tình huống: mAP và Recall ở mức chấp nhận được, nhưng IoU còn thấp.

• Diễn giải & hành động: Model phát hiện đối tượng tốt nhưng có thể chưa định vị chúng chính xác. Tinh chỉnh các dự đoán bounding box có thể hữu ích.

Trường hợp 3#

• Tình huống: Một số lớp có AP thấp hơn nhiều so với các lớp khác, dù mAP tổng thể ở mức khá.

• Diễn giải & hành động: Những lớp này có thể khó hơn đối với model. Bổ sung dữ liệu cho các lớp này hoặc điều chỉnh trọng số lớp trong quá trình training có thể mang lại hiệu quả.

Kết nối và cộng tác#

Tham gia cộng đồng những người đam mê và chuyên gia có thể giúp bạn tiến xa hơn với YOLO26. Dưới đây là một số kênh hỗ trợ việc học hỏi, khắc phục sự cố và kết nối.

Tham gia cộng đồng rộng lớn hơn#

• GitHub Issues: Repository Ultralytics trên GitHub có tab Issues, nơi bạn có thể đặt câu hỏi, báo lỗi và đề xuất tính năng mới. Cộng đồng và các maintainer thường xuyên hoạt động tại đây, đây cũng là nơi tuyệt vời để nhận trợ giúp cho các vấn đề cụ thể.

• Máy chủ Discord của Ultralytics: Ultralytics có máy chủ Discord, nơi bạn có thể trao đổi với những người dùng khác và các nhà phát triển.

Tài liệu và tài nguyên chính thức#

• Tài liệu Ultralytics YOLO26: Tài liệu chính thức cung cấp thông tin tổng quan toàn diện về YOLO26, cùng hướng dẫn cài đặt, sử dụng và khắc phục sự cố.

Sử dụng các tài nguyên này không chỉ giúp bạn vượt qua mọi thách thức mà còn cập nhật cho bạn những xu hướng và phương pháp tốt nhất mới nhất trong cộng đồng YOLO26.

Kết luận#

Trong hướng dẫn này, chúng ta đã tìm hiểu kỹ các metric hiệu suất thiết yếu của YOLO26. Những metric này là chìa khóa để hiểu model hoạt động tốt đến đâu và rất quan trọng với bất kỳ ai muốn tinh chỉnh model. Chúng cung cấp thông tin cần thiết để cải thiện và đảm bảo model hoạt động hiệu quả trong các tình huống thực tế.

Hãy nhớ rằng cộng đồng YOLO26 và Ultralytics là một nguồn lực vô giá. Trao đổi với các nhà phát triển và chuyên gia có thể mở ra những hiểu biết và giải pháp không có trong tài liệu tiêu chuẩn. Trong hành trình tìm hiểu phát hiện đối tượng, hãy duy trì tinh thần học hỏi, thử nghiệm các chiến lược mới và chia sẻ kết quả. Qua đó, bạn đóng góp vào tri thức chung của cộng đồng và góp phần đảm bảo cộng đồng phát triển.

Câu hỏi thường gặp#