Hướng dẫn Kiểm thử Model

Giới thiệu

Sau khi training và evaluating model, đã đến lúc bạn tiến hành kiểm thử. Kiểm thử model bao gồm việc đánh giá hiệu suất của model trong các tình huống thực tế. Quá trình kiểm thử xem xét các yếu tố như độ chính xác, độ tin cậy, tính công bằng và khả năng dễ hiểu đối với các quyết định của model. Mục tiêu là đảm bảo model hoạt động đúng dự định, mang lại kết quả như mong đợi và phù hợp với mục tiêu tổng thể của ứng dụng hoặc dự án của bạn.

Kiểm thử model khá giống với đánh giá model, nhưng đây là hai bước riêng biệt trong một dự án computer vision. Đánh giá model sử dụng các metric và biểu đồ để đánh giá độ chính xác của model. Ngược lại, kiểm thử model kiểm tra xem hành vi đã học của model có đúng với kỳ vọng hay không. Trong hướng dẫn này, chúng ta sẽ khám phá các chiến lược để kiểm thử các model computer vision của bạn.

Kiểm thử Model so với Đánh giá Model

Trước tiên, hãy hiểu sự khác biệt giữa đánh giá và kiểm thử model thông qua một ví dụ.

Giả sử bạn đã train một model computer vision để nhận diện chó và mèo, và bạn muốn triển khai model này tại một cửa hàng thú cưng để theo dõi các con vật. Trong giai đoạn đánh giá model, bạn sử dụng một tập dữ liệu đã được gán nhãn để tính toán các metric như độ chính xác (accuracy), precision, recall và F1 score. Ví dụ, model có thể đạt độ chính xác 98% trong việc phân biệt chó và mèo trong một tập dữ liệu nhất định.

Sau khi đánh giá, bạn kiểm thử model bằng cách sử dụng hình ảnh từ cửa hàng thú cưng để xem model nhận diện chó và mèo tốt như thế nào trong các điều kiện đa dạng và thực tế hơn. Bạn kiểm tra xem model có gắn nhãn chính xác cho chó và mèo khi chúng đang di chuyển, trong các điều kiện ánh sáng khác nhau hoặc bị che khuất một phần bởi các đồ vật như đồ chơi hoặc nội thất hay không. Kiểm thử model giúp đảm bảo model hoạt động đúng như mong đợi bên ngoài môi trường đánh giá có kiểm soát.

Chuẩn bị cho Kiểm thử Model

Các model computer vision học từ các tập dữ liệu bằng cách phát hiện các mẫu (pattern), đưa ra dự đoán và đánh giá hiệu suất của chúng. Các tập dữ liệu này thường được chia thành tập train và tập kiểm thử để mô phỏng các điều kiện thực tế. Training data giúp model học hỏi, trong khi dữ liệu kiểm thử xác minh độ chính xác của nó.

Dưới đây là hai điểm cần lưu ý trước khi kiểm thử model của bạn:

• Đại diện Thực tế: Dữ liệu kiểm thử chưa từng thấy trước đây phải tương tự với dữ liệu mà model sẽ xử lý khi được triển khai. Điều này giúp hiểu rõ khả năng của model một cách thực tế.
• Kích thước Đủ lớn: Kích thước của tập dữ liệu kiểm thử cần đủ lớn để cung cấp thông tin chi tiết và đáng tin cậy về hiệu suất của model.

Kiểm thử Model Computer Vision của bạn

Dưới đây là các bước chính để kiểm thử model computer vision và hiểu rõ hiệu suất của nó.

• Chạy Dự đoán: Sử dụng model để đưa ra dự đoán trên tập dữ liệu kiểm thử.
• So sánh Dự đoán: Kiểm tra mức độ khớp của các dự đoán từ model với các nhãn thực tế (ground truth).
• Tính toán các Metric Hiệu suất: Tính toán các metric như accuracy, precision, recall và F1 score để hiểu điểm mạnh và điểm yếu của model. Kiểm thử tập trung vào việc các metric này phản ánh hiệu suất trong thực tế như thế nào.
• Trực quan hóa Kết quả: Tạo các công cụ trực quan như ma trận nhầm lẫn (confusion matrix) và đường cong ROC. Những công cụ này giúp bạn xác định các khu vực cụ thể mà model có thể hoạt động chưa tốt trong các ứng dụng thực tế.

Tiếp theo, kết quả kiểm thử có thể được phân tích:

• Hình ảnh Phân loại Sai: Xác định và xem xét các hình ảnh mà model đã phân loại sai để hiểu lý do tại sao nó lại sai.
• Phân tích Lỗi: Thực hiện phân tích lỗi kỹ lưỡng để hiểu các loại lỗi (ví dụ: false positive so với false negative) và nguyên nhân tiềm ẩn của chúng.
• Định kiến và Tính công bằng: Kiểm tra bất kỳ định kiến nào trong các dự đoán của model. Đảm bảo rằng model hoạt động tốt như nhau trên các tập con khác nhau của dữ liệu, đặc biệt là nếu dữ liệu bao gồm các thuộc tính nhạy cảm như chủng tộc, giới tính hoặc độ tuổi.

Kiểm thử Model YOLO26 của bạn

Để kiểm thử model YOLO26, bạn có thể sử dụng chế độ validation. Đây là một cách trực tiếp để hiểu điểm mạnh và các khía cạnh cần cải thiện của model. Ngoài ra, bạn cần định dạng tập dữ liệu kiểm thử của mình chính xác cho YOLO26. Để biết thêm chi tiết về cách sử dụng chế độ validation, hãy xem trang tài liệu Model Validation.

Sử dụng YOLO26 để Dự đoán trên Nhiều Hình ảnh Kiểm thử

Nếu bạn muốn kiểm thử model YOLO26 đã được train trên nhiều hình ảnh được lưu trong một thư mục, bạn có thể thực hiện dễ dàng chỉ với một lần chạy. Thay vì sử dụng chế độ validation (thường được dùng để đánh giá hiệu suất model trên tập validation và cung cấp các metric chi tiết), bạn có thể chỉ muốn xem kết quả dự đoán trên tất cả các hình ảnh trong tập kiểm thử của mình. Đối với mục đích này, bạn có thể sử dụng prediction mode.

Sự khác biệt giữa các Chế độ Validation và Prediction

• Validation Mode: Được sử dụng để đánh giá hiệu suất của model bằng cách so sánh các dự đoán với các nhãn đã biết (ground truth). Chế độ này cung cấp các metric chi tiết như accuracy, precision, recall và F1 score.
• Prediction Mode: Được sử dụng để chạy model trên dữ liệu mới, chưa được thấy trước đó để tạo ra các dự đoán. Chế độ này không cung cấp các metric hiệu suất chi tiết nhưng cho phép bạn xem cách model hoạt động trên các hình ảnh thực tế.

Chạy Dự đoán YOLO26 mà không cần Custom Training

Nếu bạn quan tâm đến việc kiểm thử model YOLO26 cơ bản để hiểu liệu nó có thể được sử dụng cho ứng dụng của bạn mà không cần custom training hay không, bạn có thể sử dụng chế độ prediction. Mặc dù model đã được pretrained trên các tập dữ liệu như COCO, việc chạy dự đoán trên tập dữ liệu của riêng bạn có thể cho bạn cái nhìn nhanh về mức độ hiệu quả của nó trong ngữ cảnh cụ thể của bạn.

Overfitting và Underfitting trong Machine Learning

Khi kiểm thử một model machine learning, đặc biệt là trong computer vision, điều quan trọng là phải chú ý đến overfitting và underfitting. Những vấn đề này có thể ảnh hưởng đáng kể đến khả năng hoạt động của model với dữ liệu mới.

Overfitting

Overfitting xảy ra khi model học quá kỹ tập training, bao gồm cả nhiễu và các chi tiết không mang tính tổng quát cho dữ liệu mới. Trong computer vision, điều này có nghĩa là model có thể hoạt động rất tốt với các hình ảnh dùng để train nhưng lại gặp khó khăn với các hình ảnh mới.

Dấu hiệu của Overfitting

• Độ chính xác khi Train cao, Độ chính xác khi Validation thấp: Nếu model hoạt động rất tốt trên tập training nhưng kém trên tập validation hoặc test data, rất có thể model đang bị overfitting.
• Kiểm tra Trực quan: Đôi khi, bạn có thể nhận thấy overfitting nếu model quá nhạy cảm với các thay đổi nhỏ hoặc các chi tiết không liên quan trong hình ảnh.

Underfitting

Underfitting xảy ra khi model không thể nắm bắt được các mô hình cơ bản trong dữ liệu. Trong computer vision, một model bị underfitting có thể thậm chí không nhận diện đúng các đối tượng trong hình ảnh training.

Dấu hiệu của Underfitting

• Độ chính xác khi Train thấp: Nếu model không thể đạt được độ chính xác cao trên tập training, có khả năng nó đang bị underfitting.
• Phân loại Sai trực quan: Thường xuyên thất bại trong việc nhận diện các đặc điểm hoặc đối tượng rõ ràng cho thấy tình trạng underfitting.

Cân bằng giữa Overfitting và Underfitting

Chìa khóa là tìm sự cân bằng giữa overfitting và underfitting. Lý tưởng nhất, một model nên hoạt động tốt trên cả tập training và tập validation. Thường xuyên theo dõi hiệu suất của model thông qua các metric và kiểm tra trực quan, cùng với việc áp dụng các chiến lược phù hợp, có thể giúp bạn đạt được kết quả tốt nhất.

Rò rỉ Dữ liệu (Data Leakage) trong Computer Vision và Cách tránh

Trong khi kiểm thử model, điều quan trọng cần lưu ý là rò rỉ dữ liệu. Data leakage xảy ra khi thông tin từ bên ngoài tập training vô tình được sử dụng để train model. Model có thể trông rất chính xác trong quá trình training, nhưng sẽ không hoạt động tốt trên dữ liệu mới khi tình trạng rò rỉ dữ liệu xảy ra.

Tại sao Data Leakage xảy ra

Data leakage có thể khó phát hiện và thường xuất phát từ những định kiến ẩn trong dữ liệu training. Dưới đây là một số cách phổ biến xảy ra trong computer vision:

• Định kiến Camera: Các góc quay, ánh sáng, bóng đổ và chuyển động của camera khác nhau có thể tạo ra các mẫu không mong muốn.
• Định kiến Overlay: Logo, dấu thời gian (timestamp) hoặc các lớp phủ khác trong hình ảnh có thể đánh lừa model.
• Định kiến Font và Đối tượng: Các phông chữ hoặc đối tượng cụ thể thường xuyên xuất hiện trong một số lớp nhất định có thể làm sai lệch quá trình học của model.
• Định kiến Không gian: Sự mất cân bằng về tiền cảnh-hậu cảnh, phân phối của bounding box và vị trí đối tượng có thể ảnh hưởng đến việc training.
• Định kiến Nhãn và Domain: Nhãn không chính xác hoặc thay đổi trong các loại dữ liệu có thể dẫn đến rò rỉ.

Phát hiện Data Leakage

Để tìm data leakage, bạn có thể:

• Kiểm tra Hiệu suất: Nếu kết quả của model tốt một cách đáng ngạc nhiên, có thể dữ liệu đang bị rò rỉ.
• Xem xét Độ quan trọng của Tính năng (Feature Importance): Nếu một tính năng quan trọng hơn hẳn các tính năng khác, điều đó có thể cho thấy dấu hiệu rò rỉ.
• Kiểm tra Trực quan: Kiểm tra kỹ xem các quyết định của model có hợp lý theo trực giác hay không.
• Xác minh Phân tách Dữ liệu: Đảm bảo dữ liệu đã được chia đúng cách trước khi thực hiện bất kỳ bước xử lý nào.

Tránh Data Leakage

Để ngăn chặn data leakage, hãy sử dụng tập dữ liệu đa dạng với hình ảnh hoặc video từ các camera và môi trường khác nhau. Xem xét kỹ dữ liệu của bạn và đảm bảo rằng không có định kiến ẩn, chẳng hạn như tất cả các mẫu dương tính đều được chụp vào một thời điểm cụ thể trong ngày. Tránh data leakage sẽ giúp làm cho các model computer vision của bạn đáng tin cậy và hiệu quả hơn trong các tình huống thực tế.

Điều gì xảy ra sau khi Kiểm thử Model

Sau khi kiểm thử model, các bước tiếp theo phụ thuộc vào kết quả đạt được. Nếu model hoạt động tốt, bạn có thể triển khai nó vào môi trường thực tế. Nếu kết quả không đạt yêu cầu, bạn sẽ cần thực hiện các cải tiến. Điều này có thể bao gồm phân tích lỗi, thu thập thêm dữ liệu, cải thiện chất lượng dữ liệu, điều chỉnh siêu tham số và train lại model.

Tham gia Cộng đồng AI

Trở thành một phần của cộng đồng những người đam mê computer vision có thể giúp giải quyết vấn đề và học hỏi hiệu quả hơn. Dưới đây là một số cách để kết nối, tìm kiếm sự trợ giúp và chia sẻ ý kiến của bạn.

Tài nguyên Cộng đồng

• GitHub Issues: Khám phá YOLO26 GitHub repository và sử dụng tab Issues để đặt câu hỏi, báo lỗi và đề xuất các tính năng mới. Cộng đồng và các nhà phát triển rất tích cực và luôn sẵn sàng giúp đỡ.
• Ultralytics Discord Server: Tham gia Ultralytics Discord server để trò chuyện với những người dùng và nhà phát triển khác, nhận hỗ trợ và chia sẻ kinh nghiệm của bạn.

Tài liệu chính thức

• Tài liệu Ultralytics YOLO26: Xem tài liệu chính thức về YOLO26 để biết các hướng dẫn chi tiết và mẹo hữu ích cho nhiều dự án computer vision khác nhau.

Những tài nguyên này sẽ giúp bạn vượt qua các thách thức và cập nhật các xu hướng cũng như phương pháp thực hành mới nhất trong cộng đồng computer vision.

Tóm tắt

Việc xây dựng các model computer vision đáng tin cậy dựa vào quy trình kiểm thử model nghiêm ngặt. Bằng cách kiểm thử model với dữ liệu chưa từng thấy trước đây, chúng ta có thể phân tích và xác định các điểm yếu như overfitting và data leakage. Giải quyết các vấn đề này trước khi triển khai giúp model hoạt động tốt trong các ứng dụng thực tế. Điều quan trọng cần nhớ là kiểm thử model cũng quan trọng như đánh giá model để đảm bảo sự thành công và hiệu quả lâu dài của model.

Câu hỏi thường gặp (FAQ)

Sự khác biệt chính giữa đánh giá model và kiểm thử model trong computer vision là gì?

Đánh giá model và kiểm thử model là các bước riêng biệt trong một dự án computer vision. Đánh giá model liên quan đến việc sử dụng một tập dữ liệu đã gán nhãn để tính toán các metric như accuracy, precision, recall và F1 score, cung cấp cái nhìn sâu sắc về hiệu suất của model với một tập dữ liệu được kiểm soát. Mặt khác, kiểm thử model đánh giá hiệu suất của model trong các kịch bản thực tế bằng cách áp dụng nó vào dữ liệu mới, chưa từng thấy, đảm bảo rằng hành vi của model phù hợp với kỳ vọng bên ngoài môi trường đánh giá. Để có hướng dẫn chi tiết, hãy tham khảo các bước trong một dự án computer vision.

Làm thế nào để kiểm thử model Ultralytics YOLO26 của tôi trên nhiều hình ảnh?

Để kiểm thử model Ultralytics YOLO26 của bạn trên nhiều hình ảnh, bạn có thể sử dụng prediction mode. Chế độ này cho phép bạn chạy model trên dữ liệu mới, chưa từng thấy để tạo ra các dự đoán mà không cần cung cấp các metric chi tiết. Đây là lựa chọn lý tưởng để kiểm thử hiệu suất trong thực tế trên các tập hình ảnh lớn được lưu trữ trong thư mục. Để đánh giá các metric hiệu suất, hãy sử dụng validation mode thay thế.

Tôi nên làm gì nếu model computer vision của mình có dấu hiệu bị overfitting hoặc underfitting?

Để giải quyết overfitting:

• Sử dụng các kỹ thuật regularization như dropout.
• Tăng kích thước của tập dữ liệu training.
• Đơn giản hóa kiến trúc model.

Để giải quyết underfitting:

• Sử dụng model phức tạp hơn.
• Cung cấp nhiều đặc điểm (feature) liên quan hơn.
• Tăng số vòng lặp training hoặc epochs.

Xem xét lại các hình ảnh bị phân loại sai, thực hiện phân tích lỗi kỹ lưỡng và thường xuyên theo dõi các metric hiệu suất để duy trì sự cân bằng. Để biết thêm thông tin về các khái niệm này, hãy khám phá mục Overfitting và Underfitting của chúng tôi.

Làm thế nào để tôi có thể phát hiện và tránh data leakage trong computer vision?

Để phát hiện data leakage:

• Xác minh rằng hiệu suất kiểm thử không cao một cách bất thường.
• Kiểm tra độ quan trọng của tính năng để tìm những thông tin bất ngờ.
• Xem xét lại các quyết định của model theo trực giác.
• Đảm bảo phân chia dữ liệu đúng cách trước khi xử lý.

Để tránh data leakage:

• Sử dụng các tập dữ liệu đa dạng với các môi trường khác nhau.
• Xem xét kỹ dữ liệu để tránh các định kiến ẩn.
• Đảm bảo không có thông tin chồng chéo giữa tập training và tập kiểm thử.

Để biết các chiến lược chi tiết về ngăn chặn data leakage, hãy tham khảo mục Data Leakage trong Computer Vision.

Tôi nên thực hiện các bước nào sau khi kiểm thử model computer vision?

Sau khi kiểm thử, nếu hiệu suất của model đáp ứng các mục tiêu của dự án, hãy tiếp tục triển khai. Nếu kết quả không đạt yêu cầu, hãy cân nhắc:

• Phân tích lỗi.
• Thu thập dữ liệu đa dạng và chất lượng cao hơn.
• Tinh chỉnh siêu tham số.
• Đào tạo lại model.

Đạt được thông tin chi tiết từ phần Kiểm thử Model so với Đánh giá Model để tinh chỉnh và nâng cao hiệu quả của model trong các ứng dụng thực tế.

Làm thế nào để chạy các dự đoán YOLO26 mà không cần đào tạo tùy chỉnh?

Bạn có thể chạy dự đoán bằng cách sử dụng model YOLO26 được đào tạo trước trên tập dữ liệu của mình để xem liệu nó có phù hợp với nhu cầu ứng dụng của bạn hay không. Tận dụng chế độ dự đoán để nắm bắt nhanh các kết quả hiệu suất mà không cần đi sâu vào đào tạo tùy chỉnh.