Hướng dẫn về kiểm thử mô hình
Giới thiệu
Sau khi đào tạo và đánh giá mô hình của bạn, đã đến lúc kiểm tra nó. Kiểm thử mô hình liên quan đến việc đánh giá nó hoạt động tốt như thế nào trong các tình huống thực tế. Thử nghiệm xem xét các yếu tố như độ chính xác, độ tin cậy, công bằng và mức độ dễ hiểu các quyết định của mô hình. Mục tiêu là đảm bảo mô hình hoạt động như dự định, mang lại kết quả mong đợi và phù hợp với mục tiêu chung của ứng dụng hoặc dự án của bạn.
Model testing is quite similar to model evaluation, but they are two distinct steps in a computer vision project. Model evaluation involves metrics and plots to assess the model's accuracy. On the other hand, model testing checks if the model's learned behavior is the same as expectations. In this guide, we'll explore strategies for testing your computer vision models.
Kiểm thử mô hình so với đánh giá mô hình
Đầu tiên, hãy hiểu sự khác biệt giữa đánh giá mô hình và thử nghiệm với một ví dụ.
Suppose you have trained a computer vision model to recognize cats and dogs, and you want to deploy this model at a pet store to monitor the animals. During the model evaluation phase, you use a labeled dataset to calculate metrics like accuracy, precision, recall, and F1 score. For instance, the model might have an accuracy of 98% in distinguishing between cats and dogs in a given dataset.
Sau khi đánh giá, bạn kiểm tra mô hình bằng cách sử dụng hình ảnh từ cửa hàng thú cưng để xem nó xác định mèo và chó tốt như thế nào trong các điều kiện đa dạng và thực tế hơn. Bạn kiểm tra xem nó có thể dán nhãn chính xác cho mèo và chó khi chúng đang di chuyển, trong các điều kiện ánh sáng khác nhau hoặc bị che khuất một phần bởi các vật thể như đồ chơi hoặc đồ nội thất hay không. Kiểm thử mô hình kiểm tra xem mô hình có hoạt động như mong đợi bên ngoài môi trường đánh giá được kiểm soát hay không.
Chuẩn bị cho thử nghiệm mô hình
Computer vision models learn from datasets by detecting patterns, making predictions, and evaluating their performance. These datasets are usually divided into training and testing sets to simulate real-world conditions. Training data teaches the model while testing data verifies its accuracy.
Dưới đây là hai điểm cần lưu ý trước khi thử nghiệm mô hình của bạn:
- Đại diện thực tế: Dữ liệu thử nghiệm chưa từng thấy trước đây phải tương tự như dữ liệu mà mô hình sẽ phải xử lý khi triển khai. Điều này giúp hiểu biết thực tế về khả năng của mô hình.
- Kích thước đủ: Kích thước của tập dữ liệu thử nghiệm cần phải đủ lớn để cung cấp thông tin chi tiết đáng tin cậy về hiệu quả hoạt động của mô hình.
Kiểm tra mô hình thị giác máy tính của bạn
Dưới đây là các bước chính cần thực hiện để kiểm tra mô hình thị giác máy tính của bạn và hiểu hiệu suất của nó.
- Chạy dự đoán: Sử dụng mô hình để đưa ra dự đoán trên tập dữ liệu thử nghiệm.
- So sánh các dự đoán: Kiểm tra xem các dự đoán của mô hình khớp với nhãn thực tế như thế nào (sự thật cơ bản).
- Tính toán số liệu hiệu suất: Tính toán các số liệu như độ chính xác, độ chính xác, khả năng thu hồi và điểm F1 để hiểu điểm mạnh và điểm yếu của mô hình. Thử nghiệm tập trung vào cách các số liệu này phản ánh hiệu suất trong thế giới thực.
- Hình dung kết quả: Tạo các công cụ hỗ trợ trực quan như ma trận nhầm lẫn và đường cong ROC. Những điều này giúp bạn phát hiện ra các khu vực cụ thể mà mô hình có thể không hoạt động tốt trong các ứng dụng thực tế.
Tiếp theo, kết quả thử nghiệm có thể được phân tích:
- Hình ảnh bị phân loại sai: Xác định và xem xét các hình ảnh mà mô hình phân loại sai để hiểu nó sai ở đâu.
- Phân tích lỗi: Thực hiện phân tích lỗi kỹ lưỡng để hiểu các loại lỗi (ví dụ: dương tính giả so với âm tính giả) và nguyên nhân tiềm ẩn của chúng.
- Thiên vị và công bằng: Kiểm tra xem có bất kỳ sai lệch nào trong dự đoán của mô hình hay không. Đảm bảo rằng mô hình hoạt động tốt như nhau trên các tập hợp con khác nhau của dữ liệu, đặc biệt nếu mô hình bao gồm các thuộc tính nhạy cảm như chủng tộc, giới tính hoặc tuổi tác.
Testing Your YOLO11 Model
To test your YOLO11 model, you can use the validation mode. It's a straightforward way to understand the model's strengths and areas that need improvement. Also, you'll need to format your test dataset correctly for YOLO11. For more details on how to use the validation mode, check out the Model Validation docs page.
Using YOLO11 to Predict on Multiple Test Images
If you want to test your trained YOLO11 model on multiple images stored in a folder, you can easily do so in one go. Instead of using the validation mode, which is typically used to evaluate model performance on a validation set and provide detailed metrics, you might just want to see predictions on all images in your test set. For this, you can use the prediction mode.
Sự khác biệt giữa chế độ xác thực và dự đoán
- Chế độ xác nhận: Được sử dụng để đánh giá hiệu suất của mô hình bằng cách so sánh các dự đoán với các nhãn đã biết (sự thật cơ bản). Nó cung cấp các số liệu chi tiết như độ chính xác, độ chính xác, thu hồi và điểm F1.
- Chế độ dự đoán: Được sử dụng để chạy mô hình trên dữ liệu mới, không nhìn thấy để tạo dự đoán. Nó không cung cấp số liệu hiệu suất chi tiết nhưng cho phép bạn xem mô hình hoạt động như thế nào trên hình ảnh trong thế giới thực.
Running YOLO11 Predictions Without Custom Training
If you are interested in testing the basic YOLO11 model to understand whether it can be used for your application without custom training, you can use the prediction mode. While the model is pre-trained on datasets like COCO, running predictions on your own dataset can give you a quick sense of how well it might perform in your specific context.
Overfitting and Underfitting in Machine Learning
Khi thử nghiệm một mô hình học máy, đặc biệt là trong thị giác máy tính, điều quan trọng là phải coi chừng sự phù hợp quá mức và thiếu phù hợp. Những vấn đề này có thể ảnh hưởng đáng kể đến hiệu quả hoạt động của mô hình với dữ liệu mới.
Quá phù hợp
Overfitting xảy ra khi mô hình của bạn học dữ liệu đào tạo quá tốt, bao gồm cả tiếng ồn và các chi tiết không khái quát hóa thành dữ liệu mới. Trong thị giác máy tính, điều này có nghĩa là mô hình của bạn có thể làm tốt với hình ảnh đào tạo nhưng phải vật lộn với những hình ảnh mới.
Dấu hiệu quá tải
- High Training Accuracy, Low Validation Accuracy: If your model performs very well on training data but poorly on validation or test data, it's likely overfitting.
- Kiểm tra trực quan: Đôi khi, bạn có thể thấy overfitting nếu mô hình của bạn quá nhạy cảm với những thay đổi nhỏ hoặc chi tiết không liên quan trong hình ảnh.
Không phù hợp
Underfitting xảy ra khi mô hình của bạn không thể nắm bắt các mẫu cơ bản trong dữ liệu. Trong thị giác máy tính, một mô hình thiếu trang bị thậm chí có thể không nhận ra các đối tượng một cách chính xác trong các hình ảnh đào tạo.
Dấu hiệu thiếu phù hợp
- Độ chính xác đào tạo thấp: Nếu mô hình của bạn không thể đạt được độ chính xác cao trên bộ đào tạo, nó có thể không phù hợp.
- Phân loại sai thị giác: Việc liên tục không nhận ra các tính năng hoặc đối tượng rõ ràng cho thấy không phù hợp.
Cân bằng Overfitting và Underfitting
Điều quan trọng là tìm sự cân bằng giữa overfit và underfitting. Lý tưởng nhất, một mô hình nên hoạt động tốt trên cả bộ dữ liệu đào tạo và xác nhận. Thường xuyên theo dõi hiệu suất mô hình của bạn thông qua các số liệu và kiểm tra trực quan, cùng với việc áp dụng các chiến lược phù hợp, có thể giúp bạn đạt được kết quả tốt nhất.
Rò rỉ dữ liệu trong thị giác máy tính và cách tránh nó
Trong khi kiểm tra mô hình của bạn, một điều quan trọng cần lưu ý là rò rỉ dữ liệu. Rò rỉ dữ liệu xảy ra khi thông tin từ bên ngoài tập dữ liệu đào tạo vô tình được sử dụng để huấn luyện mô hình. Mô hình có vẻ rất chính xác trong quá trình đào tạo, nhưng nó sẽ không hoạt động tốt trên dữ liệu mới, không nhìn thấy khi rò rỉ dữ liệu xảy ra.
Tại sao rò rỉ dữ liệu xảy ra
Rò rỉ dữ liệu có thể khó phát hiện và thường xuất phát từ những thành kiến ẩn trong dữ liệu đào tạo. Dưới đây là một số cách phổ biến nó có thể xảy ra trong thị giác máy tính:
- Độ lệch máy ảnh: Các góc, ánh sáng, bóng tối và chuyển động máy ảnh khác nhau có thể tạo ra các mẫu không mong muốn.
- Thiên vị lớp phủ: Biểu trưng, dấu thời gian hoặc các lớp phủ khác trong hình ảnh có thể gây hiểu lầm cho mô hình.
- Font và Object Bias: Các phông chữ hoặc đối tượng cụ thể thường xuyên xuất hiện trong các lớp nhất định có thể làm sai lệch việc học của mô hình.
- Spatial Bias: Imbalances in foreground-background, bounding box distributions, and object locations can affect training.
- Nhãn và thiên vị tên miền: Nhãn không chính xác hoặc thay đổi trong các loại dữ liệu có thể dẫn đến rò rỉ.
Phát hiện rò rỉ dữ liệu
Để tìm rò rỉ dữ liệu, bạn có thể:
- Kiểm tra hiệu suất: Nếu kết quả của mô hình tốt một cách đáng ngạc nhiên, nó có thể bị rò rỉ.
- Xem xét tầm quan trọng của tính năng: Nếu một tính năng quan trọng hơn nhiều so với các tính năng khác, nó có thể chỉ ra rò rỉ.
- Kiểm tra trực quan: Kiểm tra kỹ xem các quyết định của mô hình có ý nghĩa bằng trực giác hay không.
- Xác minh tách dữ liệu: Đảm bảo dữ liệu được phân chia chính xác trước khi xử lý.
Tránh rò rỉ dữ liệu
Để ngăn chặn rò rỉ dữ liệu, hãy sử dụng bộ dữ liệu đa dạng với hình ảnh hoặc video từ các máy ảnh và môi trường khác nhau. Xem xét cẩn thận dữ liệu của bạn và kiểm tra xem không có sai lệch ẩn, chẳng hạn như tất cả các mẫu dương tính được lấy vào một thời điểm cụ thể trong ngày. Tránh rò rỉ dữ liệu sẽ giúp làm cho các mô hình thị giác máy tính của bạn đáng tin cậy và hiệu quả hơn trong các tình huống thực tế.
Điều gì đến sau khi thử nghiệm mô hình
Sau khi kiểm tra mô hình của bạn, các bước tiếp theo phụ thuộc vào kết quả. Nếu mô hình của bạn hoạt động tốt, bạn có thể triển khai nó vào môi trường thế giới thực. Nếu kết quả không khả quan, bạn sẽ cần phải cải thiện. Điều này có thể liên quan đến việc phân tích lỗi, thu thập thêm dữ liệu, cải thiện chất lượng dữ liệu, điều chỉnh siêu tham số và đào tạo lại mô hình.
Tham gia cuộc trò chuyện AI
Trở thành một phần của cộng đồng những người đam mê thị giác máy tính có thể hỗ trợ giải quyết vấn đề và học tập hiệu quả hơn. Dưới đây là một số cách để kết nối, tìm kiếm sự giúp đỡ và chia sẻ suy nghĩ của bạn.
Tài nguyên cộng đồng
- GitHub Issues: Explore the YOLO11 GitHub repository and use the Issues tab to ask questions, report bugs, and suggest new features. The community and maintainers are very active and ready to help.
- Ultralytics Máy chủ Discord: Tham gia Ultralytics Máy chủ Discord để trò chuyện với những người dùng và nhà phát triển khác, nhận hỗ trợ và chia sẻ kinh nghiệm của bạn.
Tài liệu chính thức
- Ultralytics YOLO11 Documentation: Check out the official YOLO11 documentation for detailed guides and helpful tips on various computer vision projects.
Những tài nguyên này sẽ giúp bạn điều hướng các thách thức và luôn cập nhật về các xu hướng và thực tiễn mới nhất trong cộng đồng thị giác máy tính.
Tóm tắt
Building trustworthy computer vision models relies on rigorous model testing. By testing the model with previously unseen data, we can analyze it and spot weaknesses like overfitting and data leakage. Addressing these issues before deployment helps the model perform well in real-world applications. It's important to remember that model testing is just as crucial as model evaluation in guaranteeing the model's long-term success and effectiveness.
FAQ
Sự khác biệt chính giữa đánh giá mô hình và kiểm tra mô hình trong thị giác máy tính là gì?
Model evaluation and model testing are distinct steps in a computer vision project. Model evaluation involves using a labeled dataset to compute metrics such as accuracy, precision, recall, and F1 score, providing insights into the model's performance with a controlled dataset. Model testing, on the other hand, assesses the model's performance in real-world scenarios by applying it to new, unseen data, ensuring the model's learned behavior aligns with expectations outside the evaluation environment. For a detailed guide, refer to the steps in a computer vision project.
How can I test my Ultralytics YOLO11 model on multiple images?
To test your Ultralytics YOLO11 model on multiple images, you can use the prediction mode. This mode allows you to run the model on new, unseen data to generate predictions without providing detailed metrics. This is ideal for real-world performance testing on larger image sets stored in a folder. For evaluating performance metrics, use the validation mode instead.
Tôi nên làm gì nếu mô hình thị giác máy tính của tôi có dấu hiệu quá phù hợp hoặc không phù hợp?
Để giải quyết tình trạng quá tải:
- Regularization techniques like dropout.
- Tăng kích thước của tập dữ liệu đào tạo.
- Đơn giản hóa kiến trúc mô hình.
Để giải quyết tình trạng thiếu phù hợp:
- Sử dụng một mô hình phức tạp hơn.
- Cung cấp nhiều tính năng phù hợp hơn.
- Increase training iterations or epochs.
Xem xét các hình ảnh được phân loại sai, thực hiện phân tích lỗi kỹ lưỡng và thường xuyên theo dõi các chỉ số hiệu suất để duy trì sự cân bằng. Để biết thêm thông tin về các khái niệm này, hãy khám phá phần của chúng tôi về Overfitting và Underfitting.
Làm thế nào tôi có thể phát hiện và tránh rò rỉ dữ liệu trong thị giác máy tính?
Để phát hiện rò rỉ dữ liệu:
- Xác minh rằng hiệu suất thử nghiệm không cao bất thường.
- Kiểm tra tầm quan trọng của tính năng để biết thông tin chi tiết không mong muốn.
- Trực quan xem xét các quyết định của mô hình.
- Đảm bảo phân chia dữ liệu chính xác trước khi xử lý.
Để tránh rò rỉ dữ liệu:
- Sử dụng bộ dữ liệu đa dạng với nhiều môi trường khác nhau.
- Xem xét cẩn thận dữ liệu để tìm những thành kiến ẩn.
- Đảm bảo không có sự chồng chéo thông tin giữa các bộ đào tạo và kiểm tra.
Để biết các chiến lược chi tiết về ngăn chặn rò rỉ dữ liệu, hãy tham khảo phần của chúng tôi về Rò rỉ dữ liệu trong Thị giác máy tính.
Tôi nên thực hiện những bước nào sau khi kiểm tra mô hình thị giác máy tính của mình?
Sau kiểm thử, nếu hiệu suất mô hình đáp ứng các mục tiêu của dự án, hãy tiến hành triển khai. Nếu kết quả không đạt yêu cầu, hãy xem xét:
- Phân tích lỗi.
- Thu thập dữ liệu đa dạng và chất lượng cao hơn.
- Hyperparameter tuning.
- Đào tạo lại mô hình.
Có được thông tin chi tiết từ phần Kiểm thử mô hình so với Đánh giá mô hình để tinh chỉnh và nâng cao hiệu quả mô hình trong các ứng dụng trong thế giới thực.
How do I run YOLO11 predictions without custom training?
You can run predictions using the pre-trained YOLO11 model on your dataset to see if it suits your application needs. Utilize the prediction mode to get a quick sense of performance results without diving into custom training.
