Hướng dẫn về thử nghiệm mô hình
Giới thiệu
Sau khi đào tạo và đánh giá mô hình của bạn, đã đến lúc kiểm tra nó. Kiểm tra mô hình liên quan đến việc đánh giá hiệu suất của nó trong các tình huống thực tế. Kiểm tra xem xét các yếu tố như độ chính xác, độ tin cậy, tính công bằng và mức độ dễ hiểu các quyết định của mô hình. Mục tiêu là đảm bảo mô hình hoạt động như mong đợi, mang lại kết quả mong đợi và phù hợp với mục tiêu chung của ứng dụng hoặc dự án của bạn .
Kiểm thử mô hình khá giống với đánh giá mô hình, nhưng chúng là hai bước riêng biệt trong một dự án thị giác máy tính . Đánh giá mô hình bao gồm các số liệu và biểu đồ để đánh giá độ chính xác của mô hình. Mặt khác, kiểm thử mô hình kiểm tra xem hành vi đã học của mô hình có giống với kỳ vọng hay không. Trong hướng dẫn này, chúng ta sẽ khám phá các chiến lược để kiểm tra các mô hình thị giác máy tính của bạn.
Kiểm tra mô hình so với đánh giá mô hình
Đầu tiên, chúng ta hãy tìm hiểu sự khác biệt giữa đánh giá và thử nghiệm mô hình thông qua ví dụ.
Giả sử bạn đã đào tạo một mô hình thị giác máy tính để nhận dạng mèo và chó, và bạn muốn triển khai mô hình này tại một cửa hàng thú cưng để theo dõi các loài động vật. Trong giai đoạn đánh giá mô hình, bạn sử dụng một tập dữ liệu được gắn nhãn để tính toán các số liệu như độ chính xác, độ chính xác , độ thu hồi và điểm F1. Ví dụ, mô hình có thể có độ chính xác là 98% trong việc phân biệt giữa mèo và chó trong một tập dữ liệu nhất định.
Sau khi đánh giá, bạn kiểm tra mô hình bằng hình ảnh từ một cửa hàng thú cưng để xem mô hình nhận dạng mèo và chó tốt như thế nào trong các điều kiện đa dạng và thực tế hơn. Bạn kiểm tra xem mô hình có thể dán nhãn chính xác cho mèo và chó khi chúng di chuyển, trong các điều kiện ánh sáng khác nhau hoặc bị che khuất một phần bởi các vật thể như đồ chơi hoặc đồ nội thất hay không. Kiểm tra mô hình kiểm tra xem mô hình có hoạt động như mong đợi bên ngoài môi trường đánh giá được kiểm soát hay không.
Chuẩn bị cho thử nghiệm mô hình
Các mô hình thị giác máy tính học từ các tập dữ liệu bằng cách phát hiện các mẫu, đưa ra dự đoán và đánh giá hiệu suất của chúng. Các tập dữ liệu này thường được chia thành các tập huấn luyện và thử nghiệm để mô phỏng các điều kiện trong thế giới thực. Dữ liệu huấn luyện dạy mô hình trong khi dữ liệu thử nghiệm xác minh độ chính xác của nó.
Sau đây là hai điểm cần lưu ý trước khi thử nghiệm mô hình của bạn:
- Biểu diễn thực tế: Dữ liệu thử nghiệm chưa từng thấy trước đây phải tương tự như dữ liệu mà mô hình sẽ phải xử lý khi triển khai. Điều này giúp hiểu thực tế về khả năng của mô hình.
- Kích thước đủ: Kích thước của tập dữ liệu thử nghiệm cần phải đủ lớn để cung cấp thông tin chi tiết đáng tin cậy về hiệu suất hoạt động của mô hình.
Kiểm tra mô hình thị giác máy tính của bạn
Sau đây là các bước chính cần thực hiện để kiểm tra mô hình thị giác máy tính và hiểu rõ hiệu suất của nó.
- Chạy dự đoán: Sử dụng mô hình để đưa ra dự đoán trên tập dữ liệu thử nghiệm.
- So sánh dự đoán: Kiểm tra mức độ phù hợp của dự đoán của mô hình với nhãn thực tế (giá trị thực tế).
- Tính toán số liệu hiệu suất: Tính toán các số liệu như độ chính xác, độ chính xác, độ thu hồi và điểm F1 để hiểu điểm mạnh và điểm yếu của mô hình. Kiểm tra tập trung vào cách các số liệu này phản ánh hiệu suất thực tế.
- Hình dung kết quả: Tạo các công cụ hỗ trợ trực quan như ma trận nhầm lẫn và đường cong ROC. Chúng giúp bạn phát hiện các khu vực cụ thể mà mô hình có thể không hoạt động tốt trong các ứng dụng thực tế.
Tiếp theo, kết quả thử nghiệm có thể được phân tích:
- Hình ảnh phân loại sai: Xác định và xem xét các hình ảnh mà mô hình phân loại sai để hiểu lỗi ở đâu.
- Phân tích lỗi: Thực hiện phân tích lỗi kỹ lưỡng để hiểu các loại lỗi (ví dụ: kết quả dương tính giả so với kết quả âm tính giả) và nguyên nhân tiềm ẩn của chúng.
- Độ lệch và tính công bằng: Kiểm tra xem có bất kỳ độ lệch nào trong dự đoán của mô hình không. Đảm bảo rằng mô hình hoạt động tốt như nhau trên các tập hợp con khác nhau của dữ liệu, đặc biệt nếu nó bao gồm các thuộc tính nhạy cảm như chủng tộc, giới tính hoặc độ tuổi.
Kiểm tra của bạn YOLO11 Người mẫu
Để kiểm tra của bạn YOLO11 mô hình, bạn có thể sử dụng chế độ xác thực. Đây là cách đơn giản để hiểu điểm mạnh của mô hình và các lĩnh vực cần cải thiện. Ngoài ra, bạn sẽ cần định dạng tập dữ liệu thử nghiệm của mình một cách chính xác cho YOLO11 . Để biết thêm chi tiết về cách sử dụng chế độ xác thực, hãy xem trang tài liệu Xác thực mô hình .
Sử dụng YOLO11 để Dự đoán trên Nhiều Hình ảnh Kiểm tra
Nếu bạn muốn kiểm tra đào tạo của bạn YOLO11 mô hình trên nhiều hình ảnh được lưu trữ trong một thư mục, bạn có thể dễ dàng thực hiện cùng một lúc. Thay vì sử dụng chế độ xác thực, thường được sử dụng để đánh giá hiệu suất mô hình trên một tập hợp xác thực và cung cấp số liệu chi tiết, bạn có thể chỉ muốn xem dự đoán trên tất cả các hình ảnh trong tập kiểm tra của mình. Đối với điều này, bạn có thể sử dụng chế độ dự đoán .
Sự khác biệt giữa chế độ xác thực và chế độ dự đoán
- Chế độ xác thực : Được sử dụng để đánh giá hiệu suất của mô hình bằng cách so sánh các dự đoán với các nhãn đã biết (sự thật cơ bản). Nó cung cấp các số liệu chi tiết như độ chính xác, độ chính xác, khả năng thu hồi và điểm F1.
- Chế độ dự đoán : Được sử dụng để chạy mô hình trên dữ liệu mới, chưa từng thấy để tạo dự đoán. Nó không cung cấp số liệu hiệu suất chi tiết nhưng cho phép bạn xem mô hình hoạt động như thế nào trên hình ảnh thực tế.
Đang chạy YOLO11 Dự đoán không có đào tạo tùy chỉnh
Nếu bạn quan tâm đến việc thử nghiệm cơ bản YOLO11 mô hình để hiểu liệu nó có thể được sử dụng cho ứng dụng của bạn mà không cần đào tạo tùy chỉnh hay không, bạn có thể sử dụng chế độ dự đoán. Trong khi mô hình được đào tạo trước trên các tập dữ liệu như COCO, việc chạy dự đoán trên tập dữ liệu của riêng bạn có thể giúp bạn nhanh chóng biết được nó có thể hoạt động tốt như thế nào trong bối cảnh cụ thể của bạn.
Quá khớp và thiếu khớp trong học máy
Khi thử nghiệm mô hình học máy, đặc biệt là trong thị giác máy tính, điều quan trọng là phải chú ý đến tình trạng quá khớp và quá khớp. Những vấn đề này có thể ảnh hưởng đáng kể đến mức độ hoạt động của mô hình với dữ liệu mới.
Quá phù hợp
Quá khớp xảy ra khi mô hình của bạn học dữ liệu đào tạo quá tốt, bao gồm nhiễu và chi tiết không khái quát hóa thành dữ liệu mới. Trong thị giác máy tính, điều này có nghĩa là mô hình của bạn có thể hoạt động tốt với hình ảnh đào tạo nhưng lại gặp khó khăn với hình ảnh mới.
Dấu hiệu của việc quá phù hợp
- Độ chính xác đào tạo cao, độ chính xác xác thực thấp: Nếu mô hình của bạn hoạt động rất tốt trên dữ liệu đào tạo nhưng lại kém trên dữ liệu xác thực hoặc thử nghiệm , thì có khả năng là mô hình đang quá khớp.
- Kiểm tra trực quan: Đôi khi, bạn có thể thấy hiện tượng quá khớp nếu mô hình của bạn quá nhạy cảm với những thay đổi nhỏ hoặc các chi tiết không liên quan trong hình ảnh.
Không vừa vặn
Sự thiếu phù hợp xảy ra khi mô hình của bạn không thể nắm bắt được các mẫu cơ bản trong dữ liệu. Trong thị giác máy tính, một mô hình thiếu phù hợp thậm chí có thể không nhận dạng chính xác các đối tượng trong hình ảnh đào tạo.
Dấu hiệu của việc không vừa vặn
- Độ chính xác khi đào tạo thấp: Nếu mô hình của bạn không đạt được độ chính xác cao trên tập đào tạo, thì có thể mô hình đang bị thiếu khớp.
- Phân loại sai thị giác: Không nhận ra được các đặc điểm hoặc đối tượng rõ ràng cho thấy sự không phù hợp.
Cân bằng giữa Overfitting và Underfitting
Chìa khóa là tìm ra sự cân bằng giữa overfitting và underfitting. Lý tưởng nhất là một mô hình phải hoạt động tốt trên cả tập dữ liệu đào tạo và xác thực. Thường xuyên theo dõi hiệu suất của mô hình thông qua số liệu và kiểm tra trực quan, cùng với việc áp dụng các chiến lược phù hợp, có thể giúp bạn đạt được kết quả tốt nhất.
Rò rỉ dữ liệu trong tầm nhìn máy tính và cách tránh nó
Khi thử nghiệm mô hình của bạn, một điều quan trọng cần lưu ý là rò rỉ dữ liệu. Rò rỉ dữ liệu xảy ra khi thông tin từ bên ngoài tập dữ liệu đào tạo vô tình được sử dụng để đào tạo mô hình. Mô hình có vẻ rất chính xác trong quá trình đào tạo, nhưng nó sẽ không hoạt động tốt trên dữ liệu mới, chưa được biết đến khi rò rỉ dữ liệu xảy ra.
Tại sao rò rỉ dữ liệu xảy ra
Rò rỉ dữ liệu có thể khó phát hiện và thường xuất phát từ các sai lệch ẩn trong dữ liệu đào tạo. Sau đây là một số cách phổ biến có thể xảy ra trong thị giác máy tính:
- Độ lệch của máy ảnh: Các góc chụp, ánh sáng, bóng đổ và chuyển động của máy ảnh khác nhau có thể tạo ra các hình mẫu không mong muốn.
- Độ lệch lớp phủ: Logo, dấu thời gian hoặc các lớp phủ khác trong hình ảnh có thể gây hiểu lầm cho mô hình.
- Độ lệch về phông chữ và đối tượng: Các phông chữ hoặc đối tượng cụ thể thường xuyên xuất hiện trong một số lớp nhất định có thể làm sai lệch quá trình học của mô hình.
- Sai lệch không gian: Sự mất cân bằng giữa tiền cảnh-hậu cảnh, phân bố hộp giới hạn và vị trí đối tượng có thể ảnh hưởng đến quá trình đào tạo.
- Sai lệch nhãn và miền: Nhãn không chính xác hoặc thay đổi kiểu dữ liệu có thể dẫn đến rò rỉ.
Phát hiện rò rỉ dữ liệu
Để tìm rò rỉ dữ liệu, bạn có thể:
- Kiểm tra hiệu suất: Nếu kết quả của mô hình tốt một cách đáng ngạc nhiên thì có thể mô hình đang bị rò rỉ.
- Xem xét mức độ quan trọng của tính năng: Nếu một tính năng quan trọng hơn nhiều so với các tính năng khác, điều đó có thể chỉ ra tình trạng rò rỉ.
- Kiểm tra trực quan: Kiểm tra lại xem các quyết định của mô hình có hợp lý về mặt trực quan hay không.
- Xác minh phân tách dữ liệu: Đảm bảo dữ liệu được phân chia chính xác trước khi xử lý.
Tránh rò rỉ dữ liệu
Để ngăn chặn rò rỉ dữ liệu, hãy sử dụng một tập dữ liệu đa dạng với hình ảnh hoặc video từ các máy ảnh và môi trường khác nhau. Xem xét cẩn thận dữ liệu của bạn và kiểm tra xem không có sai lệch ẩn nào, chẳng hạn như tất cả các mẫu dương tính được lấy vào một thời điểm cụ thể trong ngày. Tránh rò rỉ dữ liệu sẽ giúp các mô hình thị giác máy tính của bạn đáng tin cậy và hiệu quả hơn trong các tình huống thực tế.
Những gì xảy ra sau khi thử nghiệm mô hình
Sau khi kiểm tra mô hình của bạn, các bước tiếp theo phụ thuộc vào kết quả. Nếu mô hình của bạn hoạt động tốt, bạn có thể triển khai nó vào môi trường thực tế. Nếu kết quả không đạt yêu cầu, bạn sẽ cần phải cải thiện. Điều này có thể bao gồm phân tích lỗi, thu thập thêm dữ liệu , cải thiện chất lượng dữ liệu, điều chỉnh siêu tham số và đào tạo lại mô hình.
Tham gia cuộc trò chuyện về AI
Trở thành một phần của cộng đồng những người đam mê thị giác máy tính có thể giúp giải quyết vấn đề và học tập hiệu quả hơn. Sau đây là một số cách để kết nối, tìm kiếm sự trợ giúp và chia sẻ suy nghĩ của bạn.
Tài nguyên cộng đồng
- GitHub Issues: Khám phá kho lưu trữ GitHub YOLO11 và sử dụng tab Issues để đặt câu hỏi, báo cáo lỗi và đề xuất các tính năng mới. Cộng đồng và người bảo trì rất năng động và sẵn sàng trợ giúp.
- Máy chủ Discord Ultralytics : Tham gia máy chủ Discord Ultralytics để trò chuyện với những người dùng và nhà phát triển khác, nhận hỗ trợ và chia sẻ kinh nghiệm của bạn.
Tài liệu chính thức
- Tài liệu YOLO11 Ultralytics : Tham khảo tài liệu YOLO11 chính thức để biết hướng dẫn chi tiết và mẹo hữu ích về nhiều dự án thị giác máy tính khác nhau.
Những tài nguyên này sẽ giúp bạn vượt qua các thách thức và cập nhật những xu hướng và thông lệ mới nhất trong cộng đồng thị giác máy tính.
Tóm tắt
Xây dựng các mô hình thị giác máy tính đáng tin cậy dựa trên thử nghiệm mô hình nghiêm ngặt. Bằng cách thử nghiệm mô hình với dữ liệu chưa từng thấy trước đó, chúng ta có thể phân tích mô hình và phát hiện ra các điểm yếu như quá khớp và rò rỉ dữ liệu. Giải quyết các vấn đề này trước khi triển khai giúp mô hình hoạt động tốt trong các ứng dụng thực tế. Điều quan trọng cần nhớ là thử nghiệm mô hình cũng quan trọng như đánh giá mô hình trong việc đảm bảo thành công và hiệu quả lâu dài của mô hình.
CÂU HỎI THƯỜNG GẶP
Sự khác biệt chính giữa đánh giá mô hình và thử nghiệm mô hình trong thị giác máy tính là gì?
Đánh giá mô hình và thử nghiệm mô hình là các bước riêng biệt trong một dự án thị giác máy tính. Đánh giá mô hình liên quan đến việc sử dụng một tập dữ liệu được gắn nhãn để tính toán các số liệu như độ chính xác , độ chính xác, độ thu hồi và điểm F1 , cung cấp thông tin chi tiết về hiệu suất của mô hình với một tập dữ liệu được kiểm soát. Mặt khác, thử nghiệm mô hình đánh giá hiệu suất của mô hình trong các tình huống thực tế bằng cách áp dụng nó vào dữ liệu mới, chưa từng thấy, đảm bảo hành vi đã học của mô hình phù hợp với kỳ vọng bên ngoài môi trường đánh giá. Để biết hướng dẫn chi tiết, hãy tham khảo các bước trong một dự án thị giác máy tính .
Làm thế nào tôi có thể kiểm tra Ultralytics YOLO11 mô hình trên nhiều hình ảnh?
Để kiểm tra của bạn Ultralytics YOLO11 mô hình trên nhiều hình ảnh, bạn có thể sử dụng chế độ dự đoán . Chế độ này cho phép bạn chạy mô hình trên dữ liệu mới, chưa từng thấy để tạo dự đoán mà không cần cung cấp số liệu chi tiết. Điều này lý tưởng cho việc thử nghiệm hiệu suất thực tế trên các tập ảnh lớn hơn được lưu trữ trong một thư mục. Để đánh giá số liệu hiệu suất, hãy sử dụng chế độ xác thực .
Tôi nên làm gì nếu mô hình thị giác máy tính của tôi có dấu hiệu quá khớp hoặc quá thiếu khớp?
Để giải quyết tình trạng quá khớp :
- Các kỹ thuật chính quy hóa như bỏ học.
- Tăng kích thước của tập dữ liệu đào tạo.
- Đơn giản hóa kiến trúc mô hình.
Để giải quyết tình trạng thiếu phù hợp :
- Sử dụng mô hình phức tạp hơn.
- Cung cấp nhiều tính năng phù hợp hơn.
- Tăng số lần lặp lại hoặc kỷ nguyên đào tạo.
Xem lại các hình ảnh phân loại sai, thực hiện phân tích lỗi kỹ lưỡng và theo dõi thường xuyên các số liệu hiệu suất để duy trì sự cân bằng. Để biết thêm thông tin về các khái niệm này, hãy khám phá phần Overfitting và Underfitting của chúng tôi.
Làm thế nào để phát hiện và tránh rò rỉ dữ liệu trong thị giác máy tính?
Để phát hiện rò rỉ dữ liệu:
- Xác minh rằng hiệu suất thử nghiệm không cao bất thường.
- Kiểm tra tầm quan trọng của tính năng để có thông tin chi tiết bất ngờ.
- Xem xét trực quan các quyết định của mô hình.
- Đảm bảo phân chia dữ liệu chính xác trước khi xử lý.
Để tránh rò rỉ dữ liệu:
- Sử dụng nhiều tập dữ liệu khác nhau với nhiều môi trường khác nhau.
- Xem xét cẩn thận dữ liệu để tìm ra những thành kiến tiềm ẩn.
- Đảm bảo không có thông tin chồng chéo giữa tập huấn luyện và tập kiểm tra.
Để biết các chiến lược chi tiết về ngăn ngừa rò rỉ dữ liệu, hãy tham khảo phần Rò rỉ dữ liệu trong Thị giác máy tính của chúng tôi.
Tôi nên thực hiện những bước nào sau khi thử nghiệm mô hình thị giác máy tính của mình?
Sau khi kiểm tra, nếu hiệu suất mô hình đáp ứng được mục tiêu của dự án, hãy tiến hành triển khai. Nếu kết quả không đạt yêu cầu, hãy cân nhắc:
- Phân tích lỗi.
- Thu thập dữ liệu đa dạng và chất lượng cao hơn.
- Điều chỉnh siêu tham số .
- Đào tạo lại mô hình.
Tìm hiểu sâu hơn từ phần Kiểm tra mô hình so với Đánh giá mô hình để tinh chỉnh và nâng cao hiệu quả của mô hình trong các ứng dụng thực tế.
Tôi chạy thế nào YOLO11 dự đoán mà không cần đào tạo tùy chỉnh?
Bạn có thể chạy dự đoán bằng cách sử dụng được đào tạo trước YOLO11 mô hình trên tập dữ liệu của bạn để xem nó có phù hợp với nhu cầu ứng dụng của bạn không. Sử dụng chế độ dự đoán để có được cảm nhận nhanh về kết quả hiệu suất mà không cần đào tạo tùy chỉnh.
