Link to this sectionDuy trì các mô hình thị giác máy tính của bạn sau khi triển khai#

Giám sát và duy trì mô hình thị giác máy tính nghĩa là theo dõi liên tục các dự đoán của mô hình để phát hiện data drift và sự sụt giảm độ chính xác, đào tạo lại mô hình trên dữ liệu mới khi hiệu suất giảm, và ghi chép lại mọi thay đổi để công việc luôn có thể tái lập. Đây là giai đoạn cuối cùng của một dự án thị giác máy tính — sau khi bạn đã xác định yêu cầu, gán nhãn dữ liệu, đào tạo mô hình, và triển khai — và đó là yếu tố giúp mô hình đáp ứng các mục tiêu dự án khi đang vận hành trong môi trường production.

Trong hướng dẫn này, chúng ta sẽ tìm hiểu sâu hơn về cách bạn có thể bảo trì các mô hình thị giác máy tính của mình sau khi triển khai. Chúng ta sẽ khám phá cách việc giám sát mô hình có thể giúp bạn phát hiện các vấn đề từ sớm, cách giữ cho mô hình của bạn luôn chính xác và cập nhật, cũng như lý do tại sao tài liệu hóa lại quan trọng đối với việc khắc phục sự cố.

Link to this sectionGiám sát Mô hình#

Việc để mắt chặt chẽ đến các mô hình thị giác máy tính đã triển khai là rất cần thiết. Nếu không có sự giám sát phù hợp, các mô hình có thể bị giảm độ chính xác. Một vấn đề phổ biến là sự thay đổi phân phối dữ liệu hoặc data drift, nơi dữ liệu mà mô hình gặp phải khác với dữ liệu mà nó đã được huấn luyện. Khi mô hình phải đưa ra dự đoán trên dữ liệu mà nó không nhận diện được, điều này có thể dẫn đến hiểu sai và hiệu suất kém. Các điểm ngoại lai (outliers) hoặc các điểm dữ liệu bất thường cũng có thể làm chệch hướng độ chính xác của mô hình.

Việc giám sát mô hình thường xuyên giúp các nhà phát triển theo dõi hiệu suất của mô hình, phát hiện các bất thường và nhanh chóng giải quyết các vấn đề như data drift. Nó cũng giúp quản lý tài nguyên bằng cách chỉ ra thời điểm cần cập nhật, tránh những lần đại tu tốn kém và giữ cho mô hình luôn phù hợp.

Link to this sectionCác phương pháp hay nhất để giám sát mô hình#

Dưới đây là một số phương pháp hay nhất cần ghi nhớ khi giám sát mô hình thị giác máy tính của bạn trong môi trường sản xuất:

• Theo dõi hiệu suất thường xuyên: Liên tục giám sát hiệu suất của mô hình để phát hiện những thay đổi theo thời gian.
• Kiểm tra kỹ chất lượng dữ liệu: Kiểm tra các giá trị bị thiếu hoặc bất thường trong dữ liệu.
• Sử dụng các nguồn dữ liệu đa dạng: Giám sát dữ liệu từ nhiều nguồn khác nhau để có cái nhìn toàn diện về hiệu suất của mô hình.
• Kết hợp các kỹ thuật giám sát: Sử dụng kết hợp các thuật toán phát hiện drift và các phương pháp tiếp cận dựa trên quy tắc để xác định một loạt các vấn đề.
• Giám sát đầu vào và đầu ra: Để mắt đến cả dữ liệu mà mô hình xử lý và các kết quả mà nó tạo ra để đảm bảo mọi thứ đang hoạt động chính xác.
• Thiết lập cảnh báo: Triển khai cảnh báo cho các hành vi bất thường, chẳng hạn như sụt giảm hiệu suất, để có thể thực hiện các hành động khắc phục nhanh chóng.

Link to this sectionGiám sát với Ultralytics Platform#

Ultralytics Platform cung cấp tính năng model monitoring tích hợp sẵn cho các endpoint YOLO đã triển khai, giúp bạn theo dõi mô hình trong môi trường production mà không cần thiết lập một hệ thống giám sát riêng biệt. Deploy dashboard theo dõi các tín hiệu chính theo thời gian thực:

• Số liệu yêu cầu (Request metrics): Tổng khối lượng yêu cầu, tỷ lệ lỗi, và độ trễ P95 cho mỗi endpoint, với các biểu đồ đường xu hướng trong khoảng thời gian từ 1 giờ đến 30 ngày.
• Kiểm tra sức khỏe (Health checks): Tự động thăm dò sức khỏe endpoint, gắn cờ các triển khai không ổn định và báo cáo độ trễ phản hồi.
• Nhật ký (Logs): Nhật ký yêu cầu được lọc theo mức độ nghiêm trọng (từ DEBUG đến CRITICAL) để chẩn đoán các yêu cầu thất bại và các đột biến độ trễ.
• Chế độ xem toàn cầu (Global view): Bản đồ thế giới tương tác và các thẻ tổng quan tóm tắt mọi triển khai trên các khu vực trong một khung nhìn duy nhất.

Vì tính năng giám sát được hiển thị qua các URL endpoint tiêu chuẩn và kiểm tra /health, bạn cũng có thể đưa các tín hiệu này vào hệ thống quan sát hiện tại của mình khi cần phân tích sâu hơn. Để biết chi tiết thiết lập, hãy xem hướng dẫn giám sát triển khai.

Link to this sectionHệ thống phát hiện bất thường và cảnh báo#

Bất thường là bất kỳ điểm dữ liệu hoặc mẫu hình nào lệch đáng kể so với những gì được mong đợi. Đối với các mô hình thị giác máy tính, các bất thường có thể là những hình ảnh rất khác so với những hình ảnh mà mô hình đã được huấn luyện. Những hình ảnh bất ngờ này có thể là dấu hiệu của các vấn đề như thay đổi trong phân phối dữ liệu, các điểm ngoại lai, hoặc các hành vi có thể làm giảm hiệu suất mô hình. Việc thiết lập các hệ thống cảnh báo để phát hiện những bất thường này là một phần quan trọng của việc giám sát mô hình.

Bằng cách thiết lập các mức hiệu suất tiêu chuẩn và giới hạn cho các chỉ số chính, bạn có thể phát hiện vấn đề sớm. Khi hiệu suất vượt ra ngoài các giới hạn này, cảnh báo sẽ được kích hoạt, thúc đẩy các biện pháp khắc phục nhanh chóng. Việc cập nhật và huấn luyện lại các mô hình thường xuyên với dữ liệu mới giúp chúng luôn phù hợp và chính xác khi dữ liệu thay đổi.

Link to this sectionCấu hình Ngưỡng và Cảnh báo#

Khi bạn đang thiết lập các hệ thống cảnh báo của mình, hãy ghi nhớ những phương pháp hay nhất sau:

• Cảnh báo chuẩn hóa: Sử dụng các công cụ và định dạng nhất quán cho tất cả các cảnh báo, chẳng hạn như email hoặc các ứng dụng nhắn tin như Slack. Việc chuẩn hóa giúp bạn dễ dàng hiểu và phản hồi nhanh chóng với các cảnh báo.
• Bao gồm hành vi mong đợi: Các thông báo cảnh báo nên nêu rõ điều gì đã xảy ra sai sót, điều gì được mong đợi và khung thời gian được đánh giá. Điều này giúp bạn đánh giá mức độ khẩn cấp và ngữ cảnh của cảnh báo.
• Cảnh báo có thể cấu hình: Hãy làm cho các cảnh báo dễ dàng cấu hình để thích ứng với các điều kiện thay đổi. Cho phép bản thân chỉnh sửa ngưỡng, tạm dừng (snooze), vô hiệu hóa hoặc xác nhận các cảnh báo.

Link to this sectionPhát hiện Data Drift#

Phát hiện data drift là một khái niệm giúp xác định khi nào các thuộc tính thống kê của dữ liệu đầu vào thay đổi theo thời gian, điều này có thể làm suy giảm hiệu suất mô hình. Trước khi bạn quyết định huấn luyện lại hoặc điều chỉnh các mô hình của mình, kỹ thuật này giúp phát hiện rằng có một vấn đề đang xảy ra. Data drift liên quan đến những thay đổi trong bối cảnh dữ liệu tổng thể theo thời gian, trong khi phát hiện bất thường tập trung vào việc xác định các điểm dữ liệu hiếm hoặc bất ngờ có thể cần được chú ý ngay lập tức.

Dưới đây là một số phương pháp để phát hiện data drift:

• Giám sát liên tục: Thường xuyên giám sát dữ liệu đầu vào và đầu ra của mô hình để tìm các dấu hiệu của drift. Theo dõi các chỉ số chính và so sánh chúng với dữ liệu lịch sử để xác định những thay đổi đáng kể.
• Kỹ thuật thống kê: Sử dụng các phương pháp như kiểm định Kolmogorov-Smirnov hoặc Chỉ số ổn định dân số (PSI) để phát hiện những thay đổi trong phân phối dữ liệu. Các kiểm định này so sánh phân phối của dữ liệu mới với dữ liệu huấn luyện để xác định sự khác biệt đáng kể.
• Feature Drift: Giám sát từng feature (đặc trưng) riêng lẻ để tìm drift. Đôi khi, phân phối dữ liệu tổng thể có thể vẫn ổn định, nhưng các feature riêng lẻ có thể drift. Việc xác định feature nào đang bị drift sẽ giúp ích cho việc tinh chỉnh quy trình huấn luyện lại.

Link to this sectionBảo trì mô hình#

Bảo trì mô hình giúp các mô hình thị giác máy tính duy trì độ chính xác và tính phù hợp theo thời gian bằng cách cập nhật và đào tạo lại thường xuyên, giải quyết vấn đề data drift, và thích nghi khi dữ liệu và môi trường thay đổi. Đây là khía cạnh song hành với giám sát: giám sát theo dõi hiệu suất mô hình trong thời gian thực để phát hiện sớm các vấn đề, trong khi bảo trì tập trung vào việc khắc phục các vấn đề đó.

Link to this sectionCập nhật và Đào tạo lại Thường xuyên#

Sau khi mô hình được triển khai, trong quá trình giám sát, bạn có thể nhận thấy những thay đổi trong mô hình dữ liệu hoặc hiệu suất, cho thấy hiện tượng model drift. Việc cập nhật và đào tạo lại thường xuyên trở thành một phần thiết yếu của bảo trì mô hình để đảm bảo mô hình có thể xử lý các mô hình và tình huống mới. Có một vài kỹ thuật bạn có thể sử dụng dựa trên cách dữ liệu của bạn thay đổi.

Ví dụ, nếu dữ liệu thay đổi dần dần theo thời gian, incremental learning là một phương pháp tiếp cận tốt. Incremental learning liên quan đến việc cập nhật mô hình với dữ liệu mới mà không cần đào tạo lại hoàn toàn từ đầu, giúp tiết kiệm tài nguyên tính toán và thời gian. Tuy nhiên, nếu dữ liệu thay đổi mạnh mẽ, việc đào tạo lại hoàn toàn định kỳ có thể là lựa chọn tốt hơn để đảm bảo mô hình không bị overfit trên dữ liệu mới trong khi vẫn nắm bắt được các mô hình cũ.

Bất kể phương pháp nào, việc xác thực và kiểm thử là bắt buộc sau khi cập nhật. Điều quan trọng là phải xác thực mô hình trên một tập dữ liệu kiểm thử riêng biệt để kiểm tra xem hiệu suất có cải thiện hay suy giảm hay không.

Link to this sectionQuyết định thời điểm huấn luyện lại mô hình của bạn#

Tần suất huấn luyện lại mô hình thị giác máy tính của bạn phụ thuộc vào những thay đổi dữ liệu và hiệu suất mô hình. Hãy huấn luyện lại mô hình của bạn bất cứ khi nào bạn quan sát thấy sự sụt giảm hiệu suất đáng kể hoặc phát hiện data drift. Các đánh giá thường xuyên có thể giúp xác định lịch trình huấn luyện lại phù hợp bằng cách kiểm thử mô hình trên dữ liệu mới. Việc giám sát các chỉ số hiệu suất và các mẫu hình dữ liệu cho phép bạn quyết định xem mô hình của mình có cần cập nhật thường xuyên hơn để duy trì độ chính xác hay không.

Link to this sectionTài liệu hóa#

Tài liệu hóa một dự án thị giác máy tính giúp việc hiểu, tái hiện và cộng tác dễ dàng hơn. Tài liệu tốt bao gồm kiến trúc mô hình, siêu tham số (hyperparameters), tập dữ liệu, các chỉ số đánh giá và nhiều hơn nữa. Nó cung cấp sự minh bạch, giúp các thành viên trong nhóm và các bên liên quan hiểu những gì đã được thực hiện và tại sao. Tài liệu cũng hỗ trợ việc khắc phục sự cố, bảo trì và các cải tiến trong tương lai bằng cách cung cấp một tài liệu tham khảo rõ ràng về các quyết định và phương pháp trong quá khứ.

Link to this sectionCác yếu tố chính cần tài liệu hóa#

Đây là một số yếu tố chính cần được đưa vào tài liệu dự án:

• Tổng quan dự án: Cung cấp bản tóm tắt cấp cao về dự án, bao gồm tuyên bố vấn đề, phương pháp tiếp cận giải pháp, kết quả mong đợi và phạm vi dự án. Giải thích vai trò của thị giác máy tính trong việc giải quyết vấn đề và phác thảo các giai đoạn và kết quả bàn giao.
• Kiến trúc mô hình: Chi tiết cấu trúc và thiết kế của mô hình, bao gồm các thành phần, lớp và kết nối. Giải thích các siêu tham số đã chọn và lý do đằng sau những lựa chọn đó.
• Chuẩn bị dữ liệu: Mô tả các nguồn dữ liệu, loại, định dạng, kích thước và các bước tiền xử lý. Thảo luận về chất lượng dữ liệu, độ tin cậy và bất kỳ phép biến đổi nào được áp dụng trước khi huấn luyện mô hình.
• Quy trình huấn luyện: Tài liệu hóa quy trình huấn luyện, bao gồm các tập dữ liệu được sử dụng, các tham số huấn luyện và hàm mất mát (loss functions). Giải thích cách mô hình được huấn luyện và bất kỳ thách thức nào gặp phải trong quá trình huấn luyện.
• Chỉ số đánh giá: Chỉ định các chỉ số được sử dụng để đánh giá hiệu suất của mô hình, chẳng hạn như độ chính xác (accuracy), độ chính xác (precision), độ thu hồi (recall) và F1-score. Bao gồm kết quả hiệu suất và phân tích các chỉ số này.
• Các bước triển khai: Phác thảo các bước thực hiện để triển khai mô hình, bao gồm các công cụ và nền tảng được sử dụng, cấu hình triển khai, và bất kỳ thách thức hoặc cân nhắc cụ thể nào.
• Quy trình giám sát và bảo trì: Cung cấp kế hoạch chi tiết để giám sát hiệu suất của mô hình sau khi triển khai. Bao gồm các phương pháp để phát hiện và giải quyết data drift và model drift, và mô tả quy trình cập nhật và huấn luyện lại thường xuyên.

Link to this sectionKết luận#

Việc giám sát, duy trì và ghi chép tài liệu cho mô hình chính là yếu tố giúp một dự án thị giác máy tính thành công lâu dài sau khi triển khai: giám sát liên tục giúp phát hiện sớm vấn đề, đào tạo lại thường xuyên giúp mô hình thích nghi với dữ liệu mới và hiện tượng drift, và tài liệu rõ ràng giúp mọi cập nhật trong tương lai trở nên dễ dàng hơn. Hãy coi đây là một vòng lặp liên tục và xem xét lại các giai đoạn trong dự án thị giác máy tính của bạn khi dữ liệu và yêu cầu của bạn phát triển.

Link to this sectionCâu hỏi thường gặp#

Link to this sectionLàm thế nào để tôi giám sát hiệu suất của mô hình thị giác máy tính đã triển khai của mình?#

Để giám sát một mô hình thị giác máy tính đã triển khai, hãy theo dõi khối lượng yêu cầu, tỷ lệ lỗi và độ trễ trong môi trường production trong khi quan sát các bất thường và data drift báo hiệu sự sụt giảm độ chính xác. Ultralytics Platform Deploy dashboard hỗ trợ khía cạnh chỉ số production ngay khi cài đặt với các số liệu thời gian thực, tự động kiểm tra sức khỏe và nhật ký được lọc theo mức độ nghiêm trọng. Giám sát thường xuyên đầu vào và đầu ra, thiết lập cảnh báo cho các hành vi bất thường, và sử dụng các nguồn dữ liệu đa dạng để có cái nhìn toàn diện về hiệu suất mô hình. Để biết thêm chi tiết, hãy xem phần Giám sát Mô hình của chúng tôi.

Link to this sectionCác phương pháp hay nhất để bảo trì các mô hình thị giác máy tính sau khi triển khai là gì?#

Bảo trì các mô hình thị giác máy tính bao gồm việc cập nhật, huấn luyện lại và giám sát thường xuyên để đảm bảo tính chính xác và phù hợp liên tục. Các phương pháp hay nhất bao gồm:

• Giám sát liên tục: Theo dõi các chỉ số hiệu suất và chất lượng dữ liệu thường xuyên.
• Phát hiện Data Drift: Sử dụng các kỹ thuật thống kê để xác định những thay đổi trong phân phối dữ liệu.
• Cập nhật và huấn luyện lại thường xuyên: Triển khai học tăng dần hoặc huấn luyện lại toàn bộ định kỳ dựa trên những thay đổi của dữ liệu.
• Tài liệu hóa: Duy trì tài liệu chi tiết về kiến trúc mô hình, quy trình huấn luyện và các chỉ số đánh giá. Để biết thêm thông tin chi tiết, hãy truy cập phần Bảo trì mô hình của chúng tôi.

Link to this sectionTại sao việc phát hiện data drift lại quan trọng đối với các mô hình AI?#

Phát hiện data drift là rất cần thiết vì nó giúp xác định khi nào các thuộc tính thống kê của dữ liệu đầu vào thay đổi theo thời gian, điều này có thể làm suy giảm hiệu suất mô hình. Các kỹ thuật như giám sát liên tục, kiểm định thống kê (ví dụ: kiểm định Kolmogorov-Smirnov) và phân tích feature drift có thể giúp phát hiện các vấn đề từ sớm. Giải quyết data drift đảm bảo rằng mô hình của bạn vẫn chính xác và phù hợp trong các môi trường thay đổi. Tìm hiểu thêm về phát hiện data drift trong phần Phát hiện Data Drift của chúng tôi.

Link to this sectionTôi có thể sử dụng các công cụ nào để phát hiện bất thường trong các mô hình thị giác máy tính?#

Để phát hiện bất thường trong các mô hình thị giác máy tính, hãy đặt mức hiệu suất tiêu chuẩn cho các chỉ số chính và kích hoạt cảnh báo bất cứ khi nào giá trị nằm ngoài các giới hạn đó. Ultralytics Platform hỗ trợ điều này với các số liệu về tỷ lệ lỗi và độ trễ theo thời gian thực, tự động kiểm tra sức khỏe và nhật ký được lọc theo mức độ nghiêm trọng giúp phát hiện hành vi bất thường nhanh chóng. Các cảnh báo có thể cấu hình và thông báo tiêu chuẩn hóa giúp bạn phản ứng nhanh với các vấn đề tiềm ẩn. Khám phá thêm trong phần Phát hiện Bất thường và Hệ thống Cảnh báo của chúng tôi.

Link to this sectionLàm thế nào để tôi có thể tài liệu hóa dự án thị giác máy tính của mình một cách hiệu quả?#

Tài liệu hóa hiệu quả một dự án thị giác máy tính nên bao gồm:

• Tổng quan dự án: Tóm tắt cấp cao, tuyên bố vấn đề và phương pháp tiếp cận giải pháp.
• Kiến trúc mô hình: Chi tiết về cấu trúc mô hình, các thành phần và siêu tham số.
• Chuẩn bị dữ liệu: Thông tin về các nguồn dữ liệu, các bước tiền xử lý và các phép biến đổi.
• Quy trình huấn luyện: Mô tả quy trình huấn luyện, các tập dữ liệu đã sử dụng và các thách thức gặp phải.
• Chỉ số đánh giá: Các chỉ số được sử dụng để đánh giá hiệu suất và phân tích.
• Các bước triển khai: Các bước được thực hiện cho triển khai mô hình và bất kỳ thách thức cụ thể nào.
• Quy trình giám sát và bảo trì: Kế hoạch cho việc giám sát và bảo trì liên tục. Để có hướng dẫn toàn diện hơn, hãy tham khảo phần Tài liệu hóa của chúng tôi.