Dağıtım Sonrası Bilgisayarlı Görü Modellerinin Bakımı#

Bir bilgisayarlı görü modelini izlemek ve bakımını yapmak; veri kaymasını ve doğruluk düşüşlerini yakalamak için tahminlerini sürekli takip etmek, performans düştüğünde modeli yeni verilerle yeniden eğitmek ve çalışmaların tekrarlanabilir olmasını sağlamak için her değişikliği belgelemek anlamına gelir. Bu, bir bilgisayarlı görü projesinin son aşamasıdır — gereksinimleri topladıktan, verilere açıklama ekledikten, modeli eğittikten ve dağıttıktan sonra — ve model üretim ortamında çalışırken projenin hedeflerini karşılamaya devam etmesini sağlar.

Bu kılavuzda, bilgisayarlı görü modellerinin dağıtım sonrası bakımının nasıl yapılabileceğini daha yakından inceleyeceğiz. Model izlemenin sorunları erkenden yakalamana nasıl yardımcı olabileceğini, modelinin doğruluğunu ve güncelliğini nasıl koruyacağını ve sorun giderme açısından belgelerin neden önemli olduğunu ele alacağız.

Model İzleme#

Dağıtılmış bilgisayarlı görü modellerini yakından izlemek çok önemlidir. Uygun izleme yapılmazsa modeller doğruluğunu kaybedebilir. Yaygın bir sorun, veri dağılımının değişmesi veya veri kaymasıdır; bu durumda modelin karşılaştığı veriler, modelin eğitildiği verilerden farklılaşır. Model tanımadığı veriler üzerinde tahmin yapmak zorunda kaldığında, bu durum yanlış yorumlamalara ve düşük performansa yol açabilir. Aykırı değerler veya olağan dışı veri noktaları da modelin doğruluğunu düşürebilir.

Düzenli model izleme, geliştiricilerin model performansını takip etmesine, anormallikleri fark etmesine ve veri kayması gibi sorunları hızla ele almasına yardımcı olur. Ayrıca güncelleme gerektiğini göstererek kaynakların yönetilmesine, maliyetli kapsamlı değişikliklerden kaçınılmasına ve modelin güncelliğini korumasına yardımcı olur.

Model İzleme İçin En İyi Uygulamalar#

Üretimdeki bilgisayarlı görü modelini izlerken aklında bulundurman gereken bazı en iyi uygulamalar:

• Performansı Düzenli Olarak Takip Et: Zaman içindeki değişiklikleri tespit etmek için modelin performansını sürekli izle.
• Veri Kalitesini Yeniden Kontrol Et: Verilerde eksik değer veya anormallik olup olmadığını kontrol et.
• Çeşitli Veri Kaynakları Kullan: Model performansına ilişkin kapsamlı bir görünüm elde etmek için farklı kaynaklardan gelen verileri izle.
• İzleme Tekniklerini Birleştir: Çok çeşitli sorunları belirlemek için kayma algılama algoritmaları ile kural tabanlı yaklaşımları birlikte kullan.
• Girdileri ve Çıktıları İzle: Her şeyin doğru çalıştığından emin olmak için hem modelin işlediği verileri hem de ürettiği sonuçları takip et.
• Uyarılar Oluştur: Hızla düzeltici adımlar atabilmek için performans düşüşleri gibi olağan dışı davranışlara yönelik uyarılar uygula.

Ultralytics Platform ile İzleme#

Ultralytics Platform, dağıtılmış YOLO uç noktaları için yerleşik model izleme sunar; böylece ayrı bir izleme yığını kurmadan modelini üretimde takip edebilirsin. Dağıtım panosu, temel sinyalleri gerçek zamanlı olarak izler:

• İstek ölçümleri: Her uç nokta için toplam istek hacmi, hata oranı ve P95 gecikmesi; panoda 24 saatlik mini grafik eğilimleri ve ölçüm API'si üzerinden 1 saat ile 30 gün arasındaki zaman aralıkları.
• Sağlık kontrolleri: Sağlıksız dağıtımları işaretleyen ve yanıt gecikmesini bildiren uç nokta sağlık kontrolleri.
• Günlükler: Başarısız istekleri ve gecikme artışlarını teşhis etmek için önem derecesine göre filtrelenen istek günlükleri (DEBUG'dan CRITICAL'a kadar).
• Genel görünüm: Tüm bölgelerdeki her dağıtımı tek bir görünümde özetleyen etkileşimli dünya haritası ve genel bakış kartları.

İzleme, standart uç nokta URL'leri ve bir /health kontrolü aracılığıyla sunulduğundan, daha derin analiz gerektiğinde bu sinyalleri mevcut gözlemlenebilirlik kurulumuna da dahil edebilirsin. Kurulum ayrıntıları için dağıtım izleme kılavuzuna bak.

Anomali Algılama ve Uyarı Sistemleri#

Anomali, beklenenden oldukça fazla sapan herhangi bir veri noktası veya örüntüdür. Bilgisayarlı görü modelleri açısından anomaliler, modelin eğitim aldığı görüntülerden çok farklı görüntüler olabilir. Bu beklenmedik görüntüler; veri dağılımındaki değişiklikler, aykırı değerler veya model performansını düşürebilecek davranışlar gibi sorunların işareti olabilir. Bu anomalileri algılamak için uyarı sistemleri kurmak, model izlemenin önemli bir parçasıdır.

Temel ölçütler için standart performans düzeyleri ve sınırlar belirleyerek sorunları erkenden yakalayabilirsin. Performans bu sınırların dışına çıktığında uyarılar tetiklenir ve hızlı düzeltme yapılmasını sağlar. Modelleri yeni verilerle düzenli olarak güncellemek ve yeniden eğitmek, veriler değiştikçe modellerin güncel ve doğru kalmasını sağlar.

Eşik Değerlerini ve Uyarıları Yapılandırma#

Uyarı sistemlerini kurarken şu en iyi uygulamaları aklında bulundur:

• Standartlaştırılmış Uyarılar: E-posta veya Slack gibi mesajlaşma uygulamaları gibi tüm uyarılar için tutarlı araçlar ve biçimler kullan. Standartlaştırma, uyarıları hızla anlamanı ve yanıtlamanı kolaylaştırır.
• Beklenen Davranışı Belirt: Uyarı mesajlarında neyin yanlış gittiği, ne beklendiği ve hangi zaman aralığının değerlendirildiği açıkça belirtilmelidir. Bu, uyarının aciliyetini ve bağlamını anlamana yardımcı olur.
• Yapılandırılabilir Uyarılar: Değişen koşullara uyum sağlamak için uyarıları kolayca yapılandırılabilir hâle getir. Eşikleri düzenlemene, uyarıları ertelemene, devre dışı bırakmana veya onaylamana olanak tanı.

Veri Kayması Algılama#

Veri kayması algılama, girdi verilerinin istatistiksel özelliklerinin zaman içinde değişerek model performansını düşürdüğü durumları belirlemeye yardımcı olan bir kavramdır. Modellerini yeniden eğitmeye veya ayarlamaya karar vermeden önce bu teknik, bir sorun olduğunu saptamana yardımcı olur. Veri kayması, zaman içinde genel veri yapısındaki değişiklikleri ele alırken anomali algılama, acil müdahale gerektirebilecek nadir veya beklenmedik veri noktalarını belirlemeye odaklanır.

Veri kaymasını algılamak için kullanabileceğin birkaç yöntem:

• Sürekli İzleme: Kayma belirtilerini görmek için modelin girdi verilerini ve çıktılarını düzenli olarak izle. Önemli değişiklikleri belirlemek için temel ölçütleri takip et ve geçmiş verilerle karşılaştır.
• İstatistiksel Teknikler: Veri dağılımlarındaki değişiklikleri tespit etmek için Kolmogorov-Smirnov testi veya Popülasyon Kararlılık İndeksi (PSI) gibi yöntemleri kullan. Bu testler, önemli farklılıkları belirlemek için yeni verilerin dağılımını eğitim verileriyle karşılaştırır.
• Özellik Kayması: Tek tek özellikleri kayma açısından izle. Bazen genel veri dağılımı kararlı kalırken tekil özellikler kayabilir. Hangi özelliklerin kaydığını belirlemek, yeniden eğitim sürecine ince ayar yapmaya yardımcı olur.

Model Bakımı#

Model bakımı; modelleri düzenli olarak güncelleyip yeniden eğiterek, veri kaymasını ele alarak ve veri ile ortam değişikliklerine uyum sağlayarak bilgisayarlı görü modellerinin zaman içinde doğru ve güncel kalmasını sağlar. İzlemenin tamamlayıcısıdır: izleme sorunları erkenden yakalamak için model performansını gerçek zamanlı takip ederken, bakım bu sorunları gidermeye odaklanır.

Düzenli Güncellemeler ve Yeniden Eğitim#

Bir model dağıtıldıktan sonra izleme sırasında veri örüntülerinde veya performansta değişiklikler fark edebilir, bu da model kaymasına işaret edebilir. Modelin yeni örüntüleri ve senaryoları işleyebilmesini sağlamak için düzenli güncellemeler ve yeniden eğitim, model bakımının temel parçaları hâline gelir. Verilerinin nasıl değiştiğine bağlı olarak kullanabileceğin birkaç teknik vardır.

Örneğin, veriler zaman içinde kademeli olarak değişiyorsa artımlı öğrenme iyi bir yaklaşımdır. Artımlı öğrenme, modeli baştan tamamen yeniden eğitmek yerine yeni verilerle güncellemeyi içerir; böylece işlem kaynaklarından ve zamandan tasarruf edilir. Ancak veriler büyük ölçüde değiştiyse, yeni veriler üzerinde aşırı öğrenme yaparken eski örüntüleri gözden kaçırmamasını sağlamak için belirli aralıklarla tam yeniden eğitim daha iyi bir seçenek olabilir.

Yöntem ne olursa olsun, güncellemelerden sonra doğrulama ve test zorunludur. Performansın iyileşip iyileşmediğini veya düşüp düşmediğini kontrol etmek için modeli ayrı bir test veri kümesinde doğrulamak önemlidir.

Modelini Ne Zaman Yeniden Eğiteceğine Karar Verme#

Bilgisayarlı görü modelini yeniden eğitme sıklığı, veri değişikliklerine ve model performansına bağlıdır. Performansta önemli bir düşüş gözlemlediğinde veya veri kayması tespit ettiğinde modelini yeniden eğit. Düzenli değerlendirmeler, modeli yeni verilerle test ederek doğru yeniden eğitim takvimini belirlemeye yardımcı olabilir. Performans ölçütlerini ve veri örüntülerini izlemek, doğruluğu korumak için modelinin daha sık güncellenmesi gerekip gerekmediğine karar vermeni sağlar.

Belgelendirme#

Bir bilgisayarlı görü projesini belgelemek, projeyi anlamayı, yeniden üretmeyi ve üzerinde iş birliği yapmayı kolaylaştırır. İyi belgeler; model mimarisini, hiperparametreleri, veri kümelerini, değerlendirme ölçütlerini ve daha fazlasını kapsar. Şeffaflık sağlayarak ekip üyelerinin ve paydaşların neler yapıldığını ve neden yapıldığını anlamasına yardımcı olur. Belgeler ayrıca geçmiş karar ve yöntemleri açık bir şekilde kayda geçirerek sorun giderme, bakım ve gelecekteki iyileştirmelere katkıda bulunur.

Belgelenecek Temel Unsurlar#

Proje belgelerine dahil edilmesi gereken temel unsurlardan bazıları şunlardır:

• Projeye Genel Bakış: Problem tanımı, çözüm yaklaşımı, beklenen sonuçlar ve proje kapsamı dahil olmak üzere projeyi üst düzeyde özetle. Sorunun ele alınmasında bilgisayarlı görü'nün rolünü açıkla ve aşamaları ile teslim edilecekleri ana hatlarıyla belirt.
• Model Mimarisi: Bileşenleri, katmanları ve bağlantıları dahil olmak üzere modelin yapısını ve tasarımını ayrıntılı şekilde açıkla. Seçilen hiperparametreleri ve bu seçimlerin ardındaki gerekçeyi açıkla.
• Veri Hazırlama: Veri kaynaklarını, türlerini, biçimlerini, boyutlarını ve ön işleme adımlarını açıkla. Veri kalitesini ve güvenilirliğini, ayrıca model eğitilmeden önce uygulanan dönüşümleri ele al.
• Eğitim Süreci: Kullanılan veri kümeleri, eğitim parametreleri ve kayıp fonksiyonları dahil olmak üzere eğitim prosedürünü belgele. Modelin nasıl eğitildiğini ve eğitim sırasında karşılaşılan zorlukları açıkla.
• Değerlendirme Metrikleri: Doğruluk, kesinlik, duyarlılık ve F1 skoru gibi model performansını değerlendirmek için kullanılan metrikleri belirt. Performans sonuçlarını ve bu metriklerin analizini ekle.
• Dağıtım Adımları: Kullanılan araçlar ve platformlar, dağıtım yapılandırmaları ve karşılaşılan özel zorluklar ya da dikkate alınması gereken noktalar dahil olmak üzere modeli dağıtmak için atılan adımları ana hatlarıyla açıkla.
• İzleme ve Bakım Prosedürü: Dağıtım sonrasında model performansını izlemeye yönelik ayrıntılı bir plan sun. Veri ve model kaymasını tespit etme ve giderme yöntemlerini ekle; düzenli güncelleme ve yeniden eğitim sürecini açıkla.

Sonuç#

Modelini izlemek, bakımını yapmak ve belgelemek, bilgisayarlı görü projesinin dağıtımdan çok sonra da başarılı kalmasını sağlar: sürekli izleme sorunları erkenden yakalar, düzenli yeniden eğitim modeli yeni verilere ve kaymaya uyarlar, açık belgeler ise gelecekteki her güncellemeyi kolaylaştırır. Bunu devam eden bir döngü olarak ele al ve verilerin ile gereksinimlerin değiştikçe bilgisayarlı görü projenin aşamalarını yeniden gözden geçir.

Sık Sorulan Sorular#