Dağıtımdan Sonra Bilgisayarlı Görü Modellerinin Bakımı#

Bir bilgisayarlı görü modelini izlemek ve bakımını yapmak; tahminlerini veri kayması ve doğruluk düşüşleri açısından sürekli takip etmeyi, performans düştüğünde modeli güncel verilerle yeniden eğitmeyi ve çalışmanın yeniden üretilebilir kalması için her değişikliği belgelemeyi ifade eder. Bu, bir bilgisayarlı görü projesinin son aşamasıdır — gereksinimleri topladıktan, verilere açıklama ekledikten, modeli eğittikten ve modeli dağıttıktan sonra — ve model üretimde çalışırken projenin hedeflerini karşılamaya devam etmesini sağlar.

Bu kılavuzda, dağıtımdan sonra bilgisayarlı görü modellerinin bakımını nasıl yapabileceğini daha yakından inceleyeceğiz. Model izlemenin sorunları erkenden yakalamana, modelinin doğruluğunu ve güncelliğini korumana nasıl yardımcı olabileceğini ve sorun gidermede belgelerin neden önemli olduğunu ele alacağız.

Model İzleme#

Dağıtılmış bilgisayarlı görü modellerini yakından izlemek çok önemlidir. Uygun izleme yapılmadığında modeller doğruluğunu kaybedebilir. Yaygın bir sorun, veri dağılımı değişikliği veya modelin karşılaştığı verilerin eğitim verilerinden farklılaştığı veri kaymasıdır. Model tanımadığı veriler üzerinde tahmin yapmak zorunda kaldığında yanlış yorumlara ve düşük performansa yol açabilir. Aykırı değerler veya olağandışı veri noktaları da modelin doğruluğunu olumsuz etkileyebilir.

Düzenli model izleme, geliştiricilerin model performansını takip etmesine, anomalileri belirlemesine ve veri kayması gibi sorunları hızla ele almasına yardımcı olur. Ayrıca güncellemelerin ne zaman gerekli olduğunu göstererek kaynakların yönetilmesine, maliyetli kapsamlı değişikliklerden kaçınılmasına ve modelin güncel kalmasına yardımcı olur.

Model İzleme için En İyi Uygulamalar#

Bilgisayarlı görü modelini üretimde izlerken aklında bulundurman gereken bazı en iyi uygulamalar şunlardır:

• Performansı Düzenli Olarak Takip Et: Zaman içindeki değişiklikleri tespit etmek için model performansını sürekli izle.
• Veri Kalitesini İki Kez Kontrol Et: Verilerde eksik değer veya anomali olup olmadığını kontrol et.
• Çeşitli Veri Kaynakları Kullan: Model performansına ilişkin kapsamlı bir görünüm elde etmek için çeşitli kaynaklardan gelen verileri izle.
• İzleme Tekniklerini Birleştir: Çok çeşitli sorunları belirlemek için kayma algılama algoritmaları ile kural tabanlı yaklaşımları birlikte kullan.
• Girdileri ve Çıktıları İzle: Her şeyin doğru çalıştığından emin olmak için hem modelin işlediği verileri hem de ürettiği sonuçları takip et.
• Uyarılar Oluştur: Performans düşüşleri gibi olağandışı davranışlar için uyarılar uygulayarak hızlı düzeltici işlemler yapabil.

Ultralytics Platform ile İzleme#

Ultralytics Platform, dağıtılmış YOLO uç noktaları için yerleşik model izleme özelliği sunar; böylece ayrı bir izleme yığını oluşturmadan modelini üretimde izleyebilirsin. Deploy panosu, temel sinyalleri gerçek zamanlı olarak takip eder:

• İstek metrikleri: Her uç nokta için toplam istek hacmi, hata oranı ve P95 gecikmesi; 1 saatten 30 güne kadar olan aralıklarda sparkline eğilimleriyle birlikte.
• Durum kontrolleri: Sağlıksız dağıtımları işaretleyen ve yanıt gecikmesini bildiren otomatik uç nokta durumu yoklaması.
• Günlükler: Başarısız istekleri ve gecikme artışlarını teşhis etmek için önem derecesine göre filtrelenmiş istek günlükleri (DEBUG ile CRITICAL arasında).
• Genel görünüm: Tüm bölgelerdeki her dağıtımı tek bir görünümde özetleyen etkileşimli bir dünya haritası ve genel bakış kartları.

İzleme, standart uç nokta URL'leri ve bir /health kontrolü üzerinden sunulduğundan, daha derin analiz gerektiğinde bu sinyalleri mevcut gözlemlenebilirlik kurulumuna da dahil edebilirsin. Kurulum ayrıntıları için dağıtım izleme kılavuzuna bak.

Anomali Algılama ve Uyarı Sistemleri#

Anomali, beklenenden önemli ölçüde sapan herhangi bir veri noktası veya örüntüdür. Bilgisayarlı görü modelleri açısından anomaliler, modelin eğitiminde kullanılan görüntülerden çok farklı görüntüler olabilir. Bu beklenmedik görüntüler; veri dağılımındaki değişiklikler, aykırı değerler veya model performansını düşürebilecek davranışlar gibi sorunların işareti olabilir. Bu anomalileri algılamak için uyarı sistemleri kurmak, model izlemenin önemli bir parçasıdır.

Temel performans düzeyleri ve önemli metrikler için sınırlar belirleyerek sorunları erkenden yakalayabilirsin. Performans bu sınırların dışına çıktığında uyarılar tetiklenir ve hızlı düzeltmeler yapılması sağlanır. Modelleri yeni verilerle düzenli olarak güncellemek ve yeniden eğitmek, veriler değiştikçe modellerin güncel ve doğru kalmasını sağlar.

Eşikleri ve Uyarıları Yapılandırma#

Uyarı sistemlerini kurarken şu en iyi uygulamaları aklında bulundur:

• Standartlaştırılmış Uyarılar: E-posta veya Slack gibi mesajlaşma uygulamaları da dahil olmak üzere tüm uyarılar için tutarlı araçlar ve biçimler kullan. Standardizasyon, uyarıları hızlıca anlamanı ve bunlara yanıt vermeni kolaylaştırır.
• Beklenen Davranışı Dahil Et: Uyarı mesajları neyin yanlış gittiğini, ne beklendiğini ve değerlendirilen zaman aralığını açıkça belirtmelidir. Bu, uyarının aciliyetini ve bağlamını değerlendirmene yardımcı olur.
• Yapılandırılabilir Uyarılar: Değişen koşullara uyum sağlamak için uyarıları kolayca yapılandırılabilir hale getir. Eşikleri düzenlemene, uyarıları ertelemene, devre dışı bırakmana veya onaylamana izin ver.

Veri Kayması Algılama#

Veri kayması algılama, zaman içinde giriş verilerinin istatistiksel özelliklerinin ne zaman değiştiğini belirlemeye yardımcı olan ve bu değişikliklerin model performansını düşürebileceği bir kavramdır. Modellerini yeniden eğitmeye veya ayarlamaya karar vermeden önce bu teknik, bir sorun olduğunu tespit etmene yardımcı olur. Veri kayması, zaman içinde genel veri ortamındaki değişikliklerle ilgilenirken anomali algılama, acil müdahale gerektirebilecek nadir veya beklenmedik veri noktalarını belirlemeye odaklanır.

Veri kaymasını algılamak için kullanabileceğin birkaç yöntem şunlardır:

• Sürekli İzleme: Modelin giriş verilerini ve çıktılarını kayma belirtileri açısından düzenli olarak izle. Önemli değişiklikleri belirlemek için temel metrikleri takip et ve geçmiş verilerle karşılaştır.
• İstatistiksel Teknikler: Veri dağılımlarındaki değişiklikleri algılamak için Kolmogorov-Smirnov testi veya Popülasyon Stabilite İndeksi (PSI) gibi yöntemleri kullan. Bu testler, önemli farklılıkları belirlemek için yeni verilerin dağılımını eğitim verilerinin dağılımıyla karşılaştırır.
• Özellik Kayması: Bireysel özellikleri kayma açısından izle. Bazen genel veri dağılımı sabit kalırken tek tek özelliklerde kayma görülebilir. Hangi özelliklerin kaydığını belirlemek, yeniden eğitim sürecinde ince ayar yapmana yardımcı olur.

Model Bakımı#

Model bakımı; modelleri düzenli olarak güncelleyip yeniden eğiterek, veri kaymasını ele alarak ve veriler ile ortamlar değiştikçe uyum sağlayarak bilgisayarlı görü modellerinin zaman içinde doğru ve güncel kalmasını sağlar. İzlemenin karşılığıdır: izleme, sorunları erkenden yakalamak için modelin performansını gerçek zamanlı olarak takip ederken bakım, bu sorunları düzeltmeye odaklanır.

Düzenli Güncellemeler ve Yeniden Eğitim#

Bir model dağıtıldıktan sonra izleme sırasında veri örüntülerinde veya performansta model kaymasına işaret eden değişiklikler fark edebilirsin. Modelin yeni örüntüleri ve senaryoları ele alabilmesini sağlamak için düzenli güncellemeler ve yeniden eğitim, model bakımının temel parçaları haline gelir. Verilerinin nasıl değiştiğine bağlı olarak kullanabileceğin birkaç teknik vardır.

Örneğin veriler zaman içinde kademeli olarak değişiyorsa artımlı öğrenme iyi bir yaklaşımdır. Artımlı öğrenme, modeli baştan tamamen yeniden eğitmeden yeni verilerle güncellemeyi ve böylece hesaplama kaynaklarından ve zamandan tasarruf etmeyi içerir. Ancak veriler büyük ölçüde değiştiyse, modelin eski örüntüleri gözden kaçırırken yeni verilere aşırı uyum sağlamasını önlemek için dönemsel tam yeniden eğitim daha iyi bir seçenek olabilir.

Yöntem ne olursa olsun, güncellemelerden sonra doğrulama ve test zorunludur. Performans iyileşmesini veya düşüşünü kontrol etmek için modeli ayrı bir test veri kümesi üzerinde doğrulamak önemlidir.

Modelini Ne Zaman Yeniden Eğiteceğine Karar Verme#

Bilgisayarlı görü modelini yeniden eğitme sıklığın, veri değişikliklerine ve model performansına bağlıdır. Önemli bir performans düşüşü gözlemlediğinde veya veri kayması tespit ettiğinde modelini yeniden eğit. Düzenli değerlendirmeler, modeli yeni verilerle test ederek doğru yeniden eğitim takvimini belirlemene yardımcı olabilir. Performans metriklerini ve veri örüntülerini izlemek, doğruluğu korumak için modelinin daha sık güncellenmesi gerekip gerekmediğine karar vermeni sağlar.

Belgelendirme#

Bir bilgisayarlı görü projesini belgelemek, projeyi anlamayı, yeniden üretmeyi ve proje üzerinde iş birliği yapmayı kolaylaştırır. İyi bir belgelendirme; model mimarisini, hiperparametreleri, veri kümelerini, değerlendirme metriklerini ve daha fazlasını kapsar. Şeffaflık sağlayarak ekip üyelerinin ve paydaşların ne yapıldığını ve neden yapıldığını anlamasına yardımcı olur. Belgelendirme ayrıca geçmiş kararlar ve yöntemler için açık bir başvuru kaynağı sunarak sorun gidermeye, bakıma ve gelecekteki geliştirmelere yardımcı olur.

Belgelendirilecek Temel Unsurlar#

Proje belgelerine dahil edilmesi gereken temel unsurlardan bazıları şunlardır:

• Proje Genel Bakışı: Sorun tanımı, çözüm yaklaşımı, beklenen sonuçlar ve proje kapsamı dahil olmak üzere projenin üst düzey bir özetini sun. Sorunun ele alınmasında bilgisayarlı görünün rolünü açıkla ve aşamaları ile teslimatları ana hatlarıyla belirt.
• Model Mimarisi: Bileşenleri, katmanları ve bağlantıları dahil olmak üzere modelin yapısını ve tasarımını ayrıntılandır. Seçilen hiperparametreleri ve bu seçimlerin arkasındaki gerekçeyi açıkla.
• Veri Hazırlama: Veri kaynaklarını, türlerini, biçimlerini, boyutlarını ve ön işleme adımlarını açıkla. Veri kalitesini ve güvenilirliğini, ayrıca model eğitilmeden önce uygulanan dönüşümleri ele al.
• Eğitim Süreci: Kullanılan veri kümeleri, eğitim parametreleri ve kayıp fonksiyonları dahil olmak üzere eğitim prosedürünü belgele. Modelin nasıl eğitildiğini ve eğitim sırasında karşılaşılan zorlukları açıkla.
• Değerlendirme Metrikleri: Doğruluk, kesinlik, geri çağırma ve F1 skoru gibi model performansını değerlendirmek için kullanılan metrikleri belirt. Performans sonuçlarını ve bu metriklerin analizini ekle.
• Dağıtım Adımları: Kullanılan araçlar ve platformlar, dağıtım yapılandırmaları ve karşılaşılan belirli zorluklar veya dikkat edilmesi gereken noktalar dahil olmak üzere modeli dağıtmak için gerçekleştirilen adımları ana hatlarıyla belirt.
• İzleme ve Bakım Prosedürü: Dağıtım sonrasında model performansını izlemek için ayrıntılı bir plan sun. Veri ve model kaymasını algılama ve ele alma yöntemlerini dahil et; düzenli güncelleme ve yeniden eğitim sürecini açıkla.

Sonuç#

Modelini izlemek, bakımını yapmak ve belgelemek, bir bilgisayarlı görü projesinin dağıtımdan uzun süre sonra da başarılı kalmasını sağlar: sürekli izleme sorunları erkenden yakalar, düzenli yeniden eğitim modeli yeni verilere ve kaymaya uyarlar, açık belgeler ise gelecekteki her güncellemeyi kolaylaştırır. Bunu devam eden bir döngü olarak ele al ve verilerin ile gereksinimlerin geliştikçe bilgisayarlı görü projenin aşamalarını yeniden gözden geçir.

SSS#