Model Testine İlişkin Bir Kılavuz
Giriş
Modelinizi eğittikten ve değerlendirdikten sonra sıra onu test etmeye gelir. Model testi, gerçek dünya senaryolarında ne kadar iyi performans gösterdiğinin değerlendirilmesini içerir. Testler doğruluk, güvenilirlik, adalet ve modelin kararlarını anlamanın ne kadar kolay olduğu gibi faktörleri göz önünde bulundurur. Amaç, modelin amaçlandığı gibi çalıştığından, beklenen sonuçları verdiğinden ve uygulamanızın veya projenizin genel hedefine uygun olduğundan emin olmaktır.
Model testing is quite similar to model evaluation, but they are two distinct steps in a computer vision project. Model evaluation involves metrics and plots to assess the model's accuracy. On the other hand, model testing checks if the model's learned behavior is the same as expectations. In this guide, we'll explore strategies for testing your computer vision models.
Model Testi Vs. Model Değerlendirme
Öncelikle, bir örnekle model değerlendirme ve test etme arasındaki farkı anlayalım.
Suppose you have trained a computer vision model to recognize cats and dogs, and you want to deploy this model at a pet store to monitor the animals. During the model evaluation phase, you use a labeled dataset to calculate metrics like accuracy, precision, recall, and F1 score. For instance, the model might have an accuracy of 98% in distinguishing between cats and dogs in a given dataset.
Değerlendirmeden sonra, daha çeşitli ve gerçekçi koşullarda kedi ve köpekleri ne kadar iyi tanımladığını görmek için modeli bir evcil hayvan dükkanındaki görüntüleri kullanarak test edersiniz. Hareket halindeyken, farklı aydınlatma koşullarında veya oyuncak ya da mobilya gibi nesneler tarafından kısmen gizlendiklerinde kedi ve köpekleri doğru şekilde etiketleyip etiketleyemediğini kontrol edersiniz. Model testi, modelin kontrollü değerlendirme ortamı dışında beklendiği gibi davranıp davranmadığını kontrol eder.
Model Testi için Hazırlık
Computer vision models learn from datasets by detecting patterns, making predictions, and evaluating their performance. These datasets are usually divided into training and testing sets to simulate real-world conditions. Training data teaches the model while testing data verifies its accuracy.
İşte modelinizi test etmeden önce aklınızda bulundurmanız gereken iki nokta:
- Gerçekçi Temsil: Daha önce görülmemiş test verileri, modelin dağıtıldığında işlemesi gereken verilere benzer olmalıdır. Bu, modelin yeteneklerinin gerçekçi bir şekilde anlaşılmasına yardımcı olur.
- Yeterli Büyüklük: Test veri kümesinin boyutunun, modelin ne kadar iyi performans gösterdiğine dair güvenilir bilgiler sağlayacak kadar büyük olması gerekir.
Bilgisayarla Görme Modelinizi Test Etme
Bilgisayarla görme modelinizi test etmek ve performansını anlamak için atmanız gereken temel adımları burada bulabilirsiniz.
- Tahminleri Çalıştırın: Test veri kümesi üzerinde tahminler yapmak için modeli kullanın.
- Tahminleri Karşılaştırın: Modelin tahminlerinin gerçek etiketlerle (temel gerçek) ne kadar iyi eşleştiğini kontrol edin.
- Performans Metriklerini Hesaplayın: Modelin güçlü ve zayıf yönlerini anlamak için doğruluk, kesinlik, geri çağırma ve F1 puanı gibi metrikleri hesaplayın. Testler, bu metriklerin gerçek dünya performansını nasıl yansıttığına odaklanır.
- Sonuçları Görselleştirin: Karışıklık matrisleri ve ROC eğrileri gibi görsel yardımcılar oluşturun. Bunlar, modelin pratik uygulamalarda iyi performans göstermeyebileceği belirli alanları tespit etmenize yardımcı olur.
Ardından, test sonuçları analiz edilebilir:
- Yanlış Sınıflandırılmış Görüntüler: Modelin nerede yanlış yaptığını anlamak için yanlış sınıflandırdığı görüntüleri belirleyin ve inceleyin.
- Hata Analizi: Hata türlerini (örn. yanlış pozitifler ve yanlış negatifler) ve bunların olası nedenlerini anlamak için kapsamlı bir hata analizi gerçekleştirin.
- Önyargı ve Adillik: Modelin tahminlerinde herhangi bir önyargı olup olmadığını kontrol edin. Modelin, özellikle ırk, cinsiyet veya yaş gibi hassas nitelikler içeriyorsa, verilerin farklı alt kümelerinde eşit derecede iyi performans gösterdiğinden emin olun.
Testing Your YOLO11 Model
To test your YOLO11 model, you can use the validation mode. It's a straightforward way to understand the model's strengths and areas that need improvement. Also, you'll need to format your test dataset correctly for YOLO11. For more details on how to use the validation mode, check out the Model Validation docs page.
Using YOLO11 to Predict on Multiple Test Images
If you want to test your trained YOLO11 model on multiple images stored in a folder, you can easily do so in one go. Instead of using the validation mode, which is typically used to evaluate model performance on a validation set and provide detailed metrics, you might just want to see predictions on all images in your test set. For this, you can use the prediction mode.
Doğrulama ve Tahmin Modları Arasındaki Fark
- Doğrulama Modu: Tahminleri bilinen etiketlerle (ground truth) karşılaştırarak modelin performansını değerlendirmek için kullanılır. Doğruluk, kesinlik, geri çağırma ve F1 puanı gibi ayrıntılı ölçümler sağlar.
- TahminModu: Tahminler oluşturmak için modeli yeni, görülmemiş veriler üzerinde çalıştırmak için kullanılır. Ayrıntılı performans ölçümleri sağlamaz ancak modelin gerçek dünya görüntüleri üzerinde nasıl performans gösterdiğini görmenizi sağlar.
Running YOLO11 Predictions Without Custom Training
If you are interested in testing the basic YOLO11 model to understand whether it can be used for your application without custom training, you can use the prediction mode. While the model is pre-trained on datasets like COCO, running predictions on your own dataset can give you a quick sense of how well it might perform in your specific context.
Overfitting and Underfitting in Machine Learning
Bir makine öğrenimi modelini test ederken, özellikle de bilgisayarla görme alanında, aşırı uyum ve yetersiz uyuma dikkat etmek önemlidir. Bu sorunlar, modelinizin yeni verilerle ne kadar iyi çalıştığını önemli ölçüde etkileyebilir.
Aşırı Uyum
Aşırı uyum, modeliniz yeni verilere genelleştirilemeyen gürültü ve ayrıntılar da dahil olmak üzere eğitim verilerini çok iyi öğrendiğinde gerçekleşir. Bilgisayarla görmede bu, modelinizin eğitim görüntülerinde harika iş çıkarabileceği ancak yeni görüntülerde zorlanabileceği anlamına gelir.
Aşırı Uyum Belirtileri
- High Training Accuracy, Low Validation Accuracy: If your model performs very well on training data but poorly on validation or test data, it's likely overfitting.
- Görsel İnceleme: Bazen, modeliniz görüntülerdeki küçük değişikliklere veya alakasız ayrıntılara karşı çok hassassa aşırı uyumu görebilirsiniz.
Yetersiz Uyum
Yetersiz uyum, modeliniz verilerdeki altta yatan örüntüleri yakalayamadığında ortaya çıkar. Bilgisayarla görmede, yetersiz uyum sağlayan bir model eğitim görüntülerindeki nesneleri bile doğru tanımayabilir.
Yetersiz Uyum Belirtileri
- Düşük Eğitim Doğruluğu: Modeliniz eğitim setinde yüksek doğruluk elde edemiyorsa, yetersiz uyum sağlıyor olabilir.
- Görsel Yanlış Sınıflandırma: Belirgin özellikleri veya nesneleri tanımada tutarlı başarısızlık, yetersiz uyuma işaret eder.
Aşırı Uyum ve Yetersiz Uyumun Dengelenmesi
Önemli olan, aşırı uyum ile yetersiz uyum arasında bir denge bulmaktır. İdeal olarak, bir model hem eğitim hem de doğrulama veri kümelerinde iyi performans göstermelidir. Doğru stratejileri uygulamanın yanı sıra metrikler ve görsel incelemeler yoluyla modelinizin performansını düzenli olarak izlemek, en iyi sonuçları elde etmenize yardımcı olabilir.
Bilgisayarlı Görüde Veri Kaçağı ve Nasıl Önlenir?
Modelinizi test ederken, akılda tutulması gereken önemli bir husus veri sızıntısıdır. Veri sızıntısı, eğitim veri kümesinin dışındaki bilgiler yanlışlıkla modeli eğitmek için kullanıldığında meydana gelir. Model eğitim sırasında çok doğru görünebilir, ancak veri sızıntısı meydana geldiğinde yeni, görülmemiş veriler üzerinde iyi performans göstermeyecektir.
Veri Sızıntısı Neden Olur?
Veri sızıntısını tespit etmek zor olabilir ve genellikle eğitim verilerindeki gizli önyargılardan kaynaklanır. İşte bilgisayarla görmede meydana gelebilecek bazı yaygın yollar:
- Kamera Önyargısı: Farklı açılar, aydınlatma, gölgeler ve kamera hareketleri istenmeyen desenlere yol açabilir.
- Kaplama Yanlılığı: Görüntülerdeki logolar, zaman damgaları veya diğer kaplamalar modeli yanlış yönlendirebilir.
- Yazı Tipi ve Nesne Önyargısı: Belirli sınıflarda sıklıkla görünen belirli yazı tipleri veya nesneler modelin öğrenmesini çarpıtabilir.
- Spatial Bias: Imbalances in foreground-background, bounding box distributions, and object locations can affect training.
- Etiket ve Etki Alanı Yanlılığı: Yanlış etiketler veya veri türlerindeki kaymalar sızıntıya yol açabilir.
Veri Sızıntısını Tespit Etme
Veri sızıntısını bulmak için şunları yapabilirsiniz:
- Performansı Kontrol Edin: Modelin sonuçları şaşırtıcı derecede iyiyse, sızıntı yapıyor olabilir.
- Özellik Önemine Bakın: Bir özellik diğerlerinden çok daha önemliyse, bu sızıntıya işaret ediyor olabilir.
- Görsel İnceleme: Modelin kararlarının sezgisel olarak mantıklı olup olmadığını iki kez kontrol edin.
- Veri Ayrımını Doğrulayın: Herhangi bir işlemden önce verilerin doğru şekilde ayrıldığından emin olun.
Veri Sızıntısını Önleme
Veri sızıntısını önlemek için, farklı kamera ve ortamlardan alınan görüntü veya videolardan oluşan çeşitli bir veri seti kullanın. Verilerinizi dikkatlice inceleyin ve tüm pozitif örneklerin günün belirli bir saatinde alınması gibi gizli önyargılar olup olmadığını kontrol edin. Veri sızıntısını önlemek, bilgisayarla görme modellerinizin gerçek dünya koşullarında daha güvenilir ve etkili olmasına yardımcı olacaktır.
Model Testinden Sonra Ne Geliyor?
Modelinizi test ettikten sonra, sonraki adımlar sonuçlara bağlıdır. Modeliniz iyi performans gösteriyorsa, onu gerçek dünya ortamına dağıtabilirsiniz. Sonuçlar tatmin edici değilse, iyileştirmeler yapmanız gerekecektir. Bu, hataları analiz etmeyi, daha fazla veri toplamayı, veri kalitesini iyileştirmeyi, hiperparametreleri ayarlamayı ve modeli yeniden eğitmeyi içerebilir.
Yapay Zeka Tartışmasına Katılın
Bilgisayarla görme meraklılarından oluşan bir topluluğun parçası olmak, sorunları çözmeye ve daha verimli öğrenmeye yardımcı olabilir. İşte bağlantı kurmanın, yardım almanın ve düşüncelerinizi paylaşmanın bazı yolları.
Toplum Kaynakları
- GitHub Issues: Explore the YOLO11 GitHub repository and use the Issues tab to ask questions, report bugs, and suggest new features. The community and maintainers are very active and ready to help.
- Ultralytics Discord Sunucusu: Diğer kullanıcılar ve geliştiricilerle sohbet etmek, destek almak ve deneyimlerinizi paylaşmak için Ultralytics Discord sunucusuna katılın.
Resmi Belgeler
- Ultralytics YOLO11 Documentation: Check out the official YOLO11 documentation for detailed guides and helpful tips on various computer vision projects.
Bu kaynaklar, zorlukların üstesinden gelmenize ve bilgisayarla görme topluluğundaki en son trendler ve uygulamalar konusunda güncel kalmanıza yardımcı olacaktır.
Özet olarak
Building trustworthy computer vision models relies on rigorous model testing. By testing the model with previously unseen data, we can analyze it and spot weaknesses like overfitting and data leakage. Addressing these issues before deployment helps the model perform well in real-world applications. It's important to remember that model testing is just as crucial as model evaluation in guaranteeing the model's long-term success and effectiveness.
SSS
Bilgisayarla görmede model değerlendirme ve model testi arasındaki temel farklar nelerdir?
Model evaluation and model testing are distinct steps in a computer vision project. Model evaluation involves using a labeled dataset to compute metrics such as accuracy, precision, recall, and F1 score, providing insights into the model's performance with a controlled dataset. Model testing, on the other hand, assesses the model's performance in real-world scenarios by applying it to new, unseen data, ensuring the model's learned behavior aligns with expectations outside the evaluation environment. For a detailed guide, refer to the steps in a computer vision project.
How can I test my Ultralytics YOLO11 model on multiple images?
To test your Ultralytics YOLO11 model on multiple images, you can use the prediction mode. This mode allows you to run the model on new, unseen data to generate predictions without providing detailed metrics. This is ideal for real-world performance testing on larger image sets stored in a folder. For evaluating performance metrics, use the validation mode instead.
Bilgisayarlı görü modelim aşırı uyum veya yetersiz uyum belirtileri gösteriyorsa ne yapmalıyım?
Aşırı uyumu ele almak için:
- Regularization techniques like dropout.
- Eğitim veri kümesinin boyutunu artırın.
- Model mimarisini basitleştirin.
Yetersiz uyumu gidermek için:
- Daha karmaşık bir model kullanın.
- Daha alakalı özellikler sağlayın.
- Increase training iterations or epochs.
Yanlış sınıflandırılmış görüntüleri gözden geçirin, kapsamlı hata analizi yapın ve dengeyi korumak için performans metriklerini düzenli olarak izleyin. Bu kavramlar hakkında daha fazla bilgi için Aşırı Uyum ve Yetersiz Uyum bölümümüzü inceleyin.
Bilgisayarla görmede veri sızıntısını nasıl tespit edebilir ve önleyebilirim?
Veri sızıntısını tespit etmek için:
- Test performansının alışılmadık derecede yüksek olmadığını doğrulayın.
- Beklenmedik içgörüler için özelliklerin önemini kontrol edin.
- Model kararlarını sezgisel olarak gözden geçirin.
- İşlemeden önce doğru veri bölümlemesini sağlayın.
Veri sızıntısını önlemek için:
- Çeşitli ortamlarda farklı veri kümeleri kullanın.
- Gizli önyargılar için verileri dikkatlice inceleyin.
- Eğitim ve test setleri arasında örtüşen bilgi olmadığından emin olun.
Veri sızıntısını önlemeye yönelik ayrıntılı stratejiler için Bilgisayarlı Görüde Veri Sızıntısı bölümümüze bakın.
Bilgisayarlı görü modelimi test ettikten sonra hangi adımları atmalıyım?
Test sonrası, model performansı proje hedeflerini karşılıyorsa, dağıtıma devam edin. Sonuçlar tatmin edici değilse, şunları göz önünde bulundurun:
- Hata analizi.
- Daha çeşitli ve yüksek kaliteli verilerin toplanması.
- Hyperparameter tuning.
- Modelin yeniden eğitilmesi.
Model Testine Karşı Model Değerlendirmesi bölümünden içgörüler elde edin. Gerçek dünya uygulamalarında model etkinliğini iyileştirmek ve geliştirmek için Model Değerlendirme bölümü.
How do I run YOLO11 predictions without custom training?
You can run predictions using the pre-trained YOLO11 model on your dataset to see if it suits your application needs. Utilize the prediction mode to get a quick sense of performance results without diving into custom training.
