Eğitim YOLOv8 ile ClearML: MLOps İş Akışınızı Kolaylaştırın
MLOps, makine öğrenimi modellerinin gerçek dünya ortamlarında oluşturulması ve dağıtılması arasındaki boşluğu doldurur. Modellerin pratik uygulamalarda iyi performans göstermesini sağlamak için verimli dağıtım, ölçeklenebilirlik ve sürekli yönetime odaklanır.
Ultralytics YOLOv8ClearML ile zahmetsizce entegre olarak nesne algılama modelinizin eğitimini ve yönetimini kolaylaştırır ve geliştirir. Bu kılavuz, ClearML adresini nasıl kuracağınızı, deneyleri nasıl yöneteceğinizi, model yönetimini nasıl otomatikleştireceğinizi ve etkili bir şekilde nasıl işbirliği yapacağınızı detaylandırarak entegrasyon sürecinde size yol gösterecektir.
ClearML
ClearML makine öğrenimi iş akışlarını otomatikleştirmek, izlemek ve düzenlemek için ustaca tasarlanmış yenilikçi bir açık kaynaklı MLOps platformudur. Temel özellikleri arasında tam deney tekrarlanabilirliği için tüm eğitim ve çıkarım verilerinin otomatik olarak kaydedilmesi, kolay veri görselleştirme ve analizi için sezgisel bir web kullanıcı arayüzü, gelişmiş hiperparametre optimizasyon algoritmaları ve çeşitli platformlarda verimli dağıtım için sağlam model yönetimi yer alır.
YOLOv8 ile Eğitim ClearML
YOLOv8 adresini ClearML ile entegre ederek eğitim sürecinizi iyileştirerek makine öğrenimi iş akışınıza otomasyon ve verimlilik getirebilirsiniz.
Kurulum
Gerekli paketleri yüklemek için çalıştırın:
Kurulum süreciyle ilgili ayrıntılı talimatlar ve en iyi uygulamalar için YOLOv8 Kurulum kılavuzumuzu kontrol ettiğinizden emin olun. YOLOv8 için gerekli paketleri yüklerken herhangi bir zorlukla karşılaşırsanız, çözümler ve ipuçları için Ortak Sorunlar kılavuz umuza başvurun.
Yapılandırma ClearML
Gerekli paketleri yükledikten sonra, bir sonraki adım ClearML SDK'nızı başlatmak ve yapılandırmaktır. Bu, ClearML hesabınızı kurmayı ve geliştirme ortamınız ile ClearML sunucusu arasında sorunsuz bir bağlantı için gerekli kimlik bilgilerini edinmeyi içerir.
Ortamınızda ClearML SDK'yı başlatarak başlayın. 'clearml-init' komutu kurulum sürecini başlatır ve sizden gerekli kimlik bilgilerini ister.
Bu komutu çalıştırdıktan sonra ClearML Ayarlar sayfasını ziyaret edin. Sağ üst köşeye gidin ve "Ayarlar "ı seçin. "Çalışma Alanı" bölümüne gidin ve "Yeni kimlik bilgileri oluştur" seçeneğine tıklayın. "Kimlik Bilgileri Oluştur" açılır penceresinde sağlanan kimlik bilgilerini kullanarak, ClearML adresini bir Jupyter Notebook'ta mı yoksa yerel bir Python ortamında mı yapılandırdığınıza bağlı olarak, kurulumu talimatlara uygun şekilde tamamlayın.
Kullanım
Kullanım talimatlarına geçmeden önce, Ultralytics tarafından sunulanYOLOv8 model yelpazesine göz attığınızdan emin olun. Bu, proje gereksinimleriniz için en uygun modeli seçmenize yardımcı olacaktır.
Kullanım
from clearml import Task
from ultralytics import YOLO
# Step 1: Creating a ClearML Task
task = Task.init(project_name="my_project", task_name="my_yolov8_task")
# Step 2: Selecting the YOLOv8 Model
model_variant = "yolov8n"
task.set_parameter("model_variant", model_variant)
# Step 3: Loading the YOLOv8 Model
model = YOLO(f"{model_variant}.pt")
# Step 4: Setting Up Training Arguments
args = dict(data="coco8.yaml", epochs=16)
task.connect(args)
# Step 5: Initiating Model Training
results = model.train(**args)
Kodu Anlamak
Yukarıdaki kullanım kodu parçacığında gösterilen adımları anlayalım.
Adım 1: Bir ClearML Görevi Oluşturma: Projenizi ve görev adlarınızı belirterek ClearML adresinde yeni bir görev başlatılır. Bu görev, modelinizin eğitimini izleyecek ve yönetecektir.
Adım 2: YOLOv8 Modelinin Seçilmesi: The model_variant değişkeni, YOLOv8 modellerinden biri olan 'yolov8n' olarak ayarlanır. Bu değişken daha sonra izleme için ClearML adresine kaydedilir.
Adım 3: YOLOv8 Modelinin Yüklenmesi: Seçilen YOLOv8 modeli Ultralytics' YOLO sınıfı kullanılarak yüklenir ve eğitim için hazırlanır.
Adım 4: Eğitim Argümanlarının Oluşturulması: Veri kümesi gibi temel eğitim argümanları (coco8.yaml) ve epok sayısı (16) bir sözlükte düzenlenir ve ClearML görevine bağlanır. Bu, ClearML kullanıcı arayüzü aracılığıyla izleme ve olası değişikliklere olanak tanır. Model eğitim sürecinin ve en iyi uygulamaların ayrıntılı bir şekilde anlaşılması için YOLOv8 Model Eğitim Kılavuzu.
Adım 5: Model Eğitiminin Başlatılması: Model eğitimi belirtilen argümanlarla başlatılır. Eğitim sürecinin sonuçları results değişken.
Çıktıyı Anlama
Yukarıdaki kullanım kodu parçacığını çalıştırdıktan sonra aşağıdaki çıktıyı bekleyebilirsiniz:
- Benzersiz kimliğiyle birlikte yeni bir ClearML görevinin oluşturulduğunu belirten bir onay mesajı.
- Kodun yürütülmesinin ClearML tarafından izlendiğini belirten, depolanan kod hakkında bir bilgilendirme mesajı.
- Eğitim ilerlemesini izleyebileceğiniz ve ayrıntılı günlükleri görüntüleyebileceğiniz ClearML sonuç sayfasına bir URL bağlantısı.
- YOLOv8 modeli ve belirtilen veri kümesi için ilerlemeyi indirin, ardından model mimarisi ve eğitim yapılandırmasının bir özetini görüntüleyin.
- TensorBoard, Otomatik Karma Hassasiyet (AMP) ve veri kümesi hazırlama gibi çeşitli eğitim bileşenleri için başlatma mesajları.
- Son olarak, model belirtilen veri kümesi üzerinde eğitilirken ilerleme güncellemeleriyle birlikte eğitim süreci başlar. Eğitim sırasında kullanılan performans metriklerini derinlemesine anlamak için performans metrikleri kılavuzumuzu okuyun.
ClearML Sonuç Sayfasını Görüntüleme
Kullanım kodu parçacığının çıktısındaki ClearML sonuçlar sayfasına giden URL bağlantısına tıklayarak, modelinizin eğitim sürecinin kapsamlı bir görünümüne erişebilirsiniz.
ClearML Sonuç Sayfasının Temel Özellikleri
-
Gerçek Zamanlı Metrik Takibi
- Kayıp, doğruluk ve doğrulama puanları gibi kritik ölçümleri oluştukları anda izleyin.
- Zamanında model performans ayarlamaları için anında geri bildirim sağlar.
-
Deney Karşılaştırması
- Farklı antrenman çalışmalarını yan yana karşılaştırın.
- Hiperparametre ayarlama ve en etkili modelleri belirleme için gereklidir.
-
Ayrıntılı Günlükler ve Çıktılar
- Kapsamlı günlüklere, metriklerin grafiksel gösterimlerine ve konsol çıktılarına erişin.
- Model davranışı ve sorun çözümü hakkında daha derin bir anlayış kazanın.
-
Kaynak Kullanımının İzlenmesi
- CPU, GPU ve bellek dahil olmak üzere hesaplama kaynaklarının kullanımını izleyin.
- Eğitim verimliliğini ve maliyetlerini optimize etmenin anahtarı.
-
Model Yapıtları Yönetimi
- Eğitilmiş modeller ve kontrol noktaları gibi model eserlerini görüntüleyin, indirin ve paylaşın.
- İşbirliğini geliştirir ve model dağıtımını ve paylaşımını kolaylaştırır.
ClearML Sonuç Sayfasının nasıl göründüğünü görsel olarak incelemek için aşağıdaki videoyu izleyin:
İzle: YOLOv8 MLOps Entegrasyonu kullanarak ClearML
Gelişmiş Özellikler ClearML
ClearML MLOps deneyiminizi geliştirmek için çeşitli gelişmiş özellikler sunar.
Uzaktan Yürütme
ClearML'in uzaktan yürütme özelliği, deneylerin farklı makinelerde çoğaltılmasını ve manipüle edilmesini kolaylaştırır. Yüklü paketler ve taahhüt edilmemiş değişiklikler gibi temel ayrıntıları günlüğe kaydeder. Bir görev sıralandığında, ClearML Agent görevi çeker, ortamı yeniden oluşturur ve deneyi çalıştırarak ayrıntılı sonuçlarla birlikte geri bildirimde bulunur.
Bir ClearML Agent'ı dağıtmak basittir ve aşağıdaki komut kullanılarak çeşitli makinelerde yapılabilir:
Bu kurulum bulut VM'leri, yerel GPU'lar veya dizüstü bilgisayarlar için geçerlidir. ClearML Autoscalers, AWS, GCP ve Azure gibi platformlarda bulut iş yüklerini yönetmeye yardımcı olarak aracıların dağıtımını otomatikleştirir ve kaynakları kaynak bütçenize göre ayarlar.
Klonlama, Düzenleme ve Sıraya Alma
ClearML'in kullanıcı dostu arayüzü, görevlerin kolayca klonlanmasına, düzenlenmesine ve sıraya alınmasına olanak tanır. Kullanıcılar mevcut bir deneyi klonlayabilir, parametreleri veya diğer ayrıntıları kullanıcı arayüzü üzerinden ayarlayabilir ve görevi yürütülmek üzere sıraya koyabilir. Bu kolaylaştırılmış süreç, görevi yürüten ClearML Agent'ın güncellenmiş konfigürasyonları kullanmasını sağlayarak yinelemeli deneyler ve model ince ayarı için idealdir.
Özet
Bu kılavuz, ClearML adresini Ultralytics' YOLOv8 ile entegre etme sürecinde size yol göstermiştir. İlk kurulumdan gelişmiş model yönetimine kadar her şeyi kapsayan bu kılavuzda, makine öğrenimi projelerinizde verimli eğitim, deney takibi ve iş akışı optimizasyonu için ClearML adresinden nasıl yararlanabileceğinizi keşfettiniz.
Kullanım hakkında daha fazla bilgi için ClearML'un resmi belgelerini ziyaret edin.
Ayrıca, bir kaynak ve içgörü hazinesi olan Ultralytics entegrasyon kılavuzu sayfasını ziyaret ederek Ultralytics 'un daha fazla entegrasyonunu ve özelliğini keşfedin.