Hızlı Segment Her Şey Modeli (FastSAM)

Fast Segment Anything Model (FastSAM), Segment Anything görevi için yeni, gerçek zamanlı CNN tabanlı bir çözümdür. Bu görev, çeşitli olası kullanıcı etkileşimi istemlerine dayalı olarak bir görüntüdeki herhangi bir nesneyi bölümlere ayırmak için tasarlanmıştır. FastSAM rekabetçi performansı korurken hesaplama taleplerini önemli ölçüde azaltır, bu da onu çeşitli görme görevleri için pratik bir seçim haline getirir.

İzle: FastSAM ile Nesne Takibi Ultralytics

Model Mimarisi

Genel Bakış

FastSAM önemli hesaplama kaynağı gereksinimleri olan ağır bir Transformatör modeli olan Segment Anything Model'in (SAM) sınırlamalarını ele almak için tasarlanmıştır. FastSAM , segment anything görevini iki ardışık aşamaya ayırır: tüm örnek segmentasyonu ve istem kılavuzlu seçim. İlk aşama, görüntüdeki tüm örneklerin segmentasyon maskelerini üretmek için YOLOv8-seg kullanır. İkinci aşamada, komut istemine karşılık gelen ilgi bölgesini çıkarır.

Temel Özellikler

1. Gerçek Zamanlı Çözüm: CNN'lerin hesaplama verimliliğinden yararlanan FastSAM , herhangi bir segment görevi için gerçek zamanlı bir çözüm sağlayarak hızlı sonuçlar gerektiren endüstriyel uygulamalar için değerli hale getirir.

2. Verimlilik ve Performans: FastSAM , performans kalitesinden ödün vermeden hesaplama ve kaynak taleplerinde önemli bir azalma sunar. SAM ile karşılaştırılabilir performansa ulaşır, ancak büyük ölçüde azaltılmış hesaplama kaynakları ile gerçek zamanlı uygulama sağlar.

3. İstem Kılavuzlu Segmentasyon: FastSAM , çeşitli olası kullanıcı etkileşimi istemleri tarafından yönlendirilen bir görüntüdeki herhangi bir nesneyi segmentlere ayırabilir ve farklı senaryolarda esneklik ve uyarlanabilirlik sağlar.

4. YOLOv8 -seg'e dayanır: FastSAM , örnek segmentasyon dalıyla donatılmış bir nesne detektörü olan YOLOv8-seg'e dayanır. Bu, bir görüntüdeki tüm örneklerin segmentasyon maskelerini etkili bir şekilde üretmesini sağlar.

5. Karşılaştırmalı Testlerde Rekabetçi Sonuçlar: MS COCO'daki nesne önerme görevinde FastSAM , MS COCO'dan önemli ölçüde daha hızlı bir şekilde yüksek puanlar elde eder. SAM tek bir NVIDIA RTX 3090 üzerinde çalışarak verimliliğini ve kapasitesini ortaya koymuştur.

6. Pratik Uygulamalar: Önerilen yaklaşım, mevcut yöntemlerden onlarca veya yüzlerce kat daha hızlı, gerçekten yüksek bir hızda çok sayıda görme görevi için yeni ve pratik bir çözüm sunmaktadır.

7. Model Sıkıştırma Fizibilitesi: FastSAM , yapıya yapay bir öncelik getirerek hesaplama çabasını önemli ölçüde azaltabilecek bir yolun fizibilitesini gösterir, böylece genel görme görevleri için büyük model mimarisi için yeni olanaklar açar.

Mevcut Modeller, Desteklenen Görevler ve Çalışma Modları

Bu tablo, önceden eğitilmiş belirli ağırlıklarıyla birlikte mevcut modelleri, destekledikleri görevleri ve desteklenen modlar için ✅ emojisi ve desteklenmeyen modlar için ❌ emojisi ile gösterilen Çıkarım, Doğrulama, Eğitim ve Dışa Aktarma gibi farklı çalışma modlarıyla uyumluluklarını sunar.

Kullanım Örnekleri

FastSAM modellerini Python uygulamalarınıza entegre etmek kolaydır. Ultralytics , geliştirmeyi kolaylaştırmak için kullanıcı dostu Python API ve CLI komutları sağlar.

Kullanım Tahmini

Bir görüntü üzerinde nesne algılama gerçekleştirmek için predict yöntemi aşağıda gösterildiği gibi:

from ultralytics import FastSAM
from ultralytics.models.fastsam import FastSAMPrompt

# Define an inference source
source = "path/to/bus.jpg"

# Create a FastSAM model
model = FastSAM("FastSAM-s.pt")  # or FastSAM-x.pt

# Run inference on an image
everything_results = model(source, device="cpu", retina_masks=True, imgsz=1024, conf=0.4, iou=0.9)

# Prepare a Prompt Process object
prompt_process = FastSAMPrompt(source, everything_results, device="cpu")

# Everything prompt
results = prompt_process.everything_prompt()

# Bbox default shape [0,0,0,0] -> [x1,y1,x2,y2]
results = prompt_process.box_prompt(bbox=[200, 200, 300, 300])

# Text prompt
results = prompt_process.text_prompt(text="a photo of a dog")

# Point prompt
# points default [[0,0]] [[x1,y1],[x2,y2]]
# point_label default [0] [1,0] 0:background, 1:foreground
results = prompt_process.point_prompt(points=[[200, 200]], pointlabel=[1])
prompt_process.plot(annotations=results, output="./")

# Load a FastSAM model and segment everything with it
yolo segment predict model=FastSAM-s.pt source=path/to/bus.jpg imgsz=640

Bu kod parçacığı, önceden eğitilmiş bir modeli yüklemenin ve bir görüntü üzerinde tahmin çalıştırmanın basitliğini göstermektedir.

Val Kullanımı

Modelin bir veri kümesi üzerinde doğrulanması aşağıdaki şekilde yapılabilir:

from ultralytics import FastSAM

# Create a FastSAM model
model = FastSAM("FastSAM-s.pt")  # or FastSAM-x.pt

# Validate the model
results = model.val(data="coco8-seg.yaml")

# Load a FastSAM model and validate it on the COCO8 example dataset at image size 640
yolo segment val model=FastSAM-s.pt data=coco8.yaml imgsz=640

Lütfen FastSAM adresinin yalnızca tek bir nesne sınıfının algılanmasını ve segmentasyonunu desteklediğini unutmayın. Bu, tüm nesneleri aynı sınıf olarak tanıyacağı ve bölümlere ayıracağı anlamına gelir. Bu nedenle, veri kümesini hazırlarken tüm nesne kategori kimliklerini 0'a dönüştürmeniz gerekir.

Parça Kullanımı

Bir görüntü üzerinde nesne izleme gerçekleştirmek için track yöntemi aşağıda gösterildiği gibi:

from ultralytics import FastSAM

# Create a FastSAM model
model = FastSAM("FastSAM-s.pt")  # or FastSAM-x.pt

# Track with a FastSAM model on a video
results = model.track(source="path/to/video.mp4", imgsz=640)

yolo segment track model=FastSAM-s.pt source="path/to/video/file.mp4" imgsz=640

FastSAM Resmi Kullanım

FastSAM doğrudan https://github.com/CASIA-IVA-Lab/FastSAM deposundan da edinilebilir. Burada FastSAM adresini kullanmak için atabileceğiniz tipik adımlara kısa bir genel bakış yer almaktadır:

Kurulum

1. FastSAM deposunu klonlayın:

   git clone https://github.com/CASIA-IVA-Lab/FastSAM.git
   

2. Python 3.9 ile bir Conda ortamı oluşturun ve etkinleştirin:

   conda create -n FastSAM python=3.9
   conda activate FastSAM
   

3. Klonlanmış depoya gidin ve gerekli paketleri yükleyin:

   cd FastSAM
   pip install -r requirements.txt
   

4. CLIP modelini kurun:

   pip install git+https://github.com/ultralytics/CLIP.git
   

Örnek Kullanım

1. Bir model kontrol noktası indirin.

2. Çıkarım için FastSAM adresini kullanın. Örnek komutlar:

   • Bir görüntüdeki her şeyi bölümlere ayırın:

     python Inference.py --model_path ./weights/FastSAM.pt --img_path ./images/dogs.jpg
     

   • Metin istemini kullanarak belirli nesneleri segmentlere ayırın:

     python Inference.py --model_path ./weights/FastSAM.pt --img_path ./images/dogs.jpg --text_prompt "the yellow dog"
     

   • Nesneleri bir sınırlayıcı kutu içinde segmentlere ayırın (xywh formatında kutu koordinatlarını sağlayın):

     python Inference.py --model_path ./weights/FastSAM.pt --img_path ./images/dogs.jpg --box_prompt "[570,200,230,400]"
     

   • Belirli noktaların yakınındaki nesneleri segmentlere ayırın:

     python Inference.py --model_path ./weights/FastSAM.pt --img_path ./images/dogs.jpg --point_prompt "[[520,360],[620,300]]" --point_label "[1,0]"
     

Ayrıca, görsel bir deneyim için FastSAM adresini bir Colab dem osu aracılığıyla veya HuggingFace web demosunda deneyebilirsiniz.

Atıflar ve Teşekkür

Gerçek zamanlı örnek segmentasyonu alanındaki önemli katkılarından dolayı FastSAM yazarlarına teşekkür ederiz:

@misc{zhao2023fast,
      title={Fast Segment Anything},
      author={Xu Zhao and Wenchao Ding and Yongqi An and Yinglong Du and Tao Yu and Min Li and Ming Tang and Jinqiao Wang},
      year={2023},
      eprint={2306.12156},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Orijinal FastSAM makalesi arXiv'de bulunabilir. Yazarlar çalışmalarını kamuya açık hale getirmişlerdir ve kod tabanına GitHub üzerinden erişilebilir. Alanı ilerletme ve çalışmalarını daha geniş bir topluluk için erişilebilir hale getirme çabalarını takdir ediyoruz.

SSS

FastSAM nedir ve SAM adresinden farkı nedir?

FastSAMFast Segment Anything Model'in kısaltması olan Segment Anything Model, nesne segmentasyon görevlerinde yüksek performansı korurken hesaplama taleplerini azaltmak için tasarlanmış gerçek zamanlı bir konvolüsyonel sinir ağı (CNN) tabanlı çözümdür. Daha ağır bir Transformatör tabanlı mimari kullanan Segment Anything Model'in (SAM) aksine, FastSAM iki aşamada verimli örnek segmentasyonu için Ultralytics YOLOv8 -seg'den yararlanır: tüm örnek segmentasyonu ve ardından istem kılavuzlu seçim.

FastSAM gerçek zamanlı segmentasyon performansına nasıl ulaşıyor?

FastSAM YOLOv8-seg ve prompt-guided seçim aşamaları ile segmentasyon görevini tüm-madde segmentasyonuna ayırarak gerçek zamanlı segmentasyona ulaşır. CNN'lerin hesaplama verimliliğinden yararlanan , rekabetçi performansı korurken hesaplama ve kaynak taleplerinde önemli azalmalar sunar. Bu iki aşamalı yaklaşım, 'un hızlı sonuçlar gerektiren uygulamalar için uygun hızlı ve verimli segmentasyon sunmasını sağlar. FastSAM FastSAM

FastSAM'un pratik uygulamaları nelerdir?

FastSAM gerçek zamanlı segmentasyon performansı gerektiren çeşitli bilgisayarla görme görevleri için pratiktir. Uygulamalar şunları içerir:

• Kalite kontrol ve güvence için endüstriyel otomasyon
• Güvenlik ve gözetim için gerçek zamanlı video analizi
• Nesne algılama ve segmentasyon için otonom araçlar
• Hassas ve hızlı segmentasyon görevleri için tıbbi görüntüleme

Çeşitli kullanıcı etkileşimi istemlerini işleme yeteneği, FastSAM 'u farklı senaryolar için uyarlanabilir ve esnek hale getirir.

Python adresinde çıkarım yapmak için FastSAM modelini nasıl kullanabilirim?

FastSAM adresini Python adresinde çıkarım yapmak için kullanmak için aşağıdaki örneği takip edebilirsiniz:

from ultralytics import FastSAM
from ultralytics.models.fastsam import FastSAMPrompt

# Define an inference source
source = "path/to/bus.jpg"

# Create a FastSAM model
model = FastSAM("FastSAM-s.pt")  # or FastSAM-x.pt

# Run inference on an image
everything_results = model(source, device="cpu", retina_masks=True, imgsz=1024, conf=0.4, iou=0.9)

# Prepare a Prompt Process object
prompt_process = FastSAMPrompt(source, everything_results, device="cpu")

# Everything prompt
ann = prompt_process.everything_prompt()

# Bounding box prompt
ann = prompt_process.box_prompt(bbox=[200, 200, 300, 300])

# Text prompt
ann = prompt_process.text_prompt(text="a photo of a dog")

# Point prompt
ann = prompt_process.point_prompt(points=[[200, 200]], pointlabel=[1])
prompt_process.plot(annotations=ann, output="./")

Çıkarım yöntemleri hakkında daha fazla bilgi için belgelerin Tahmin Kullanımı bölümüne bakın.

FastSAM segmentasyon görevleri için ne tür istemleri destekler?

FastSAM segmentasyon görevlerine rehberlik etmek için birden fazla istem türünü destekler:

• Her Şey İstemi: Görünür tüm nesneler için segmentasyon oluşturur.
• Sınırlayıcı Kutu (BBox) İstemi: Nesneleri belirtilen bir sınırlayıcı kutu içinde bölümlere ayırır.
• Metin İstemi: Tanımla eşleşen nesneleri bölümlere ayırmak için açıklayıcı bir metin kullanır.
• Nokta İstemi: Kullanıcı tanımlı belirli noktaların yakınındaki nesneleri segmentlere ayırır.

Bu esneklik, FastSAM 'un çok çeşitli kullanıcı etkileşimi senaryolarına uyum sağlamasına olanak tanıyarak farklı uygulamalardaki kullanımını artırır. Bu istemlerin kullanımı hakkında daha fazla bilgi için Temel Özellikler bölümüne bakın.

Yorumlar