─░├žeri─če ge├ž

MobileSAM Logo

Mobil Segment Anything (MobileSAM)

MobileSAM makalesi art─▒k arXiv'de mevcuttur.

Bir CPU ├╝zerinde ├žal─▒┼čan MobileSAM 'un bir g├Âsterimine bu demo ba─člant─▒s─▒ndan eri┼čilebilir. Mac i5 CPU ├╝zerindeki performans yakla┼č─▒k 3 saniye s├╝rmektedir. Hugging Face demosunda, aray├╝z ve daha d├╝┼č├╝k performansl─▒ CPU'lar daha yava┼č bir yan─▒ta katk─▒da bulunur, ancak etkili bir ┼čekilde ├žal─▒┼čmaya devam eder.

MobileSAM Grounding-SAM, AnyLabeling ve Segment Anything in 3D gibi ├že┼čitli projelerde uygulanmaktad─▒r.

MobileSAM tek bir GPU ├╝zerinde 100 bin veri k├╝mesiyle (orijinal g├Âr├╝nt├╝lerin %1'i) bir g├╝nden daha k─▒sa bir s├╝rede e─čitilmi┼čtir. Bu e─čitimin kodu gelecekte kullan─▒ma sunulacakt─▒r.

Mevcut Modeller, Desteklenen G├Ârevler ve ├çal─▒┼čma Modlar─▒

Bu tablo, ├Ânceden e─čitilmi┼č belirli a─č─▒rl─▒klar─▒yla birlikte mevcut modelleri, destekledikleri g├Ârevleri ve desteklenen modlar i├žin Ôťů emojisi ve desteklenmeyen modlar i├žin ÔŁî emojisi ile g├Âsterilen ├ç─▒kar─▒m, Do─črulama, E─čitim ve D─▒┼ča Aktarma gibi farkl─▒ ├žal─▒┼čma modlar─▒yla uyumluluklar─▒n─▒ sunar.

Model Tipi ├ľnceden E─čitilmi┼č A─č─▒rl─▒klar Desteklenen G├Ârevler ├ç─▒kar─▒m Do─črulama E─čitim ─░hracat
MobileSAM mobile_sam.pt ├ľrnek Segmentasyonu Ôťů ÔŁî ÔŁî ÔŁî

SAM adresinden MobileSAM

MobileSAM orijinal SAM ile ayn─▒ boru hatt─▒n─▒ korudu─čundan, orijinalin ├Ân i┼čleme, son i┼čleme ve di─čer t├╝m aray├╝zlerini dahil ettik. Sonu├ž olarak, ┼ču anda orijinal SAM 'u kullananlar minimum ├žabayla MobileSAM 'a ge├ži┼č yapabilirler.

MobileSAM orijinal SAM ile kar┼č─▒la┼čt─▒r─▒labilir bir performans sergiler ve g├Âr├╝nt├╝ kodlay─▒c─▒s─▒ndaki bir de─či┼čiklik d─▒┼č─▒nda ayn─▒ i┼člem hatt─▒n─▒ korur. ├ľzellikle, orijinal a─č─▒r ViT-H kodlay─▒c─▒y─▒ (632M) daha k├╝├ž├╝k bir Tiny-ViT (5M) ile de─či┼čtiriyoruz. Tek bir GPU'da, MobileSAM g├Âr├╝nt├╝ ba┼č─▒na yakla┼č─▒k 12 ms'de ├žal─▒┼č─▒r: G├Âr├╝nt├╝ kodlay─▒c─▒da 8 ms ve maske kod ├ž├Âz├╝c├╝de 4 ms.

A┼ča─č─▒daki tablo ViT tabanl─▒ g├Âr├╝nt├╝ kodlay─▒c─▒lar─▒n bir kar┼č─▒la┼čt─▒rmas─▒n─▒ sunmaktad─▒r:

G├Âr├╝nt├╝ Kodlay─▒c─▒ Orijinal SAM MobileSAM
Parametreler 611M 5M
H─▒z 452ms 8ms

Hem orijinal SAM hem de MobileSAM ayn─▒ istem g├╝d├╝ml├╝ maske ├ž├Âz├╝c├╝y├╝ kullanmaktad─▒r:

Maske ├ç├Âz├╝c├╝ Orijinal SAM MobileSAM
Parametreler 3.876M 3.876M
H─▒z 4ms 4ms

─░┼čte t├╝m boru hatt─▒n─▒n kar┼č─▒la┼čt─▒rmas─▒:

T├╝m Boru Hatt─▒ (Enc+Dec) Orijinal SAM MobileSAM
Parametreler 615M 9.66M
H─▒z 456ms 12ms

MobileSAM ve orijinal SAM 'un performans─▒ hem bir nokta hem de bir kutu ipucu olarak kullan─▒larak g├Âsterilmi┼čtir.

─░pucu Olarak Noktal─▒ Resim

─░stem Olarak Kutulu Resim

├ťst├╝n performans─▒yla MobileSAM , mevcut FastSAM adresinden yakla┼č─▒k 5 kat daha k├╝├ž├╝k ve 7 kat daha h─▒zl─▒d─▒r. Daha fazla ayr─▒nt─▒ MobileSAM proje sayfas─▒nda mevcuttur.

Test MobileSAM i├žinde Ultralytics

T─▒pk─▒ orijinal SAM'da oldu─ču gibi, Ultralytics'da da hem Nokta hem de Kutu istemleri i├žin modlar i├žeren basit bir test y├Ântemi sunuyoruz.

Model ─░ndir

Modeli buradan indirebilirsiniz.

Nokta ─░stemi

├ľrnek

from ultralytics import SAM

# Load the model
model = SAM("mobile_sam.pt")

# Predict a segment based on a point prompt
model.predict("ultralytics/assets/zidane.jpg", points=[900, 370], labels=[1])

Kutu ─░stemi

├ľrnek

from ultralytics import SAM

# Load the model
model = SAM("mobile_sam.pt")

# Predict a segment based on a box prompt
model.predict("ultralytics/assets/zidane.jpg", bboxes=[439, 437, 524, 709])

Biz uygulad─▒k MobileSAM ve SAM ayn─▒ API'yi kullanarak. Daha fazla kullan─▒m bilgisi i├žin l├╝tfen SAM Sayfa.

At─▒flar ve Te┼čekk├╝r

Ara┼čt─▒rma veya geli┼čtirme ├žal─▒┼čmalar─▒n─▒zda MobileSAM adresini faydal─▒ bulursan─▒z, l├╝tfen makalemize at─▒fta bulunmay─▒ d├╝┼č├╝n├╝n:

@article{mobile_sam,
  title={Faster Segment Anything: Towards Lightweight SAM for Mobile Applications},
  author={Zhang, Chaoning and Han, Dongshen and Qiao, Yu and Kim, Jung Uk and Bae, Sung Ho and Lee, Seungkyu and Hong, Choong Seon},
  journal={arXiv preprint arXiv:2306.14289},
  year={2023}
}


Created 2023-11-12, Updated 2024-06-10
Authors: glenn-jocher (11), ChaoningZhang (1), Laughing-q (1)

Yorumlar