تكامل Amazon S3#

يقوم تكامل Amazon S3 بربط حاويات S3 الخاصة بك بـ Ultralytics Platform. تظل صورك في حاوياتك — حيث تقوم المنصة بفهرستها في مكانها، مما يتيح لك تصفح وتصنيف وتدريب نماذج YOLO دون الحاجة إلى رفع نسخة منها.

ميزة Pro

تتطلب مجموعات بيانات Amazon S3 خطة Pro أو Enterprise. ستظهر مساحات العمل المجانية التكامل وسيُطلب منها الترقية عند الاتصال. تظل مجموعات بيانات Amazon S3 الموجودة قابلة للوصول بالكامل في حال انتهاء الاشتراك — فقط الاتصالات وعمليات الاستيراد الجديدة تتطلب خطة Pro.

إنشاء مستخدم IAM للقراءة فقط#

تقوم المنصة بالقراءة من وحدة التخزين الخاصة بك فقط — فهي لا تقوم أبداً بكتابة أو تعديل أو حذف الكائنات الخاصة بك. استخدم مستخدم IAM مخصصاً يمتلك صلاحيات القراءة والسرد فقط — لا تستخدم أبداً بيانات اعتماد الجذر (root credentials):

1. في وحدة تحكم AWS، انتقل إلى IAM > Users وأنشئ مستخدماً ليس لديه صلاحية الوصول إلى وحدة التحكم.

2. قم بإرفاق سياسة تمنح صلاحيات السرد والقراءة فقط للحاويات التي تريد الاتصال بها:

   {
       "Version": "2012-10-17",
       "Statement": [
           { "Effect": "Allow", "Action": "s3:ListAllMyBuckets", "Resource": "*" },
           {
               "Effect": "Allow",
               "Action": ["s3:ListBucket", "s3:GetObject"],
               "Resource": ["arn:aws:s3:::my-bucket", "arn:aws:s3:::my-bucket/*"]
           }
       ]
   }

   s3:ListAllMyBuckets اختيارية — فهي تتيح للمنصة اكتشاف حاوياتك حتى لا تضطر إلى كتابة أسمائها يدوياً.

3. افتح علامة التبويب Security credentials الخاصة بالمستخدم، وأنشئ access key، وقم بنسخ معرف مفتاح الوصول (access key ID) ومفتاح الوصول السري (secret access key).

الاتصال بالمنصة#

1. انتقل إلى Settings > Integrations وحدد Amazon S3 من قائمة التكاملات.
2. أدخل معرف مفتاح الوصول، ومفتاح الوصول السري، ومنطقة الحاوية (على سبيل المثال us-east-1).
3. انقر فوق Find available buckets، ثم حدد الحاويات المراد الاتصال بها. إذا كانت السياسة لا تسمح بالاستكشاف، فأدخل اسم حاوية معروف يدوياً.
4. انقر فوق Connect. تتحقق المنصة من قدرتها على سرد وقراءة كل حاوية محددة قبل حفظ أي شيء.

إعادة ربط نفس مستخدم IAM لاحقاً يضيف حاويات جديدة إلى التكامل الحالي. لا يتم استبدال بيانات الاعتماد المحفوظة إلا إذا كانت بيانات الاعتماد البديلة لا تزال قادرة على قراءة كل حاوية قمت بربطها مسبقاً.

منطقة واحدة لكل اتصال

يقرأ الاتصال الحاويات الموجودة في المنطقة التي تدخلها. إذا كانت حاوياتك موزعة على عدة مناطق، فقم بالاتصال مرة واحدة لكل منطقة.

أمان بيانات الاعتماد

يتم تشفير بيانات الاعتماد أثناء التخزين باستخدام AES-256-GCM، ولا يتم إرجاعها أبداً إلى المتصفح، ولا تدخل أبداً في حمولات مهام التدريب. لإلغاء الوصول، قم بإلغاء تنشيط مفتاح الوصول في AWS IAM.

إنشاء مجموعة بيانات من حاوية S3#

1. انقر فوق New Dataset وافتح علامة التبويب Cloud storage.
2. اختر حاوية متصلة وانتقل إلى المجلد الذي يحتوي على بياناتك.
3. أكد المجلد، واضبط اسم مجموعة البيانات، وأنشئ مجموعة البيانات.

تدرج المنصة المجلد مرة واحدة وتفهرس ما تجده:

• Images — تتم فهرسة كائنات .jpg و.jpeg و.png و.webp و.avif مع قراءة الأبعاد من خلال طلبات محددة. لا تحتفظ المنصة بنسخة ثانية من صورة المصدر.
• Labels — يتم تحليل ملفات YOLO الجانبية بتنسيق .txt إلى تعليقات توضيحية (annotations) في المنصة، ويتم مطابقتها حسب التخطيط القياسي images/ → labels/ أو كملفات مصاحبة في المجلد نفسه.
• Metadata — يوفر ملف data.yaml/data.yml أسماء الفئات، ونوع المهمة، وشكل النقاط الرئيسية (keypoint shape)، تماماً مثل تحميل الأرشيف.
• التقسيمات (Splits) — تعين أسماء المجلدات train و val و test في مفتاح الكائن التقسيمات تلقائياً.

تعمل مجموعة البيانات بعد ذلك مثل أي مجموعة أخرى: يمكنك تصفحها وتسميتها، وتعيينها كعامة أو خاصة، ومشاركتها مع فريقك، والتدريب عليها من خلال التدريب المُدار. يتم بث النسخ الأصلية عند الطلب، ولا تستهلك الصور المفهرسة حصة التخزين الخاصة بك على المنصة.

القيود

تقوم عملية استيراد واحدة بفهرسة ما يصل إلى 50,000 كائن، وملفات التسميات أو YAML حتى 1 ميجابايت لكل منها. يجب تقسيم الحاويات الأكبر عبر مجموعات بيانات متعددة.

حافظ على الكائنات المفهرسة غير قابلة للتغيير

يتم تثبيت كل صورة مفهرسة بـ ETag الخاص بكائن S3 الخاص بها، وتفشل المنصة وتتوقف إذا تغير الكائن تحتها. أضف كائنات جديدة بدلاً من الكتابة فوق الكائنات الموجودة.

إخفاقات الاستيراد#

إذا فشلت عملية الاستيراد — بسبب مجلد فارغ، أو خطأ مطبعي في المسار، أو صلاحيات ملغاة — تعرض مجموعة البيانات الخطأ في صفحتها. يمكن للمحررين النقر فوق Retry import لإعادة تشغيلها باستخدام الحاوية والمجلد المخزنين، أو إنشاء مجموعة بيانات جديدة تشير إلى المسار المصحح.

التدريب#

يعمل التدريب المُدار من خلال تدفق التدريب العادي. تقوم العمال (Workers) بتنزيل النسخ الأصلية المثبتة إلى وحدة تخزين المهام المؤقتة للتشغيل وتزيلها مع تنظيف المهام — بيانات اعتماد AWS الخاصة بك لا تصل أبداً إلى الحوسبة.

القيود الحالية#

تستبعد مجموعات البيانات المدعومة بـ S3 حالياً الميزات التي تتطلب نسخاً من صورك مملوكة للمنصة: التصنيف التلقائي، وتحليل التجميع، واستنساخ مجموعة البيانات، ولقطات الإصدارات غير القابلة للتغيير.

حذف مجموعة بيانات مدعومة بـ S3، أو حذف صور فردية منها، يزيل مراجع المنصة فقط — لا يتم لمس كائناتك أبداً.

راجع أيضاً عمليات تكامل Google Cloud Storage و Azure Blob Storage.