تكامل Amazon S3#

يقوم تكامل Amazon S3 بتوصيل مستودعات S3 الخاصة بك بـ Ultralytics Platform. تظل صورك في مستودعاتك — تقوم المنصة بفهرستها في مكانها، حتى تتمكن من تصفح وتعليق وتدريب نماذج YOLO دون تحميل نسخة.

ميزة Pro

تتطلب مجموعات بيانات Amazon S3 خطة Pro أو Enterprise. تري مساحات العمل المجانية التكامل وتتم مطالبتها بالترقية عند الاتصال. تظل مجموعات بيانات Amazon S3 الموجودة قابلة للوصول بالكامل إذا انتهى الاشتراكات — تتطلب الاتصالات والواردات الجديدة فقط خطة Pro.

إنشاء مستخدم IAM للقراءة فقط#

تقوم المنصة بالقراءة فقط من وحدة التخزين الخاصة بك — فهي لا تكتب أو تعدل أو تحذف كائناتك أبدًا. استخدم مستخدم IAM مخصصًا بصلاحيات القراءة والعرض فقط — ولا تستخدم أبدًا بيانات اعتماد الجذر:

1. في وحدة تحكم AWS، انتقل إلى IAM > Users وأنشئ مستخدماً ليس لديه صلاحية الوصول إلى وحدة التحكم.

2. قم بإرفاق سياسة تمنح صلاحيات السرد والقراءة فقط للحاويات التي تريد الاتصال بها:

   {
       "Version": "2012-10-17",
       "Statement": [
           { "Effect": "Allow", "Action": "s3:ListAllMyBuckets", "Resource": "*" },
           {
               "Effect": "Allow",
               "Action": ["s3:ListBucket", "s3:GetObject"],
               "Resource": ["arn:aws:s3:::my-bucket", "arn:aws:s3:::my-bucket/*"]
           }
       ]
   }

   s3:ListAllMyBuckets اختيارية — فهي تتيح للمنصة اكتشاف مستودعاتك حتى لا تضطر إلى كتابة أسمائها.

3. افتح علامة التبويب Security credentials الخاصة بالمستخدم، وأنشئ access key، وقم بنسخ معرف مفتاح الوصول (access key ID) ومفتاح الوصول السري (secret access key).

الاتصال بالمنصة#

1. انتقل إلى Settings > Integrations وحدد Amazon S3 من قائمة التكاملات.
2. أدخل معرف مفتاح الوصول، ومفتاح الوصول السري، ومنطقة المستودع (على سبيل المثال us-east-1).
3. انقر فوق Find available buckets، ثم حدد الحاويات المراد الاتصال بها. إذا كانت السياسة لا تسمح بالاستكشاف، فأدخل اسم حاوية معروف يدوياً.
4. انقر فوق Connect. تتحقق المنصة من قدرتها على سرد وقراءة كل حاوية محددة قبل حفظ أي شيء.

إعادة ربط نفس مستخدم IAM لاحقاً يضيف حاويات جديدة إلى التكامل الحالي. لا يتم استبدال بيانات الاعتماد المحفوظة إلا إذا كانت بيانات الاعتماد البديلة لا تزال قادرة على قراءة كل حاوية قمت بربطها مسبقاً.

منطقة واحدة لكل اتصال

يقرأ الاتصال الحاويات الموجودة في المنطقة التي تدخلها. إذا كانت حاوياتك موزعة على عدة مناطق، فقم بالاتصال مرة واحدة لكل منطقة.

أمان بيانات الاعتماد

يتم تشفير بيانات الاعتماد أثناء التخزين باستخدام AES-256-GCM، ولا يتم إرجاعها أبداً إلى المتصفح، ولا تدخل أبداً في حمولات مهام التدريب. لإلغاء الوصول، قم بإلغاء تنشيط مفتاح الوصول في AWS IAM.

إنشاء مجموعة بيانات من حاوية S3#

1. انقر فوق New Dataset وافتح علامة التبويب Cloud storage.
2. اختر حاوية متصلة وانتقل إلى المجلد الذي يحتوي على بياناتك.
3. أكد المجلد، واضبط اسم مجموعة البيانات، وأنشئ مجموعة البيانات.

تدرج المنصة المجلد مرة واحدة وتفهرس ما تجده:

• Images — تتم فهرسة كائنات .jpg و .jpeg و .png و .webp و .avif مع الأبعاد المقروءة من خلال طلبات محدودة. لا تحتفظ المنصة بنسخة ثانية من الصورة الأصلية.
• Labels — يتم تحليل ملفات YOLO الجانبية .txt إلى تعليقات على المنصة، مطابقة لتخطيط images/ → labels/ القياسي أو كأشقاء في نفس المجلد.
• Metadata — يوفر ملف data.yaml/data.yml أسماء الفئات، نوع المهمة، وشكل نقطة مفتاح الوضع، تمامًا مثل رفع الأرشيف.
• Splits — تقوم أسماء المجلدات train و val و test في مفتاح الكائن بتعيين التقسيمات تلقائيًا.

تسلك مجموعة البيانات بعد ذلك سلوك أي مجموعة بيانات أخرى: تصفحها وضع تعليقات عليها، واجعلها عامة أو خاصة، شاركها مع فريقك، وتدرب عليها من خلال التدريب المُدارة. يتم بث الأصلية عند الطلب، والصور المفهرسة لا تستهلك حصص التخزين الخاصة بك على المنصة.

القيود

تقوم عملية استيراد واحدة بفهرسة ما يصل إلى 50,000 كائن، وملفات التسميات أو YAML حتى 1 ميجابايت لكل منها. يجب تقسيم الحاويات الأكبر عبر مجموعات بيانات متعددة.

حافظ على الكائنات المفهرسة غير قابلة للتغيير

يتم تثبيت كل صورة مفهرسة بـ ETag الخاص بكائن S3 الخاص بها، وتفشل المنصة وتتوقف إذا تغير الكائن تحتها. أضف كائنات جديدة بدلاً من الكتابة فوق الكائنات الموجودة.

إخفاقات الاستيراد#

إذا فشلت عملية الاستيراد — بسبب مجلد فارغ، أو خطأ مطبعي في المسار، أو صلاحيات ملغاة — تعرض مجموعة البيانات الخطأ في صفحتها. يمكن للمحررين النقر فوق Retry import لإعادة تشغيلها باستخدام الحاوية والمجلد المخزنين، أو إنشاء مجموعة بيانات جديدة تشير إلى المسار المصحح.

التدريب#

يعمل التدريب المُدار من خلال تدفق التدريب العادي. تقوم العمال (Workers) بتنزيل النسخ الأصلية المثبتة إلى وحدة تخزين المهام المؤقتة للتشغيل وتزيلها مع تنظيف المهام — بيانات اعتماد AWS الخاصة بك لا تصل أبداً إلى الحوسبة.

القيود الحالية#

تستبعد مجموعات البيانات المدعومة من S3 حاليًا الميزات التي تتطلب نسخًا مملوكة للمنصة من صورك: التعليق التلقائي، وتحليل التجميع، واستنساخ مجموعات البيانات، ولقطات الإصدارات غير القابلة للتغيير.

حذف مجموعة بيانات مدعومة بـ S3، أو حذف صور فردية منها، يزيل مراجع المنصة فقط — لا يتم لمس كائناتك أبداً.

راجع أيضًا تكاملات Google Cloud Storage وAzure Blob Storage.