Интеграция Amazon S3

Интеграция Amazon S3 подключает твои контейнеры S3 к Ultralytics Platform. Изображения остаются в твоих контейнерах — Platform индексирует их на месте, поэтому ты можешь просматривать их, аннотировать и обучать модели YOLO, не загружая копию. Если функции ИИ включены, Platform также может использовать изображения для интеллектуального аннотирования, автоматического аннотирования, поиска похожих изображений и облачного обучения.

Создание пользователя IAM#

Доступа на чтение достаточно для всех действий, кроме генерации изображений, при которой также создаются объекты. Platform никогда не изменяет и не удаляет твои объекты. Создай отдельного пользователя IAM — никогда не используй учётные данные корневой учётной записи:

1. В консоли AWS перейди в IAM > Пользователи и создай пользователя без доступа к консоли.

2. Прикрепи политику, предоставляющую права на просмотр списка объектов и чтение данных из контейнеров, которые нужно подключить:

   {
       "Version": "2012-10-17",
       "Statement": [
           { "Effect": "Allow", "Action": "s3:ListAllMyBuckets", "Resource": "*" },
           {
               "Effect": "Allow",
               "Action": ["s3:ListBucket", "s3:GetObject"],
               "Resource": ["arn:aws:s3:::my-bucket", "arn:aws:s3:::my-bucket/*"]
           }
       ]
   }

   s3:ListAllMyBuckets — необязательный параметр: он позволяет Platform находить твои бакеты, чтобы тебе не приходилось вводить их имена.

   Для генерации изображений также разреши s3:PutObject:

   {
       "Effect": "Allow",
       "Action": "s3:PutObject",
       "Resource": [
           "arn:aws:s3:::my-bucket/generated/*",
           "arn:aws:s3:::my-bucket/*/generated/*",
           "arn:aws:s3:::my-bucket/.ultralytics-write-check"
       ]
   }

   В S3 нет разрешения только на создание, поэтому эта политика ограничивает запись папками generated/ и ключом .ultralytics-write-check, который Platform использует для проверки права записи (эта проверка всегда отклоняется, поэтому данные не сохраняются). Сама Platform никогда не перезаписывает данные при записи.

3. Открой вкладку Учётные данные безопасности пользователя, создай ключ доступа и скопируй его идентификатор и секретный ключ доступа.

Подключение к Platform#

1. Перейди в Настройки > Интеграции и выбери Amazon S3 в списке интеграций.
2. Введи идентификатор ключа доступа, секретный ключ доступа и регион бакета (например, us-east-1).
3. Нажми Найти доступные бакеты, затем выбери бакеты для подключения. Если политика не разрешает поиск бакетов, введи имя известного бакета вручную.
4. Нажми Connect. Перед сохранением данных Platform проверит, что может просматривать список объектов и читать данные из каждого выбранного контейнера, а также проверит возможность записи с помощью запроса, который S3 всегда отклоняет, поэтому данные не сохраняются.

Для каждого подключённого учётного доступа есть переключатель функций ИИ. Изменив политику IAM, подключи того же пользователя IAM ещё раз, чтобы повторно проверить право записи.

Для подключения облачного хранилища тебе нужна роль администратора или владельца рабочего пространства. За один раз можно добавить до 50 бакетов, а поиск отобразит до 300 бакетов, доступных этому ключу.

При повторном подключении того же пользователя IAM к существующей интеграции добавляются новые бакеты. Сохранённые учётные данные заменяются только в том случае, если новые учётные данные по-прежнему позволяют читать каждый уже подключённый бакет. Если какой-либо бакет недоступен для чтения, ошибка укажет его имя, в том числе если бакет был подключён ранее с помощью того же пользователя IAM.

Функции ИИ#

Для каждого подключённого учётного доступа в Settings > Integrations есть переключатель функций ИИ, включённый по умолчанию. Если он включён, GPU Ultralytics и поставщики моделей ИИ могут использовать изображения из этого учётного доступа для:

• интеллектуального аннотирования SAM, а также автоматического аннотирования одного изображения и пакетного автоматического аннотирования
• поиска похожих изображений и анализа кластеризации
• облачного обучения
• генерации изображений в контейнерах с правом записи

Провайдеры моделей ИИ используются только для генерации изображений, для которой Google Gemini составляет запросы на основе исходного изображения, и для платных моделей разметки, работающих с ключом провайдера из твоего рабочего пространства. Platform не хранит копии изображений: функции считывают их по запросу, облачное обучение использует временные копии на время запуска, а для поиска похожих изображений хранится эмбеддинг каждого изображения, который удаляется, когда изображение покидает Platform.

Выключи переключатель, чтобы изображения не передавались на GPU Ultralytics и поставщикам моделей ИИ. После выключения новые задачи ИИ не запускаются; текущие задачи выполняются до конца. Наборы данных, использующие этот учётный доступ, будут показывать статус AI features off со ссылкой на эти настройки, а для каждой недоступной функции будет указана причина. Ручное аннотирование, совместный доступ и локальное обучение продолжат работать, а уже созданные метки, модели и результаты поиска сохранятся.

Чтобы изменить переключатель, тебе нужна роль администратора или владельца рабочего пространства. Также это можно сделать через REST API, указав ID интеграции, возвращённый методом GET /api/integrations/buckets:

curl -X PATCH \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"processing": false}' \
  https://platform.ultralytics.com/api/integrations/buckets/INTEGRATION_ID

Генерация изображений#

Функция генерации похожих изображений работает с наборами данных Amazon S3, если пользователь IAM может записывать данные в соответствующий контейнер и включены функции ИИ. Добавленные изображения записываются в папку generated/ внутри папки набора данных, а затем добавляются в набор данных как любые другие индексированные изображения. Platform только создаёт там новые объекты и никогда не перезаписывает и не удаляет существующие. Если действие сообщает, что нужен доступ на запись, предоставь его, если необходимо, и снова подключи того же пользователя IAM в Settings > Integrations.

Создай датасет из бакета S3#

1. Нажми New Dataset и открой вкладку Cloud.
2. Выбери подключённый бакет и перейди к папке с данными.
3. Подтверди выбор папки, при необходимости измени название набора данных и создай его.

Platform однократно перечисляет содержимое папки и индексирует найденные данные:

• Изображения — объекты .jpg, .jpeg, .png, .webp и .avif индексируются; размеры считываются с помощью ограниченных по объёму запросов. Platform не сохраняет вторую копию исходного изображения.
• Метки — файлы YOLO .txt разбираются в аннотации Platform и сопоставляются по стандартной структуре images/ → labels/ или как соседние файлы в одной папке.
• Метаданные — YAML-файл содержит названия классов и структуру ключевых точек позы, как и при загрузке архива. Если в папке несколько файлов, предпочтение отдаётся data.yaml и data.yml.
• Задача — задача определяется по выборке файлов меток, поэтому папки segment, pose и OBB распознаются по структуре меток, а не по задаче, выбранной в диалоговом окне.
• Разбиение на выборки — названия папок train, val и test в ключе объекта автоматически определяют выборки.

Дальше набор данных работает как любой другой: просматривай его и размечай, делай его общедоступным или приватным, делись им со своей командой и обучай модели с помощью управляемого обучения. Исходные данные передаются по запросу, а индексированные изображения не расходуют квоту хранилища Platform.

Неудачный импорт#

Если импорт завершается ошибкой — например, из-за пустой папки, опечатки в пути или отозванных разрешений, — ошибка отображается на странице датасета. Редакторы могут нажать Повторить импорт, чтобы перезапустить его с сохранёнными бакетом и папкой, или создать новый датасет, указав исправленный путь.

При повторном импорте папка сканируется заново, а не с того места, где импорт остановился: в датасет добавляются объекты, появившиеся после первой попытки, а объекты, которых больше нет, удаляются из датасета.

Обучение#

При включённых функциях ИИ управляемое обучение выполняется в обычном режиме обучения. На время выполнения обучения используются собственные копии закреплённых изображений, хранящиеся в Platform; учётные данные AWS никогда не передаются задачам обучения. Если функции ИИ выключены, в диалоговом окне обучения объясняется, почему облачное обучение недоступно, и предлагается локальное обучение.

Отключение подключения#

При отключении сохранённые учётные данные удаляются, но в AWS ничего не меняется. Датасеты, созданные на основе этих бакетов, остаются в твоём рабочем пространстве вместе со своими классами, метками и аннотациями, но их изображения нельзя загружать, просматривать или использовать для обучения, пока снова не будет подключён тот же пользователь IAM. Даже без подключения ты можешь переименовывать датасеты, редактировать метки и удалять датасеты.

Чтобы отключить подключение, перейди в Настройки > Интеграции, выбери Amazon S3, нажми Отключить рядом с учётными данными и подтверди действие. При открытии одного из таких датасетов появится сообщение Amazon S3 отключено со ссылкой на эти настройки. После повторного подключения датасет снова станет доступен автоматически.

Отключить подключение можно также через REST API, используя идентификатор интеграции, полученный из GET /api/integrations/buckets:

curl -X DELETE \
  -H "Authorization: Bearer YOUR_API_KEY" \
  https://platform.ultralytics.com/api/integrations/buckets/INTEGRATION_ID

from ultralytics_platform import Platform

client = Platform()  # reads ULTRALYTICS_API_KEY
integrations = client.storage_integrations.list()
client.storage_integrations.delete("INTEGRATION_ID")

Чтобы отозвать доступ непосредственно в AWS, деактивируй или удали ключ доступа в AWS IAM.

Текущие ограничения#

Для наборов данных в S3 недоступны функции, которым нужны копии изображений под управлением Platform: клонирование набора данных, неизменяемые снимки версий, размытие лиц и вставка изображений из других наборов данных. Для интеллектуального аннотирования, автоматического аннотирования, поиска похожих изображений, кластеризации, облачного обучения и генерации изображений нужно включить функции ИИ.

При удалении датасета на основе S3 или отдельных изображений из него удаляются только ссылки Platform — сами объекты не затрагиваются.

См. также интеграции Google Cloud Storage и Azure Blob Storage.

Часто задаваемые вопросы#