Интеграция с Google Cloud Storage#

Интеграция с Google Cloud Storage подключает твои корзины GCS к Ultralytics Platform. Изображения остаются в твоих корзинах — Платформа индексирует их на месте, поэтому ты можешь просматривать, размечать и обучать модели YOLO без загрузки копии.

Создание учетной записи службы только для чтения#

Платформа только читает данные из твоего хранилища — она никогда не записывает, не изменяет и не удаляет твои объекты. Создай отдельную учетную запись службы только с доступом на чтение:

1. В консоли Google Cloud перейди в раздел IAM & Admin > Service Accounts и создай учетную запись службы.
2. Назначь ей роль Storage Object Viewer (roles/storage.objectViewer) для корзин, которые хочешь подключить.
3. Открой учетную запись службы, выбери Keys > Add key > Create new key, укажи JSON и скачай файл ключа.

Подключение к Платформе#

1. Перейди в Settings > Integrations и выбери Google Cloud Storage в списке интеграций.
2. Вставь содержимое JSON-ключа учетной записи службы.
3. Нажми Find available buckets, затем выбери корзины для подключения. Если учетная запись службы не может просматривать список корзин, введи известное имя корзины вручную.
4. Нажми Connect. Перед сохранением Платформа проверяет, что может просматривать список и читать каждую выбранную корзину.

Для подключения облачного хранилища тебе нужна роль администратора или владельца рабочего пространства. Одно подключение поддерживает до 50 корзин, а обнаружение отображает до 300 корзин, доступных учетной записи службы.

Браузер читает вставленный файл ключа и отправляет только три поля, необходимые Платформе: client_email, private_key, и project_id. Остальная часть JSON никогда не покидает страницу.

Повторное подключение той же учетной записи службы позже добавляет новые корзины в существующую интеграцию. Сохраненные учетные данные заменяются только после того, как новая учетная запись сможет по-прежнему читать все уже подключенные корзины.

Создание набора данных из корзины GCS#

1. Нажми New Dataset и открой вкладку Cloud.
2. Выбери подключенную корзину и перейди к папке с данными.
3. Подтверди папку, при необходимости измени имя набора данных и создай его.

Платформа один раз просматривает содержимое папки и индексирует найденные объекты:

• Изображения — объекты .jpg, .jpeg, .png, .webp и .avif индексируются с размерами, полученными через ограниченные запросы. Платформа не сохраняет вторую копию исходного изображения.
• Метки — сопутствующие файлы YOLO .txt разбираются в аннотации Платформы и сопоставляются по стандартной структуре images/ → labels/ или как соседние файлы в одной папке.
• Метаданные — YAML-файл содержит имена классов и структуру ключевых точек позы, как и при загрузке архива. Если в папке их несколько, предпочтение отдается data.yaml и data.yml.
• Задача — задача определяется по образцу файлов меток, поэтому папки для сегментации, позы и OBB распознаются по структуре меток, а не по задаче, выбранной в диалоговом окне.
• Разбиения — имена папок train, val и test в пути объекта автоматически назначают разбиения.

После этого набор данных работает как любой другой: просматривай и размечай его, делай его общедоступным или приватным, делись им со своей командой и обучай на нем с помощью управляемого обучения. Исходные файлы передаются по запросу, а проиндексированные изображения не расходуют твою квоту хранилища Платформы.

Неудачные импорты#

Если импорт завершается ошибкой — из-за пустой папки, опечатки в пути или отозванных разрешений — набор данных отображает ошибку на своей странице. Редакторы могут нажать Retry import, чтобы перезапустить импорт с сохраненными корзиной и папкой, или создать новый набор данных с исправленным путем.

Повторная попытка заново просматривает содержимое папки, а не продолжает предыдущий импорт: добавленные после первой попытки объекты будут включены, а отсутствующие больше объекты будут удалены из набора данных.

Обучение#

Управляемое обучение выполняется через стандартный процесс обучения. Во время запуска обучение использует собственные копии закрепленных изображений Платформы, а твои учетные данные Google Cloud никогда не передаются рабочим нагрузкам обучения.

Отключение подключения#

Отключение удаляет сохраненные учетные данные, не затрагивая ничего в Google Cloud. Наборы данных, созданные из этих корзин, остаются в твоем рабочем пространстве вместе с классами, метками и аннотациями, но их изображения нельзя загрузить, просмотреть или использовать для обучения, пока та же учетная запись службы не будет подключена снова.

Используй REST API с идентификатором интеграции, возвращаемым GET /api/integrations/buckets:

curl -X DELETE \
  -H "Authorization: Bearer YOUR_API_KEY" \
  https://platform.ultralytics.com/api/integrations/buckets/INTEGRATION_ID

from ultralytics_platform import Platform

client = Platform()  # reads ULTRALYTICS_API_KEY
integrations = client.storage_integrations.list()
client.storage_integrations.delete("INTEGRATION_ID")

Чтобы вместо этого отозвать доступ непосредственно в источнике, удали ключ учетной записи службы в Google Cloud.

Текущие ограничения#

Наборы данных на основе GCS в настоящее время не поддерживают функции, требующие копий изображений, принадлежащих Платформе: автоматическую разметку, кластерный анализ, клонирование наборов данных и неизменяемые снимки версий.

Удаление набора данных на основе GCS или отдельных изображений из него удаляет только ссылки Платформы — твои объекты никогда не затрагиваются.

См. также интеграции с Amazon S3 и Azure Blob Storage.

Часто задаваемые вопросы#