Интеграция с Google Cloud Storage#

Интеграция с Google Cloud Storage подключает твои бакеты GCS к Ultralytics Platform. Твои изображения остаются в бакетах — Platform индексирует их на месте, поэтому ты можешь просматривать, размечать и обучать модели YOLO, не загружая их копии.

Pro-функция

Для наборов данных Google Cloud Storage требуется тарифный план Pro или Enterprise. Бесплатные рабочие пространства видят интеграцию и получают предложение обновить план при попытке подключения. Существующие наборы данных Google Cloud Storage остаются полностью доступными по истечении подписки — Pro требуется только для новых подключений и импорта.

Создание сервисного аккаунта с правами только для чтения#

Platform только считывает данные из твоего хранилища — она никогда не записывает, не изменяет и не удаляет твои объекты. Создай специальный сервисный аккаунт только с доступом для чтения:

1. В консоли Google Cloud перейди в IAM & Admin > Service Accounts и создай сервисный аккаунт.
2. Предоставь ему роль Storage Object Viewer (roles/storage.objectViewer) для бакетов, которые хочешь подключить.
3. Открой сервисный аккаунт, выбери Keys > Add key > Create new key, выбери JSON и загрузи файл ключа.

Подключение к Platform#

1. Перейди в Settings > Integrations и выбери Google Cloud Storage из списка интеграций.
2. Вставь содержимое JSON-ключа учетной записи службы.
3. Нажми Find available buckets, затем выбери бакеты для подключения. Если учетная запись службы не может получить список бакетов, введи известное имя бакета вручную.
4. Нажми Connect. Перед сохранением Platform проверяет, может ли она прочитать каждый выбранный бакет.

Повторное подключение того же сервисного аккаунта позже добавит новые бакеты к уже имеющейся интеграции. Сохраненные учетные данные заменяются только в том случае, если новые учетные данные также могут прочитать все уже подключенные бакеты.

Безопасность учетных данных

Учетные данные шифруются в состоянии покоя с помощью AES-256-GCM, никогда не возвращаются в браузер и не передаются в нагрузках (payloads) обучающих заданий. Чтобы отозвать доступ, удали ключ сервисного аккаунта в Google Cloud.

Создание набора данных из бакета GCS#

1. Нажми New Dataset и открой вкладку Cloud storage.
2. Выбери подключенный бакет и перейди в папку с твоими данными.
3. Подтверди выбор папки, укажи название набора данных и создай его.

Platform просканирует папку один раз и проиндексирует найденное:

• Images — объекты .jpg, .jpeg, .png, .webp и .avif индексируются с чтением размеров посредством ограниченных запросов. Платформа не сохраняет вторую копию исходного изображения.
• Labels — YOLO .txt файлы-сайдкары парсятся в аннотации Platform, сопоставляются по стандартной структуре images/ → labels/ или как файлы, лежащие в той же папке.
• Metadata — файл data.yaml/data.yml содержит имена классов, тип задачи и параметры ключевых точек, в точности как при загрузке архива.
• Splits — названия папок train, val и test в пути к объектам автоматически назначают соответствующие сплиты.

После этого набор данных ведет себя как любой другой: просматривай и размечай его, делай его публичным или приватным, делись им со своей командой и обучай модели с помощью управляемого обучения. Оригиналы передаются по запросу, а проиндексированные изображения не расходуют твою квоту хранилища на Platform.

Ограничения

Один импорт индексирует до 50 000 объектов, а также файлы меток или YAML размером до 1 МБ каждый. Более крупные бакеты следует разделять на несколько наборов данных.

Сохраняй индексированные объекты неизменяемыми

Каждое проиндексированное изображение привязано к своей версии объекта GCS, и Platform выдает ошибку, если объект изменяется. Добавляй новые объекты вместо перезаписи существующих.

Ошибки импорта#

Если импорт завершается неудачей (пустая папка, опечатка в пути или отозванные разрешения), набор данных отображает ошибку на своей странице. Редакторы могут нажать Retry import, чтобы перезапустить его с сохраненными данными бакета и папки, или создать новый набор данных, указывающий на исправленный путь.

Training#

Управляемое обучение работает через стандартный процесс обучения. Воркеры загружают привязанные оригиналы во временное хранилище задания на время выполнения и удаляют их по завершении — твои учетные данные Google Cloud никогда не попадают на вычислительные мощности.

Текущие ограничения#

Наборы данных на базе GCS в настоящее время не поддерживают функции, требующие наличия копий изображений на Platform: авторазметку, кластерный анализ, клонирование набора данных и неизменяемые версионные снимки.

Удаление набора данных на базе GCS или отдельных изображений из него удаляет только ссылки на Platform — твои объекты при этом не затрагиваются.

Также ознакомься с интеграциями Amazon S3 и Azure Blob Storage.