Bảo mật sẵn sàng cho doanh nghiệp: Tuân thủ ISO 27001 + SOC 2 Type I.

Tích hợp Azure Blob Storage#

Tích hợp Azure Blob Storage kết nối các container trong tài khoản lưu trữ của bạn với Ultralytics Platform. Hình ảnh của bạn vẫn nằm trong các container đó — Platform sẽ lập chỉ mục tại chỗ, nhờ vậy bạn có thể duyệt, chú thích và huấn luyện các model YOLO mà không cần tải lên bản sao.

Tính năng Pro

Các tập dữ liệu Azure Blob Storage yêu cầu gói Pro hoặc Enterprise. Các workspace miễn phí sẽ thấy tùy chọn tích hợp và được nhắc nâng cấp khi thực hiện kết nối. Các tập dữ liệu Azure Blob Storage hiện có vẫn được truy cập đầy đủ nếu gói đăng ký kết thúc — chỉ các kết nối và lệnh nhập mới cần gói Pro.

Lấy chuỗi kết nối (Connection String)#

Platform chỉ đọc từ bộ nhớ của bạn — tuyệt đối không ghi, sửa đổi hoặc xóa các blob. Tích hợp hiện tại yêu cầu chuỗi kết nối bằng khóa truy cập tài khoản (access-key), điều này cấp các đặc quyền trên toàn bộ tài khoản ngay cả khi Platform chỉ sử dụng các thao tác liệt kê và đọc:

  1. Trong cổng thông tin Azure, mở tài khoản lưu trữ của bạn.
  2. Đi tới Security + networking > Access keys.
  3. Sao chép một chuỗi kết nối.
Chỉ dành cho Azure cloud công cộng

Các kết nối sử dụng endpoint tiêu chuẩn blob.core.windows.net. Các vùng đám mây có chủ quyền (Azure China, Azure Government) và các endpoint blob tùy chỉnh không được hỗ trợ.

Kết nối với Platform#

  1. Đi tới Settings > Integrations và chọn Microsoft Azure từ danh sách tích hợp.
  2. Dán chuỗi kết nối.
  3. Nhấp vào Find available containers, sau đó chọn các container để kết nối. Bạn cũng có thể nhập thủ công tên container.
  4. Nhấp vào Connect. Platform xác minh rằng nó có thể liệt kê và đọc từng container đã chọn trước khi lưu bất kỳ thông tin nào.

Ultralytics Platform Azure Blob Storage Integration Settings

Việc kết nối lại cùng một tài khoản lưu trữ sau đó sẽ thêm các container mới vào tích hợp hiện có. Thông tin xác thực đã lưu chỉ được thay thế khi thông tin thay thế có thể đọc được mọi container mà bạn đã kết nối.

Bảo mật thông tin xác thực

Một khóa tài khoản có thể ủy quyền các thao tác ghi và xóa hoặc tạo mã thông báo SAS nếu nó bị lộ bên ngoài Platform. Thông tin xác thực được mã hóa ở trạng thái nghỉ với AES-256-GCM, không bao giờ được trả về trình duyệt và không bao giờ đi vào payload của công việc huấn luyện. Hãy sử dụng một tài khoản lưu trữ chuyên dụng nếu có thể. Để thu hồi quyền truy cập, hãy xoay vòng (rotate) các khóa truy cập tài khoản lưu trữ trong Azure.

Tạo tập dữ liệu từ một Blob Container#

  1. Nhấp vào New Dataset và mở tab Cloud storage.
  2. Chọn một container đã kết nối và duyệt đến thư mục chứa dữ liệu của bạn.
  3. Xác nhận thư mục, điều chỉnh tên dataset và tạo dataset.

Platform liệt kê thư mục một lần và lập chỉ mục những gì nó tìm thấy:

  • Images — Các blob .jpg, .jpeg, .png, .webp.avif được lập chỉ mục với kích thước được đọc thông qua các yêu cầu giới hạn. Platform không lưu giữ bản sao thứ hai của ảnh nguồn.
  • Labels — các sidecar YOLO .txt được phân tích cú pháp thành các annotation của Platform, khớp theo bố cục chuẩn images/labels/ hoặc là các tệp cùng thư mục.
  • Metadata — một tệp data.yaml/data.yml cung cấp tên lớp, loại tác vụ và hình dạng keypoint pose, chính xác như một tệp lưu trữ tải lên.
  • Splits — Các tên thư mục train, valtest trong đường dẫn blob sẽ tự động chỉ định các tập dữ liệu phân tách.

Tập dữ liệu sau đó sẽ hoạt động như bất kỳ tập dữ liệu nào khác: duyệt và chú thích, đặt ở chế độ công khai hoặc riêng tư, chia sẻ với team của bạn và huấn luyện thông qua tính năng huấn luyện được quản lý. Các tệp gốc được truyền theo yêu cầu và các hình ảnh được lập chỉ mục không tiêu tốn hạn mức lưu trữ trên Platform của bạn.

Giới hạn

Một lần nhập đơn lẻ lập chỉ mục tối đa 50.000 blob, và các tệp nhãn hoặc tệp YAML tối đa 1 MB mỗi tệp. Các container lớn hơn nên được chia nhỏ thành nhiều tập dữ liệu.

Giữ các blob được lập chỉ mục ở trạng thái bất biến (immutable)

Mỗi hình ảnh được lập chỉ mục đều được ghim vào ETag của blob đó và Platform sẽ dừng xử lý nếu một blob bị thay đổi bên dưới nó. Hãy thêm các blob mới thay vì ghi đè lên các blob hiện có.

Nhập thất bại#

Nếu quá trình nhập không thành công — do thư mục trống, lỗi chính tả trong đường dẫn hoặc bị thu hồi quyền — tập dữ liệu sẽ hiển thị lỗi trên trang của nó. Người chỉnh sửa có thể nhấp vào Retry import để khởi động lại với container và thư mục đã lưu, hoặc tạo một tập dữ liệu mới trỏ đến đường dẫn đã sửa.

Huấn luyện#

Huấn luyện có quản lý hoạt động thông qua quy trình huấn luyện thông thường. Các worker sẽ tải các bản gốc đã ghim xuống bộ nhớ tạm thời của công việc để chạy và xóa chúng khi hoàn thành công việc — thông tin xác thực Azure của bạn không bao giờ truyền đến nơi tính toán.

Các hạn chế hiện tại#

Các tập dữ liệu dựa trên Azure hiện loại trừ các tính năng yêu cầu bản sao hình ảnh do Platform sở hữu: tự động chú thích, phân tích phân cụm (clustering analysis), sao chép tập dữ liệu và snapshot phiên bản bất biến.

Việc xóa một tập dữ liệu dựa trên Azure, hoặc xóa từng hình ảnh riêng lẻ khỏi tập đó, chỉ xóa các tham chiếu của Platform — các blob của bạn không bao giờ bị can thiệp.

Xem thêm các tích hợp Google Cloud StorageAmazon S3.

Những người đóng góp

Bình luận