엣지 및 웹 배포를 위한 YOLO 모델을 LiteRT로 내보내기#

LiteRT(Lite Runtime의 약어)는 온디바이스 AI를 위한 Google의 고성능 런타임입니다. TensorFlow Lite(TFLite)의 차세대 버전이자 새로운 이름이며, 동일한 .tflite 모델 형식으로 실행됩니다. LiteRT를 사용하면 하나의 내보낸 Ultralytics YOLO 모델을 모바일, 임베디드, 엣지 및 브라우저 전반에 배포할 수 있어, 이전의 tflite 및 tfjs 내보내기 형식이 각각 처리하던 모든 대상을 이제 하나의 통합 형식으로 지원합니다.

LiteRT 내보내기 형식은 객체 탐지, 세그멘테이션, 포즈 추정, 분류와 같은 작업에 맞게 모델을 최적화하므로, 다양한 장치에서 빠르고 오프라인으로 실행할 수 있습니다.

npm i @ultralytics/yolo @litertjs/core

LiteRT로 내보내야 하는 이유#

LiteRT는 엣지 컴퓨팅이라고도 하는 온디바이스 추론을 위해 설계된 오픈 소스 프레임워크입니다. 개발자는 이를 통해 모바일, 임베디드 및 IoT 장치, 기존 컴퓨터에서 학습된 모델을 실행할 수 있으며, LiteRT.js를 사용하면 웹 브라우저와 Node.js에서 직접 실행할 수 있습니다.

하나의 모델 형식으로 모든 대상 지원:

• 모바일 및 임베디드: Android, iOS, 임베디드 Linux 및 마이크로컨트롤러(MCU)입니다.
• 엣지 가속기: 추가 가속을 위해 Coral Edge TPU와 호환됩니다.
• 브라우저 및 Node.js: LiteRT.js는 WebGPU/WASM 가속을 사용하여 웹에서 동일한 .tflite 모델을 실행하므로, 별도의 TensorFlow.js 내보내기가 필요하지 않습니다.

LiteRT 모델의 주요 기능#

• 온디바이스 최적화: 데이터를 로컬에서 처리하여 지연 시간을 줄이고, 개인 데이터를 전송하지 않아 개인정보 보호를 강화하며, 모델 크기를 최소화하여 저장 공간을 절약합니다.
• 다중 플랫폼 지원: Android, iOS, 임베디드 Linux, 마이크로컨트롤러 및 최신 웹 브라우저에서 실행됩니다.
• 하드웨어 가속: CPU에서는 XNNPACK을 사용하고, OpenCL, Metal 및 WebGPU를 통해 GPU 가속을 활용합니다. 추가 속도 향상을 위해 GPU delegate는 기본적으로 FP16으로 실행됩니다.
• 양자화: FP32, 정적 INT8(quantize=8, int8 가중치 + int8 활성화), 정적 INT16-activation(quantize="w8a16", int8 가중치 + 더 높은 정확도를 위한 int16 활성화), 동적 INT8(quantize="w8a32", int8 가중치 + FP32 활성화, calibration 데이터 불필요)을 지원하여 모델을 압축하고 정확도 손실을 최소화하면서 추론 속도를 높입니다.
• 다양한 언어 지원: Java/Kotlin, Swift, Objective-C, C++, Python 및 JavaScript와 호환됩니다.

측정된 성능#

하드웨어: 12GB LPDDR5X 메모리와 Android 16 / API 36을 탑재한 Xiaomi 17입니다. 3nm Snapdragon 8 Elite Gen 5 (SM8850)은 8코어 Qualcomm Oryon CPU(최대 4.6GHz의 Prime 코어 2개 및 최대 3.62GHz의 Performance 코어 6개), Adreno GPU 및 Hexagon NPU를 탑재합니다.

• Speed 값은 단일 이미지 버스트 지연 시간입니다. bus.jpg에서 3회의 워밍업 실행 후 15회 실행한 평균이며, Ultralytics Flutter 플러그인 0.6.10와 표준화된 v0.6.6 자산을 사용하여 측정했습니다. 하나의 순차 스윕에서 작업 간 CPU/GPU 순서를 번갈아 적용했습니다. 네이티브 로그를 통해 모든 CPU 행이 LiteRT CPU/XNNPACK을 사용하고 모든 GPU 행이 전체 그래프를 LiteRT OpenCL(LITERT_CL)에 위임했음을 확인했습니다.
• LiteRT 내보내기는 PyTorch 모델을 직접 추적하여 부동 소수점 입력을 사용하는 NCHW .tflite을 생성합니다. GPU delegate는 전체 그래프를 컴파일하며(여기서는 7가지 작업이 모두 Adreno GPU에서 실행됨), w8a32에는 calibration 데이터가 필요하지 않습니다. 사용자는 기존 onnx2tf NHWC 레이아웃이나 Identity 출력 이름을 가정하지 말고 텐서 형태와 signature 이름을 읽어야 합니다. RGB 데이터는 planar CHW 형식으로 직접 패킹하거나 추론 전에 transpose해야 합니다. 시맨틱 내보내기는 NCHW logits를 반환하며 호스트 측 class argmax가 필요합니다. 공식 Android 자산은 yolo-flutter-app v0.6.6 release에 호스팅되어 있으며, 자세한 벤치마크 기록은 Flutter 성능 문서에서 확인할 수 있습니다.
• 해당 Snapdragon Hexagon NPU 및 LiteRT CPU/GPU 수치는 Qualcomm QNN 통합에 나와 있습니다.
• Apple CPU/가속기 결과는 CoreML 통합에서 비교할 수 있습니다.

다음 장치 스윕은 동일한 표준화 v0.6.6 자산을 사용합니다.

Google Pixel 10#

하드웨어: 12GB 메모리와 Android 16 / API 36을 탑재한 Google Pixel 10입니다. 3nm Google Tensor G5는 8코어 CPU(최대 3.78GHz의 Prime 코어 1개, 최대 3.05GHz의 Performance 코어 5개, 최대 2.25GHz의 Efficiency 코어 2개), PowerVR D-Series GPU 및 Google TPU를 탑재합니다. Google은 연결된 사양에 코어 클럭과 GPU 드라이버 이름을 공개하지 않으므로 벤치마크 장치에서 해당 정보를 확인했습니다.

벤치마크: bus.jpg에서 3회 워밍업 후 predict()을 15회 호출한 평균이며, ultralytics_yolo 0.6.10 및 공식 v0.6.6 자산을 사용했습니다. 하나의 순차 스윕에서 작업 간 CPU/GPU 순서를 번갈아 적용합니다. 네이티브 로그를 통해 모든 CPU 행이 LiteRT CPU/XNNPACK을 사용하고 모든 GPU 행이 전체 그래프를 LiteRT OpenCL(LITERT_CL)에 위임했음을 확인했습니다.

Samsung Galaxy S26#

하드웨어: 12GB 메모리와 Android 16 / API 36을 탑재한 Samsung Galaxy S26(SM-S942B)입니다. 2nm Exynos 2600은 10코어 Armv9.3 CPU(최대 3.8GHz의 C1-Ultra 코어 1개, 최대 3.26GHz의 performance C1-Pro 코어 3개, 최대 2.76GHz의 efficiency C1-Pro 코어 6개), Xclipse 960 GPU 및 Samsung NPU를 탑재합니다.

벤치마크: bus.jpg에서 3회 워밍업 후 predict()을 15회 호출한 평균이며, ultralytics_yolo 0.6.10 및 공식 v0.6.6 자산을 사용했습니다. 하나의 순차 스윕에서 작업 간 CPU/GPU 순서를 번갈아 적용합니다. 네이티브 로그를 통해 모든 CPU 행이 LiteRT CPU/XNNPACK을 사용하고 모든 GPU 행이 전체 그래프를 LiteRT OpenCL(LITERT_CL)에 위임했음을 확인했습니다.

Xiaomi 17T Pro#

하드웨어: 12GB LPDDR5X 메모리와 Android 16 / API 36을 탑재한 Xiaomi 17T Pro(2602EPTC0G)입니다. 3nm MediaTek Dimensity 9500(MT6993)은 8코어 Armv9.3 CPU(최대 4.21GHz의 C1-Ultra 코어 1개, 최대 3.5GHz의 C1-Premium 코어 3개, 최대 2.7GHz의 C1-Pro 코어 4개), Mali-G1 Ultra MC12 GPU 및 MediaTek NPU 990을 탑재합니다.

벤치마크: bus.jpg에서 3회 워밍업 후 predict()을 15회 호출한 평균이며, ultralytics_yolo 0.6.10 및 공식 v0.6.6 자산을 사용했습니다. 하나의 순차 스윕에서 작업 간 CPU/GPU 순서를 번갈아 적용합니다. 네이티브 로그를 통해 모든 CPU 행이 LiteRT CPU/XNNPACK을 사용하고 모든 GPU 행이 전체 그래프를 LiteRT OpenCL(LITERT_CL)에 위임했음을 확인했습니다.

지원되는 작업#

LiteRT 내보내기는 7가지 Ultralytics 작업을 모두 지원합니다. 시맨틱 세그멘테이션과 깊이 추정은 해당 헤드를 제공하는 유일한 제품군인 YOLO26에서만 사용할 수 있습니다.

LiteRT로 내보내기: YOLO 모델 변환#

모델을 LiteRT 형식으로 변환하면 온디바이스 실행 효율성을 높이고 배포 옵션을 확장할 수 있습니다.

설치#

필요한 package를 설치하려면 다음을 실행하십시오:

# Install the required package for YOLO
pip install ultralytics

자세한 지침과 모범 사례는 Ultralytics 설치 가이드를 참조하십시오. 문제가 발생하면 일반적인 문제 가이드를 확인하십시오.

사용법#

모든 Ultralytics YOLO 모델은 별도의 설정 없이 내보내기를 지원합니다. LiteRT 형식은 내보내기, 예측 및 검증 모드를 지원하므로, 모델을 내보낸 다음 로드하여 로컬에서 추론을 실행하거나 정확도를 검증할 수 있습니다.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to LiteRT format
model.export(format="litert", imgsz=640)  # use imgsz=224 for classification

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# Dynamic INT8: int8 weights, FP32 activations - no calibration data needed
model.export(format="litert", quantize="w8a32", imgsz=640)  # use imgsz=224 for classification

# Static INT8: int8 weights + int8 activations - needs calibration data
model.export(format="litert", quantize=8, data="coco8.yaml", imgsz=640)  # use 224 for classification

# Static w8a16: int8 weights + int16 activations (higher accuracy) - needs calibration data
model.export(format="litert", quantize="w8a16", data="coco8.yaml", imgsz=640)  # use 224 for classification

from ultralytics import YOLO

# Load the exported LiteRT model
model = YOLO("yolo26n.tflite")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported LiteRT model
model = YOLO("yolo26n.tflite")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

내보내기 인수#

내보내기 프로세스에 대한 자세한 내용은 Ultralytics 내보내기 문서 페이지를 참조하십시오.

export된 YOLO LiteRT 모델 배포#

Ultralytics YOLO 모델을 LiteRT로 export한 후 여러 플랫폼에 배포할 수 있습니다. 로컬에서 이를 확인하는 가장 빠른 방법은 위에 설명된 YOLO("yolo26n.tflite") method입니다. 다른 환경에 배포하려면 다음 리소스를 참조하십시오:

모바일 및 임베디드#

• Android: Android 애플리케이션에 LiteRT를 통합하는 빠른 시작 가이드입니다.
• iOS: iOS 애플리케이션에서 LiteRT 모델을 통합하고 배포하는 가이드입니다.
• 임베디드 Linux 및 Raspberry Pi: single-board computer에서 LiteRT 모델을 실행하며, Coral Edge TPU를 사용해 선택적으로 가속할 수 있습니다.
• Microcontroller: 메모리가 몇 KB에 불과한 MCU에 배포할 수 있으며, 핵심 runtime은 Arm Cortex-M3에서 약 16KB에 맞습니다.

브라우저 및 Node.js(LiteRT.js)#

• LiteRT.js 개요: WebGPU/WASM 가속을 사용하여 동일한 .tflite 모델을 브라우저에서 직접 실행할 수 있으므로, 서버 측 연산을 제거하고 사용자의 device에 데이터를 유지합니다.
• End-to-End 예제: 모바일, edge 및 웹 전반에서 LiteRT를 구현하기 위한 실용적인 예제와 튜토리얼입니다.

요약#

이 가이드에서는 Ultralytics YOLO 모델을 LiteRT format으로 export하는 방법을 살펴보았습니다. 모바일/edge(이전의 TFLite) 및 브라우저(이전의 TF.js) 배포를 하나의 .tflite 모델로 통합함으로써 LiteRT는 YOLO 모델을 더 빠르고 작게 만들며 거의 모든 on-device target에서 이식 가능하게 합니다.

자세한 내용은 LiteRT 공식 문서를 참조하십시오.

또한 다른 Ultralytics YOLO integration이 궁금하다면 유용한 리소스가 풍부한 integration guide page를 확인해 보십시오.

FAQ#