์ฝ˜ํ…์ธ ๋กœ ๊ฑด๋„ˆ๋›ฐ๊ธฐ

๋น ๋ฅธ ์‹œ์ž‘ ๊ฐ€์ด๋“œ: Seeed Studio ์žฌ์นด๋ฉ”๋ผ Ultralytics YOLO11

reCamera๋Š” YOLO Vision 2024(YV24)์—์„œ AI ์ปค๋ฎค๋‹ˆํ‹ฐ๋ฅผ ์œ„ํ•ด ์†Œ๊ฐœ๋˜์—ˆ์Šต๋‹ˆ๋‹ค, Ultralytics ์—ฐ๋ก€ ํ•˜์ด๋ธŒ๋ฆฌ๋“œ ์ด๋ฒคํŠธ. ์ฃผ๋กœ ์—ฃ์ง€ AI ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์„ ์œ„ํ•ด ์„ค๊ณ„๋˜์—ˆ์œผ๋ฉฐ ๊ฐ•๋ ฅํ•œ ์ฒ˜๋ฆฌ ๊ธฐ๋Šฅ๊ณผ ์†์‰ฌ์šด ๋ฐฐํฌ๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.

๋‹ค์–‘ํ•œ ํ•˜๋“œ์›จ์–ด ๊ตฌ์„ฑ๊ณผ ์˜คํ”ˆ ์†Œ์Šค ๋ฆฌ์†Œ์Šค๋ฅผ ์ง€์›ํ•˜์—ฌ ์—ฃ์ง€์—์„œ ํ˜์‹ ์ ์ธ ์ปดํ“จํ„ฐ ๋น„์ „ ์†”๋ฃจ์…˜์„ ํ”„๋กœํ† ํƒ€์ดํ•‘ํ•˜๊ณ  ๋ฐฐํฌํ•˜๋Š” ๋ฐ ์ด์ƒ์ ์ธ ํ”Œ๋žซํผ ์—ญํ• ์„ ํ•ฉ๋‹ˆ๋‹ค.

์”จ๋“œ ์ŠคํŠœ๋””์˜ค ๋ฆฌ์นด๋ฉ”๋ผ

์žฌ์นด๋ฉ”๋ผ๋ฅผ ์„ ํƒํ•ด์•ผ ํ•˜๋Š” ์ด์œ 

reCamera ์‹œ๋ฆฌ์ฆˆ๋Š” ๊ฐœ๋ฐœ์ž์™€ ํ˜์‹ ๊ฐ€์˜ ์š”๊ตฌ๋ฅผ ์ถฉ์กฑํ•˜๋„๋ก ๋งž์ถค ์ œ์ž‘๋œ ์—ฃ์ง€ AI ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์„ ์œ„ํ•ด ํŠน๋ณ„ํžˆ ์ œ์ž‘๋˜์—ˆ์Šต๋‹ˆ๋‹ค. ์ด ์ œํ’ˆ์ด ๋‹๋ณด์ด๋Š” ์ด์œ ๋Š” ๋‹ค์Œ๊ณผ ๊ฐ™์Šต๋‹ˆ๋‹ค:

  • RISC-V ๊ธฐ๋ฐ˜ ์„ฑ๋Šฅ: ํ•ต์‹ฌ์€ RISC-V ์•„ํ‚คํ…์ฒ˜์— ๊ธฐ๋ฐ˜ํ•œ SG200X ํ”„๋กœ์„ธ์„œ๋กœ, ์—๋„ˆ์ง€ ํšจ์œจ์„ ์œ ์ง€ํ•˜๋ฉด์„œ ์—ฃ์ง€ AI ์ž‘์—…์— ํƒ์›”ํ•œ ์„ฑ๋Šฅ์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. ์ดˆ๋‹น 1์กฐ ํšŒ ์—ฐ์‚ฐ(1 TOPS)์„ ์‹คํ–‰ํ•  ์ˆ˜ ์žˆ์–ด ์‹ค์‹œ๊ฐ„ ๋ฌผ์ฒด ๊ฐ์ง€์™€ ๊ฐ™์€ ๊นŒ๋‹ค๋กœ์šด ์ž‘์—…๋„ ์‰ฝ๊ฒŒ ์ฒ˜๋ฆฌํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

  • ์ตœ์ ํ™”๋œ ๋น„๋””์˜ค ๊ธฐ์ˆ : H.264 ๋ฐ H.265๋ฅผ ๋น„๋กฏํ•œ ๊ณ ๊ธ‰ ๋™์˜์ƒ ์••์ถ• ํ‘œ์ค€์„ ์ง€์›ํ•˜์—ฌ ํ™”์งˆ ์ €ํ•˜ ์—†์ด ์Šคํ† ๋ฆฌ์ง€ ๋ฐ ๋Œ€์—ญํญ ์š”๊ตฌ ์‚ฌํ•ญ์„ ์ค„์ž…๋‹ˆ๋‹ค. HDR ์ด๋ฏธ์ง•, 3D ๋…ธ์ด์ฆˆ ๊ฐ์†Œ, ๋ Œ์ฆˆ ๋ณด์ • ๋“ฑ์˜ ๊ธฐ๋Šฅ์œผ๋กœ ๊นŒ๋‹ค๋กœ์šด ํ™˜๊ฒฝ์—์„œ๋„ ์ „๋ฌธ์ ์ธ ์˜์ƒ์„ ๋ณด์žฅํ•ฉ๋‹ˆ๋‹ค.

  • ์—๋„ˆ์ง€ ํšจ์œจ์ ์ธ ๋“€์–ผ ํ”„๋กœ์„ธ์‹ฑ: SG200X๋Š” ๋ณต์žกํ•œ AI ์ž‘์—…์„ ์ฒ˜๋ฆฌํ•˜๋Š” ๋ฐ˜๋ฉด, ๋” ์ž‘์€ 8๋น„ํŠธ ๋งˆ์ดํฌ๋กœ์ปจํŠธ๋กค๋Ÿฌ๋Š” ๋” ๊ฐ„๋‹จํ•œ ์ž‘์—…์„ ๊ด€๋ฆฌํ•˜์—ฌ ์ „๋ ฅ์„ ์ ˆ์•ฝํ•˜๋ฏ€๋กœ ๋ฐฐํ„ฐ๋ฆฌ๋กœ ์ž‘๋™ํ•˜๊ฑฐ๋‚˜ ์ €์ „๋ ฅ ์„ค์ •์— ์ด์ƒ์ ์ธ ์นด๋ฉ”๋ผ์ž…๋‹ˆ๋‹ค.

  • ๋ชจ๋“ˆํ˜• ๋ฐ ์—…๊ทธ๋ ˆ์ด๋“œ ๊ฐ€๋Šฅํ•œ ์„ค๊ณ„: ์žฌ์นด๋ฉ”๋ผ๋Š” ์ฝ”์–ด ๋ณด๋“œ, ์„ผ์„œ ๋ณด๋“œ, ๋ฒ ์ด์Šค ๋ณด๋“œ์˜ ์„ธ ๊ฐ€์ง€ ์ฃผ์š” ๊ตฌ์„ฑ ์š”์†Œ๋กœ ๊ตฌ์„ฑ๋œ ๋ชจ๋“ˆ์‹ ๊ตฌ์กฐ๋กœ ์ œ์ž‘๋˜์—ˆ์Šต๋‹ˆ๋‹ค. ์ด ์„ค๊ณ„ ๋•๋ถ„์— ๊ฐœ๋ฐœ์ž๋Š” ๊ตฌ์„ฑ ์š”์†Œ๋ฅผ ์‰ฝ๊ฒŒ ๊ต์ฒดํ•˜๊ฑฐ๋‚˜ ์—…๊ทธ๋ ˆ์ด๋“œํ•  ์ˆ˜ ์žˆ์–ด ํ”„๋กœ์ ํŠธ์˜ ์ง„ํ™”๋ฅผ ์œ„ํ•œ ์œ ์—ฐ์„ฑ๊ณผ ๋ฏธ๋ž˜ ๋Œ€๋น„๋ฅผ ๋ณด์žฅํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

์žฌ์นด๋ฉ”๋ผ์˜ ๋น ๋ฅธ ํ•˜๋“œ์›จ์–ด ์„ค์ •

WiFi ๋„คํŠธ์›Œํฌ์— ๋””๋ฐ”์ด์Šค๋ฅผ ์—ฐ๊ฒฐํ•˜๋Š” ๋“ฑ ๋””๋ฐ”์ด์Šค์˜ ์ดˆ๊ธฐ ์˜จ๋ณด๋”ฉ์„ ์œ„ํ•ด reCamera ๋น ๋ฅธ ์‹œ์ž‘ ๊ฐ€์ด๋“œ๋ฅผ ๋”ฐ๋ฅด๊ณ , ์‚ฌ์ „ ์„ค์น˜๋œ Ultralytics YOLO ๋ชจ๋ธ์—์„œ ๊ฐ์ง€ ๋ ˆ๋“œ ๊ฒฐ๊ณผ๋ฅผ ๋น ๋ฅด๊ฒŒ ๋ฏธ๋ฆฌ ๋ณด๋ ค๋ฉด Node-RED ์›น UI์— ์•ก์„ธ์Šคํ•˜์„ธ์š”.

cvimodel๋กœ ๋‚ด๋ณด๋‚ด๊ธฐ: YOLO11 ๋ชจ๋ธ๋กœ ๋ณ€ํ™˜ํ•˜๊ธฐ

๋จผ์ € ๋‹ค์Œ๊ณผ ๊ฐ™์ด ๋ณ€ํ™˜ํ•˜๊ฒ ์Šต๋‹ˆ๋‹ค. PyTorch ๋ชจ๋ธ์„ ONNX ๋กœ ๋ณ€ํ™˜ํ•œ ๋‹ค์Œ MLIR ๋ชจ๋ธ ํ˜•์‹์ž…๋‹ˆ๋‹ค. ๋งˆ์ง€๋ง‰์œผ๋กœ MLIR ์€ ๋‹ค์Œ๊ณผ ๊ฐ™์ด ๋ณ€ํ™˜๋ฉ๋‹ˆ๋‹ค. cvimodel ๋””๋ฐ”์ด์Šค ๋‚ด ์ถ”๋ก ์„ ์œ„ํ•ด

๋ฆฌ์นด๋ฉ”๋ผ ํˆด์ฒด์ธ

๋‚ด๋ณด๋‚ด๊ธฐ ๋Œ€์ƒ ONNX

Ultralytics YOLO11 ๋ชจ๋ธ์„ ONNX ๋ชจ๋ธ ํ˜•์‹์œผ๋กœ ๋‚ด๋ณด๋ƒ…๋‹ˆ๋‹ค.

์„ค์น˜

ํ•„์š”ํ•œ ํŒจํ‚ค์ง€๋ฅผ ์„ค์น˜ํ•˜๋ ค๋ฉด ์‹คํ–‰ํ•ฉ๋‹ˆ๋‹ค:

์„ค์น˜

pip install ultralytics

์„ค์น˜ ๊ณผ์ •๊ณผ ๊ด€๋ จ๋œ ์ž์„ธํ•œ ์ง€์นจ๊ณผ ๋ชจ๋ฒ” ์‚ฌ๋ก€๋Š” Ultralytics ์„ค์น˜ ๊ฐ€์ด๋“œ๋ฅผ ์ฐธ์กฐํ•˜์„ธ์š”. YOLO11 ์— ํ•„์š”ํ•œ ํŒจํ‚ค์ง€๋ฅผ ์„ค์น˜ํ•˜๋Š” ๋™์•ˆ ๋ฌธ์ œ๊ฐ€ ๋ฐœ์ƒํ•˜๋ฉด ์ผ๋ฐ˜์ ์ธ ๋ฌธ์ œ ๊ฐ€์ด๋“œ๋ฅผ ์ฐธ์กฐํ•˜์—ฌ ํ•ด๊ฒฐ ๋ฐฉ๋ฒ•๊ณผ ํŒ์„ ํ™•์ธํ•˜์„ธ์š”.

์‚ฌ์šฉ๋ฒ•

์‚ฌ์šฉ๋ฒ•

from ultralytics import YOLO

# Load the YOLO11 model
model = YOLO("yolo11n.pt")

# Export the model to ONNX format
model.export(format="onnx")  # creates 'yolo11n.onnx'
# Export a YOLO11n PyTorch model to ONNX format
yolo export model=yolo11n.pt format=onnx  # creates 'yolo11n.onnx'

๋‚ด๋ณด๋‚ด๊ธฐ ํ”„๋กœ์„ธ์Šค์— ๋Œ€ํ•œ ์ž์„ธํ•œ ๋‚ด์šฉ์€ ๋‚ด๋ณด๋‚ด๊ธฐ ๊ด€๋ จ ๋ฌธ์„œ ํŽ˜์ด์ง€(Ultralytics )๋ฅผ ์ฐธ์กฐํ•˜์„ธ์š”.

ONNX ๋ฅผ MLIR ๋ฐ cvimodel๋กœ ๋‚ด๋ณด๋‚ด๊ธฐ

ONNX ๋ชจ๋ธ์„ ์–ป์€ ํ›„ AI ๋ชจ๋ธ ๋ณ€ํ™˜ ๋ฐ ์ •๋Ÿ‰ํ™” ํŽ˜์ด์ง€๋ฅผ ์ฐธ์กฐํ•˜์—ฌ ONNX ๋ชจ๋ธ์„ MLIR๋กœ ๋ณ€ํ™˜ํ•œ ๋‹ค์Œ cvimodel๋กœ ๋ณ€ํ™˜ํ•ฉ๋‹ˆ๋‹ค.

์ฐธ๊ณ 

Ultralytics ํŒจํ‚ค์ง€์— ์ง์ ‘ reCamera ์ง€์›์„ ์ถ”๊ฐ€ํ•˜๊ธฐ ์œ„ํ•ด ์ ๊ทน์ ์œผ๋กœ ์ž‘์—… ์ค‘์ด๋ฉฐ, ๊ณง ์ œ๊ณต๋  ์˜ˆ์ •์ž…๋‹ˆ๋‹ค. ๊ทธ ๋™์•ˆ ๋ธ”๋กœ๊ทธ( Ultralytics YOLO ๋ชจ๋ธ๊ณผ Seeed Studio์˜ reCamera ํ†ตํ•ฉ )์—์„œ ๋” ๋งŽ์€ ์ธ์‚ฌ์ดํŠธ๋ฅผ ํ™•์ธํ•˜์„ธ์š”.

๋ฒค์น˜๋งˆํฌ

๊ณง ์ถœ์‹œ๋ฉ๋‹ˆ๋‹ค.

๋ฆฌ์นด๋ฉ”๋ผ์˜ ์‹ค์ œ ์ ์šฉ ์‚ฌ๋ก€

์žฌ์นด๋ฉ”๋ผ์˜ ๊ณ ๊ธ‰ ์ปดํ“จํ„ฐ ๋น„์ „ ๊ธฐ๋Šฅ๊ณผ ๋ชจ๋“ˆ์‹ ์„ค๊ณ„๋Š” ๋‹ค์–‘ํ•œ ์‹ค์ œ ์‹œ๋‚˜๋ฆฌ์˜ค์— ์ ํ•ฉํ•˜์—ฌ ๊ฐœ๋ฐœ์ž์™€ ๊ธฐ์—…์ด ๊ณ ์œ ํ•œ ๋ฌธ์ œ๋ฅผ ์‰ฝ๊ฒŒ ํ•ด๊ฒฐํ•  ์ˆ˜ ์žˆ๋„๋ก ๋„์™€์ค๋‹ˆ๋‹ค.

  • ๋‚™์ƒ ๊ฐ์ง€: ์•ˆ์ „ ๋ฐ ์˜๋ฃŒ ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์šฉ์œผ๋กœ ์„ค๊ณ„๋œ ์žฌ์นด๋ฉ”๋ผ๋Š” ์‹ค์‹œ๊ฐ„์œผ๋กœ ๋‚™์ƒ์„ ๊ฐ์ง€ํ•  ์ˆ˜ ์žˆ์–ด ์‹ ์†ํ•œ ๋Œ€์‘์ด ์ค‘์š”ํ•œ ๋…ธ์ธ ์ผ€์–ด, ๋ณ‘์› ๋ฐ ์‚ฐ์—… ํ™˜๊ฒฝ์— ์ด์ƒ์ ์ž…๋‹ˆ๋‹ค.

  • ๊ฐœ์ธ ๋ณดํ˜ธ ์žฅ๋น„ ๊ฐ์ง€: ์žฌ์นด๋ฉ”๋ผ๋Š” ๊ฐœ์ธ๋ณดํ˜ธ์žฅ๋น„ ์ค€์ˆ˜ ์—ฌ๋ถ€๋ฅผ ์‹ค์‹œ๊ฐ„์œผ๋กœ ๊ฐ์ง€ํ•˜์—ฌ ์ž‘์—…์žฅ ์•ˆ์ „์„ ๋ณด์žฅํ•˜๋Š” ๋ฐ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ž‘์—…์ž๊ฐ€ ํ—ฌ๋ฉง, ์žฅ๊ฐ‘ ๋˜๋Š” ๊ธฐํƒ€ ์•ˆ์ „ ์žฅ๋น„๋ฅผ ์ฐฉ์šฉํ•˜๊ณ  ์žˆ๋Š”์ง€ ์—ฌ๋ถ€๋ฅผ ํŒŒ์•…ํ•˜์—ฌ ์‚ฐ์—… ํ™˜๊ฒฝ์˜ ์œ„ํ—˜์„ ์ค„์ผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๊ฐœ์ธ ๋ณดํ˜ธ ์žฅ๋น„ ๊ฐ์ง€

  • ํ™”์žฌ ๊ฐ์ง€: ์žฌ์นด๋ฉ”๋ผ์˜ ์‹ค์‹œ๊ฐ„ ์ฒ˜๋ฆฌ ๊ธฐ๋Šฅ์€ ์‚ฐ์—… ๋ฐ ์ฃผ๊ฑฐ ์ง€์—ญ์˜ ํ™”์žฌ ๊ฐ์ง€์— ํƒ์›”ํ•œ ์„ ํƒ์ด๋ฉฐ, ์ž ์žฌ์ ์ธ ์žฌ๋‚œ์„ ์˜ˆ๋ฐฉํ•˜๊ธฐ ์œ„ํ•œ ์กฐ๊ธฐ ๊ฒฝ๊ณ ๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.

  • ํ๊ธฐ๋ฌผ ๊ฐ์ง€: ํ๊ธฐ๋ฌผ ๊ฐ์ง€ ์• ํ”Œ๋ฆฌ์ผ€์ด์…˜์—๋„ ํ™œ์šฉํ•  ์ˆ˜ ์žˆ์–ด ํ™˜๊ฒฝ ๋ชจ๋‹ˆํ„ฐ๋ง ๋ฐ ํ๊ธฐ๋ฌผ ๊ด€๋ฆฌ์— ํƒ์›”ํ•œ ๋„๊ตฌ๊ฐ€ ๋  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

  • ์ž๋™์ฐจ ๋ถ€ํ’ˆ ๊ฐ์ง€: ์ œ์กฐ ๋ฐ ์ž๋™์ฐจ ์‚ฐ์—…์—์„œ ํ’ˆ์งˆ ๊ด€๋ฆฌ, ์กฐ๋ฆฝ ๋ผ์ธ ๋ชจ๋‹ˆํ„ฐ๋ง, ์žฌ๊ณ  ๊ด€๋ฆฌ๋ฅผ ์œ„ํ•ด ์ž๋™์ฐจ ๋ถ€ํ’ˆ์„ ๊ฐ์ง€ํ•˜๊ณ  ๋ถ„์„ํ•˜๋Š” ๋ฐ ๋„์›€์„ ์ค๋‹ˆ๋‹ค.

์ž๋™์ฐจ ๋ถ€ํ’ˆ ๊ฐ์ง€

๐Ÿ“…4 ์ผ ์ „ ์ƒ์„ฑ๋จ โœ๏ธ 4 ์ผ ์ „ ์—…๋ฐ์ดํŠธ ๋จ

๋Œ“๊ธ€