TensorRT рдХреЗ рд▓рд┐рдП рдирд┐рд░реНрдпрд╛рдд рдХрд░реЗрдВ YOLOv8 рдореЙрдбрд▓
рдЙрдЪреНрдЪ-рдкреНрд░рджрд░реНрд╢рди рд╡рд╛рддрд╛рд╡рд░рдг рдореЗрдВ рдХрдВрдкреНрдпреВрдЯрд░ рд╡рд┐рдЬрд╝рди рдореЙрдбрд▓ рдХреЛ рддреИрдирд╛рдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдПрдХ рдкреНрд░рд╛рд░реВрдк рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рд╣реЛ рд╕рдХрддреА рд╣реИ рдЬреЛ рдЧрддрд┐ рдФрд░ рджрдХреНрд╖рддрд╛ рдХреЛ рдЕрдзрд┐рдХрддрдо рдХрд░рддрд╛ рд╣реИред рдпрд╣ рд╡рд┐рд╢реЗрд╖ рд░реВрдк рд╕реЗ рд╕рдЪ рд╣реИ рдЬрдм рдЖрдк рдЕрдкрдиреЗ рдореЙрдбрд▓ рдХреЛ рддреИрдирд╛рдд рдХрд░ рд░рд╣реЗ рд╣реИрдВ NVIDIA рдЬреАрдкреАрдпреВред
рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ TensorRT рдирд┐рд░реНрдпрд╛рдд рдкреНрд░рд╛рд░реВрдк, рдЖрдк рдЕрдкрдирд╛ рдмрдврд╝рд╛ рд╕рдХрддреЗ рд╣реИрдВ Ultralytics YOLOv8 рдкрд░ рддреЗрдЬ рдФрд░ рдХреБрд╢рд▓ рдЕрдиреБрдорд╛рди рдХреЗ рд▓рд┐рдП рдореЙрдбрд▓ NVIDIA рд╣рд╛рд░реНрдбрд╡реЗрдпрд░ред рдпрд╣ рдорд╛рд░реНрдЧрджрд░реНрд╢рд┐рдХрд╛ рдЖрдкрдХреЛ рд░реВрдкрд╛рдВрддрд░рдг рдкреНрд░рдХреНрд░рд┐рдпрд╛ рдХреЗ рд▓рд┐рдП рдкрд╛рд▓рди рдХрд░рдиреЗ рдореЗрдВ рдЖрд╕рд╛рди рдХрджрдо рджреЗрдЧреА рдФрд░ рдЖрдкрдХреЛ рдЗрд╕рдХрд╛ рдЕрдзрд┐рдХрддрдо рд▓рд╛рдн рдЙрдард╛рдиреЗ рдореЗрдВ рдорджрдж рдХрд░реЗрдЧреА NVIDIAрдЖрдкрдХреА рдЧрд╣рд░реА рд╢рд┐рдХреНрд╖рдг рдкрд░рд┐рдпреЛрдЬрдирд╛рдУрдВ рдореЗрдВ рдЙрдиреНрдирдд рддрдХрдиреАрдХред
TensorRT
TensorRT, рджреНрд╡рд╛рд░рд╛ рд╡рд┐рдХрд╕рд┐рдд NVIDIA, рдПрдХ рдЙрдиреНрдирдд рд╕реЙрдлреНрдЯрд╡реЗрдпрд░ рдбреЗрд╡рд▓рдкрдореЗрдВрдЯ рдХрд┐рдЯ (рдПрд╕рдбреАрдХреЗ) рд╣реИ рдЬрд┐рд╕реЗ рдЙрдЪреНрдЪ рдЧрддрд┐ рд╡рд╛рд▓реЗ рдЧрд╣рди рд╢рд┐рдХреНрд╖рдг рдЕрдиреБрдорд╛рди рдХреЗ рд▓рд┐рдП рдбрд┐рдЬрд╝рд╛рдЗрди рдХрд┐рдпрд╛ рдЧрдпрд╛ рд╣реИред рдпрд╣ рдСрдмреНрдЬреЗрдХреНрдЯ рдбрд┐рдЯреЗрдХреНрд╢рди рдЬреИрд╕реЗ рд░реАрдпрд▓-рдЯрд╛рдЗрдо рдЕрдиреБрдкреНрд░рдпреЛрдЧреЛрдВ рдХреЗ рд▓рд┐рдП рдЕрдЪреНрдЫреА рддрд░рд╣ рд╕реЗ рдЕрдиреБрдХреВрд▓ рд╣реИред
рдпрд╣ рдЯреВрд▓рдХрд┐рдЯ рдЧрд╣рди рд╢рд┐рдХреНрд╖рдг рдореЙрдбрд▓ рдХрд╛ рдЕрдиреБрдХреВрд▓рди рдХрд░рддрд╛ рд╣реИ NVIDIA GPU рдФрд░ рдкрд░рд┐рдгрд╛рдо рддреЗрдЬ рдФрд░ рдЕрдзрд┐рдХ рдХреБрд╢рд▓ рд╕рдВрдЪрд╛рд▓рди рдореЗрдВред TensorRT рдореЙрдбрд▓ рд╕реЗ рдЧреБрдЬрд░рдирд╛ рдкрдбрд╝рддрд╛ рд╣реИ TensorRT рдЕрдиреБрдХреВрд▓рди, рдЬрд┐рд╕рдореЗрдВ рдкрд░рдд рд╕рдВрд▓рдпрди, рд╕рдЯреАрдХ рдЕрдВрд╢рд╛рдВрдХрди (INT8 рдФрд░ FP16), рдЧрддрд┐рд╢реАрд▓ рдЬреИрд╕реА рддрдХрдиреАрдХреЗрдВ рд╢рд╛рдорд┐рд▓ рд╣реИрдВ tensor рдореЗрдореЛрд░реА рдкреНрд░рдмрдВрдзрди, рдФрд░ рдХрд░реНрдиреЗрд▓ рдСрдЯреЛ-рдЯреНрдпреВрдирд┐рдВрдЧред рдЧрд╣рди рд╢рд┐рдХреНрд╖рдг рдореЙрдбрд▓ рдХреЛ рдореЗрдВ рдкрд░рд┐рд╡рд░реНрддрд┐рдд рдХрд░рдирд╛ TensorRT рдкреНрд░рд╛рд░реВрдк рдбреЗрд╡рд▓рдкрд░реНрд╕ рдХреЛ рдХреНрд╖рдорддрд╛ рдХрд╛ рдПрд╣рд╕рд╛рд╕ рдХрд░рдиреЗ рдХреА рдЕрдиреБрдорддрд┐ рджреЗрддрд╛ рд╣реИ NVIDIA рдЬреАрдкреАрдпреВ рдкреВрд░реА рддрд░рд╣ рд╕реЗред
TensorRT рд╡рд┐рднрд┐рдиреНрди рдореЙрдбрд▓ рдкреНрд░рд╛рд░реВрдкреЛрдВ рдХреЗ рд╕рд╛рде рдЕрдкрдиреА рд╕рдВрдЧрддрддрд╛ рдХреЗ рд▓рд┐рдП рдЬрд╛рдирд╛ рдЬрд╛рддрд╛ рд╣реИ, рдЬрд┐рд╕рдореЗрдВ рд╢рд╛рдорд┐рд▓ рд╣реИрдВ TensorFlow, PyTorchрдФрд░ ONNX, рдбреЗрд╡рд▓рдкрд░реНрд╕ рдХреЛ рд╡рд┐рднрд┐рдиреНрди рд░реВрдкрд░реЗрдЦрд╛рдУрдВ рд╕реЗ рдореЙрдбрд▓ рдХреЛ рдПрдХреАрдХреГрдд рдФрд░ рдЕрдиреБрдХреВрд▓рд┐рдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдПрдХ рд▓рдЪреАрд▓рд╛ рд╕рдорд╛рдзрд╛рди рдкреНрд░рджрд╛рди рдХрд░рдирд╛ред рдпрд╣ рдмрд╣реБрдореБрдЦреА рдкреНрд░рддрд┐рднрд╛ рд╡рд┐рд╡рд┐рдз рд╣рд╛рд░реНрдбрд╡реЗрдпрд░ рдФрд░ рд╕реЙрдлреНрдЯрд╡реЗрдпрд░ рд╡рд╛рддрд╛рд╡рд░рдг рдореЗрдВ рдХреБрд╢рд▓ рдореЙрдбрд▓ рдкрд░рд┐рдирд┐рдпреЛрдЬрди рдХреЛ рд╕рдХреНрд╖рдо рдмрдирд╛рддреА рд╣реИред
рдХреА рдореБрдЦреНрдп рд╡рд┐рд╢реЗрд╖рддрд╛рдПрдВ TensorRT рдореЙрдбрд▓
TensorRT рдореЙрдбрд▓ рдХрдИ рдкреНрд░рдореБрдЦ рд╡рд┐рд╢реЗрд╖рддрд╛рдУрдВ рдХреА рдкреЗрд╢рдХрд╢ рдХрд░рддреЗ рд╣реИрдВ рдЬреЛ рдЙрдЪреНрдЪ рдЧрддрд┐ рд╡рд╛рд▓реЗ рдЧрд╣рди рд╢рд┐рдХреНрд╖рдг рдЕрдиреБрдорд╛рди рдореЗрдВ рдЙрдирдХреА рджрдХреНрд╖рддрд╛ рдФрд░ рдкреНрд░рднрд╛рд╡рд╢реАрд▓рддрд╛ рдореЗрдВ рдпреЛрдЧрджрд╛рди рдХрд░рддреЗ рд╣реИрдВ:
-
рд╕рдЯреАрдХ рдЕрдВрд╢рд╛рдВрдХрди: TensorRT рд╕рдЯреАрдХ рдЕрдВрд╢рд╛рдВрдХрди рдХрд╛ рд╕рдорд░реНрдерди рдХрд░рддрд╛ рд╣реИ, рдЬрд┐рд╕рд╕реЗ рдореЙрдбрд▓ рдХреЛ рд╡рд┐рд╢рд┐рд╖реНрдЯ рд╕рдЯреАрдХрддрд╛ рдЖрд╡рд╢реНрдпрдХрддрд╛рдУрдВ рдХреЗ рд▓рд┐рдП рдареАрдХ-рдареАрдХ рдЯреНрдпреВрди рдХрд┐рдпрд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИред рдЗрд╕рдореЗрдВ INT8 рдФрд░ FP16 рдЬреИрд╕реЗ рдХрдо рд╕рдЯреАрдХ рдкреНрд░рд╛рд░реВрдкреЛрдВ рдХреЗ рд▓рд┐рдП рд╕рдорд░реНрдерди рд╢рд╛рдорд┐рд▓ рд╣реИ, рдЬреЛ рд╕реНрд╡реАрдХрд╛рд░реНрдп рд╕рдЯреАрдХрддрд╛ рд╕реНрддрд░реЛрдВ рдХреЛ рдмрдирд╛рдП рд░рдЦрддреЗ рд╣реБрдП рдЕрдиреБрдорд╛рди рдЧрддрд┐ рдХреЛ рдФрд░ рдмрдврд╝рд╛ рд╕рдХрддрд╛ рд╣реИред
-
рд▓реЗрдпрд░ рдлреНрдпреВрдЬрди: TensorRT рдЕрдиреБрдХреВрд▓рди рдкреНрд░рдХреНрд░рд┐рдпрд╛ рдореЗрдВ рдкрд░рдд рд╕рдВрд▓рдпрди рд╢рд╛рдорд┐рд▓ рд╣реИ, рдЬрд╣рд╛рдВ рдПрдХ рддрдВрддреНрд░рд┐рдХрд╛ рдиреЗрдЯрд╡рд░реНрдХ рдХреА рдХрдИ рдкрд░рддреЛрдВ рдХреЛ рдПрдХ рд╣реА рдСрдкрд░реЗрд╢рди рдореЗрдВ рдЬреЛрдбрд╝рд╛ рдЬрд╛рддрд╛ рд╣реИред рдпрд╣ рдХрдореНрдкреНрдпреВрдЯреЗрд╢рдирд▓ рдУрд╡рд░рд╣реЗрдб рдХреЛ рдХрдо рдХрд░рддрд╛ рд╣реИ рдФрд░ рдореЗрдореЛрд░реА рдПрдХреНрд╕реЗрд╕ рдФрд░ рдХрдореНрдкреНрдпреВрдЯреЗрд╢рди рдХреЛ рдХрдо рдХрд░рдХреЗ рдЕрдиреБрдорд╛рди рдХреА рдЧрддрд┐ рдореЗрдВ рд╕реБрдзрд╛рд░ рдХрд░рддрд╛ рд╣реИред
-
рдЧрддрд┐рд╢реАрд▓ Tensor рд╕реНрдореГрддрд┐ рдкреНрд░рдмрдВрдзрди: TensorRT рдХреБрд╢рд▓рддрд╛ рд╕реЗ рдкреНрд░рдмрдВрдзрди рдХрд░рддрд╛ рд╣реИ tensor рдЕрдиреБрдорд╛рди рдХреЗ рджреМрд░рд╛рди рдореЗрдореЛрд░реА рдЙрдкрдпреЛрдЧ, рдореЗрдореЛрд░реА рдУрд╡рд░рд╣реЗрдб рдХреЛ рдХрдо рдХрд░рдирд╛ рдФрд░ рдореЗрдореЛрд░реА рдЖрд╡рдВрдЯрди рдХрд╛ рдЕрдиреБрдХреВрд▓рди рдХрд░рдирд╛ред рдЗрд╕рдХрд╛ рдкрд░рд┐рдгрд╛рдо рдЕрдзрд┐рдХ рдХреБрд╢рд▓ рд╣реЛрддрд╛ рд╣реИ GPU рд╕реНрдореГрддрд┐ рдЙрдкрдпреЛрдЧред
-
рд╕реНрд╡рдЪрд╛рд▓рд┐рдд рдХрд░реНрдиреЗрд▓ рдЯреНрдпреВрдирд┐рдВрдЧ: TensorRT рд╕рдмрд╕реЗ рдЕрдиреБрдХреВрд▓рд┐рдд рдХрд╛ рдЪрдпрди рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рд╕реНрд╡рдЪрд╛рд▓рд┐рдд рдХрд░реНрдиреЗрд▓ рдЯреНрдпреВрдирд┐рдВрдЧ рд▓рд╛рдЧреВ рдХрд░рддрд╛ рд╣реИ GPU рдореЙрдбрд▓ рдХреА рдкреНрд░рддреНрдпреЗрдХ рдкрд░рдд рдХреЗ рд▓рд┐рдП рдХрд░реНрдиреЗрд▓ред рдпрд╣ рдЕрдиреБрдХреВрд▓реА рджреГрд╖реНрдЯрд┐рдХреЛрдг рд╕реБрдирд┐рд╢реНрдЪрд┐рдд рдХрд░рддрд╛ рд╣реИ рдХрд┐ рдореЙрдбрд▓ рдХрд╛ рдкреВрд░рд╛ рд▓рд╛рдн рдЙрдард╛рдП GPUрдХреА рдХрдореНрдкреНрдпреВрдЯреЗрд╢рдирд▓ рд╢рдХреНрддрд┐ред
рдореЗрдВ рдкрд░рд┐рдирд┐рдпреЛрдЬрди рд╡рд┐рдХрд▓реНрдк TensorRT
рдЗрд╕рд╕реЗ рдкрд╣рд▓реЗ рдХрд┐ рд╣рдо рдирд┐рд░реНрдпрд╛рдд рдХреЗ рд▓рд┐рдП рдХреЛрдб рджреЗрдЦреЗрдВ YOLOv8 рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдореЙрдбрд▓ TensorRT рдкреНрд░рд╛рд░реВрдк, рдЖрдЗрдП рд╕рдордЭрддреЗ рд╣реИрдВ рдХрд┐ рдХрд╣рд╛рдВ TensorRT рдореЙрдбрд▓ рдЖрдорддреМрд░ рдкрд░ рдЙрдкрдпреЛрдЧ рдХрд┐рдП рдЬрд╛рддреЗ рд╣реИрдВред
TensorRT рдХрдИ рдкрд░рд┐рдирд┐рдпреЛрдЬрди рд╡рд┐рдХрд▓реНрдк рдкреНрд░рджрд╛рди рдХрд░рддрд╛ рд╣реИ, рдФрд░ рдкреНрд░рддреНрдпреЗрдХ рд╡рд┐рдХрд▓реНрдк рдПрдХреАрдХрд░рдг рдореЗрдВ рдЖрд╕рд╛рдиреА, рдкреНрд░рджрд░реНрд╢рди рдЕрдиреБрдХреВрд▓рди рдФрд░ рд▓рдЪреАрд▓реЗрдкрди рдХреЛ рдЕрд▓рдЧ-рдЕрд▓рдЧ рддрд░реАрдХреЗ рд╕реЗ рд╕рдВрддреБрд▓рд┐рдд рдХрд░рддрд╛ рд╣реИ:
- рднреАрддрд░ рдкрд░рд┐рдирд┐рдпреЛрдЬрди TensorFlow: рдпрд╣ рд╡рд┐рдзрд┐ рдПрдХреАрдХреГрдд рдХрд░рддреА рд╣реИ TensorRT рдореЗрдВ TensorFlow, рдЕрдиреБрдХреВрд▓рд┐рдд рдореЙрдбрд▓ рдХреЛ рдПрдХ рдкрд░рд┐рдЪрд┐рдд рдореЗрдВ рдЪрд▓рд╛рдиреЗ рдХреА рдЕрдиреБрдорддрд┐ рджреЗрддрд╛ рд╣реИ TensorFlow рдкрд░реНрдпрд╛рд╡рд░рдгред рдпрд╣ рд╕рдорд░реНрдерд┐рдд рдФрд░ рдЕрд╕рдорд░реНрдерд┐рдд рдкрд░рддреЛрдВ рдХреЗ рдорд┐рд╢реНрд░рдг рд╡рд╛рд▓реЗ рдореЙрдбрд▓ рдХреЗ рд▓рд┐рдП рдЙрдкрдпреЛрдЧреА рд╣реИ, рдЬреИрд╕рд╛ рдХрд┐ TF-TRT рдЗрди рдХреБрд╢рд▓рддрд╛ рд╕реЗ рд╕рдВрднрд╛рд▓ рд╕рдХрддреЗ рд╣реИрдВ.
-
рд╕реНрдЯреИрдВрдбрдЕрд▓реЛрди TensorRT рд░рдирдЯрд╛рдЗрдо рдПрдкреАрдЖрдИ: рджрд╛рдиреЗрджрд╛рд░ рдирд┐рдпрдВрддреНрд░рдг рдкреНрд░рджрд╛рди рдХрд░рддрд╛ рд╣реИ, рдкреНрд░рджрд░реНрд╢рди-рдорд╣рддреНрд╡рдкреВрд░реНрдг рдЕрдиреБрдкреНрд░рдпреЛрдЧреЛрдВ рдХреЗ рд▓рд┐рдП рдЖрджрд░реНрд╢ рд╣реИред рдпрд╣ рдЕрдзрд┐рдХ рдЬрдЯрд┐рд▓ рд╣реИ рд▓реЗрдХрд┐рди рдЕрд╕рдорд░реНрдерд┐рдд рдСрдкрд░реЗрдЯрд░реЛрдВ рдХреЗ рдХрд╕реНрдЯрдо рдХрд╛рд░реНрдпрд╛рдиреНрд╡рдпрди рдХреА рдЕрдиреБрдорддрд┐ рджреЗрддрд╛ рд╣реИред
-
NVIDIA Triton рдЕрдиреБрдорд╛рди рд╕рд░реНрд╡рд░: рдПрдХ рд╡рд┐рдХрд▓реНрдк рдЬреЛ рд╡рд┐рднрд┐рдиреНрди рдврд╛рдВрдЪреЗ рд╕реЗ рдореЙрдбрд▓ рдХрд╛ рд╕рдорд░реНрдерди рдХрд░рддрд╛ рд╣реИред рдХреНрд▓рд╛рдЙрдб рдпрд╛ рдПрдЬ рдЕрдиреБрдорд╛рди рдХреЗ рд▓рд┐рдП рд╡рд┐рд╢реЗрд╖ рд░реВрдк рд╕реЗ рдЕрдиреБрдХреВрд▓, рдпрд╣ рд╕рдорд╡рд░реНрддреА рдореЙрдбрд▓ рдирд┐рд╖реНрдкрд╛рджрди рдФрд░ рдореЙрдбрд▓ рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдЬреИрд╕реА рд╕реБрд╡рд┐рдзрд╛рдПрдБ рдкреНрд░рджрд╛рди рдХрд░рддрд╛ рд╣реИред
рдирд┐рд░реНрдпрд╛рдд YOLOv8 рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдореЙрдбрд▓ TensorRT
рдЖрдк рдирд┐рд╖реНрдкрд╛рджрди рджрдХреНрд╖рддрд╛ рдореЗрдВ рд╕реБрдзрд╛рд░ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ рдФрд░ рдкрд░рд┐рд╡рд░реНрддрд┐рдд рдХрд░рдХреЗ рдкреНрд░рджрд░реНрд╢рди рдХреЛ рдЕрдиреБрдХреВрд▓рд┐рдд рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ YOLOv8 рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдореЙрдбрд▓ TensorRT рдкреНрд░рд╛рд░реВрдкред
рд╕рдВрд╕реНрдерд╛рдкрди
рдЖрд╡рд╢реНрдпрдХ рдкреИрдХреЗрдЬ рд╕реНрдерд╛рдкрд┐рдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП, рдЪрд▓рд╛рдПрдВ:
рд╕реНрдерд╛рдкрдирд╛ рдкреНрд░рдХреНрд░рд┐рдпрд╛ рд╕реЗ рд╕рдВрдмрдВрдзрд┐рдд рд╡рд┐рд╕реНрддреГрдд рдирд┐рд░реНрджреЗрд╢реЛрдВ рдФрд░ рд╕рд░реНрд╡реЛрддреНрддрдо рдкреНрд░рдерд╛рдУрдВ рдХреЗ рд▓рд┐рдП, рд╣рдорд╛рд░реА рдЬрд╛рдБрдЪ рдХрд░реЗрдВ YOLOv8 рдЗрдВрд╕реНрдЯрд╛рд▓реЗрд╢рди рдЧрд╛рдЗрдбред рдХреЗ рд▓рд┐рдП рдЖрд╡рд╢реНрдпрдХ рдкреИрдХреЗрдЬ рд╕реНрдерд╛рдкрд┐рдд рдХрд░рддреЗ рд╕рдордп YOLOv8, рдЕрдЧрд░ рдЖрдкрдХреЛ рдХреЛрдИ рдХрдард┐рдирд╛рдИ рдЖрддреА рд╣реИ, рддреЛ рд╕рдорд╛рдзрд╛рди рдФрд░ рд╕реБрдЭрд╛рд╡реЛрдВ рдХреЗ рд▓рд┐рдП рд╣рдорд╛рд░реА рд╕рд╛рдорд╛рдиреНрдп рд╕рдорд╕реНрдпрд╛рдПрдВ рдорд╛рд░реНрдЧрджрд░реНрд╢рд┐рдХрд╛ рджреЗрдЦреЗрдВ.
рдЙрдкрдпреЛрдЧ
рдЙрдкрдпреЛрдЧ рдирд┐рд░реНрджреЗрд╢реЛрдВ рдореЗрдВ рдЧреЛрддрд╛ рд▓рдЧрд╛рдиреЗ рд╕реЗ рдкрд╣рд▓реЗ, рдХреА рд╕реАрдорд╛ рдХреА рдЬрд╛рдВрдЪ рдХрд░рдирд╛ рд╕реБрдирд┐рд╢реНрдЪрд┐рдд рдХрд░реЗрдВ YOLOv8 рджреНрд╡рд╛рд░рд╛ рдкреЗрд╢ рдХрд┐рдП рдЧрдП рдореЙрдбрд▓ Ultralytics. рдЗрд╕рд╕реЗ рдЖрдкрдХреЛ рдЕрдкрдиреА рдкрд░рд┐рдпреЛрдЬрдирд╛ рдЖрд╡рд╢реНрдпрдХрддрд╛рдУрдВ рдХреЗ рд▓рд┐рдП рд╕рдмрд╕реЗ рдЙрдкрдпреБрдХреНрдд рдореЙрдбрд▓ рдЪреБрдирдиреЗ рдореЗрдВ рдорджрдж рдорд┐рд▓реЗрдЧреАред
рдЙрдкрдпреЛрдЧ
from ultralytics import YOLO
# Load the YOLOv8 model
model = YOLO("yolov8n.pt")
# Export the model to TensorRT format
model.export(format="engine") # creates 'yolov8n.engine'
# Load the exported TensorRT model
tensorrt_model = YOLO("yolov8n.engine")
# Run inference
results = tensorrt_model("https://ultralytics.com/images/bus.jpg")
рдирд┐рд░реНрдпрд╛рдд рдкреНрд░рдХреНрд░рд┐рдпрд╛ рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рдЕрдзрд┐рдХ рдЬрд╛рдирдХрд╛рд░реА рдХреЗ рд▓рд┐рдП, рдкрд░ рдЬрд╛рдПрдБ Ultralytics рдирд┐рд░реНрдпрд╛рдд рдкрд░ рдкреНрд░рд▓реЗрдЦрди рдкреГрд╖реНрдаред
рдирд┐рд░реНрдпрд╛рдд TensorRT INT8 рдкрд░рд┐рдорд╛рдгреАрдХрд░рдг рдХреЗ рд╕рд╛рде
рдирд┐рд░реНрдпрд╛рдд Ultralytics YOLO рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░ рдореЙрдбрд▓ TensorRT INT8 рдХреЗ рд╕рд╛рде рдкрд░рд┐рд╢реБрджреНрдзрддрд╛ рдкреЛрд╕реНрдЯ-рдЯреНрд░реЗрдирд┐рдВрдЧ рдкрд░рд┐рдорд╛рдгреАрдХрд░рдг (PTQ) рдирд┐рд╖реНрдкрд╛рджрд┐рдд рдХрд░рддреА рд╣реИред TensorRT рдкреАрдЯреАрдХреНрдпреВ рдХреЗ рд▓рд┐рдП рдЕрдВрд╢рд╛рдВрдХрди рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддрд╛ рд╣реИ, рдЬреЛ рдкреНрд░рддреНрдпреЗрдХ рд╕рдХреНрд░рд┐рдпрдг рдХреЗ рднреАрддрд░ рд╕рдХреНрд░рд┐рдпрдг рдХреЗ рд╡рд┐рддрд░рдг рдХреЛ рдорд╛рдкрддрд╛ рд╣реИ tensor рдХреЗ рд░реВрдк рдореЗрдВ YOLO рдореЙрдбрд▓ рдкреНрд░рддрд┐рдирд┐рдзрд┐ рдЗрдирдкреБрдЯ рдбреЗрдЯрд╛ рдкрд░ рдЕрдиреБрдорд╛рди рд╕рдВрд╕рд╛рдзрд┐рдд рдХрд░рддрд╛ рд╣реИ, рдФрд░ рдлрд┐рд░ рдкреНрд░рддреНрдпреЗрдХ рдХреЗ рд▓рд┐рдП рд╕реНрдХреЗрд▓ рдорд╛рдиреЛрдВ рдХрд╛ рдЕрдиреБрдорд╛рди рд▓рдЧрд╛рдиреЗ рдХреЗ рд▓рд┐рдП рдЙрд╕ рд╡рд┐рддрд░рдг рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддрд╛ рд╣реИ tensor. рдкреНрд░рддреНрдпреЗрдХ рд╕рдХреНрд░рд┐рдпрдг tensor рдпрд╣реА рд╣реИ, рдкрд░рд┐рдорд╛рдгреАрдХрд░рдг рдХреЗ рд▓рд┐рдП рдПрдХ рдЙрдореНрдореАрджрд╡рд╛рд░ рдХреЗ рдкрд╛рд╕ рдПрдХ рд╕рдВрдмрджреНрдз рдкреИрдорд╛рдирд╛ рд╣реИ рдЬреЛ рдПрдХ рдЕрдВрд╢рд╛рдВрдХрди рдкреНрд░рдХреНрд░рд┐рдпрд╛ рджреНрд╡рд╛рд░рд╛ рдШрдЯрд╛рдпрд╛ рдЬрд╛рддрд╛ рд╣реИред
рдЕрдВрддрд░реНрдирд┐рд╣рд┐рдд рд░реВрдк рд╕реЗ рдорд╛рддреНрд░рд╛рддреНрдордХ рдиреЗрдЯрд╡рд░реНрдХ рдХреЛ рд╕рдВрд╕рд╛рдзрд┐рдд рдХрд░рддреЗ рд╕рдордп TensorRT рдкрд░рдд рдирд┐рд╖реНрдкрд╛рджрди рд╕рдордп рдХреЛ рдЕрдиреБрдХреВрд▓рд┐рдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдЕрд╡рд╕рд░рд╡рд╛рджреА рд░реВрдк рд╕реЗ INT8 рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддрд╛ рд╣реИред рдпрджрд┐ рдПрдХ рдкрд░рдд INT8 рдореЗрдВ рддреЗрдЬреА рд╕реЗ рдЪрд▓рддреА рд╣реИ рдФрд░ рдЙрд╕рдХреЗ рдбреЗрдЯрд╛ рдЗрдирдкреБрдЯ рдФрд░ рдЖрдЙрдЯрдкреБрдЯ рдкрд░ рдкрд░рд┐рдорд╛рдгреАрдХрд░рдг рдкреИрдорд╛рдиреЗ рдХреЛ рд╕реМрдВрдкрд╛ рдЧрдпрд╛ рд╣реИ, рддреЛ INT8 рдкрд░рд┐рд╢реБрджреНрдзрддрд╛ рд╡рд╛рд▓рд╛ рдХрд░реНрдиреЗрд▓ рдЙрд╕ рдкрд░рдд рдХреЛ рд╕реМрдВрдкрд╛ рдЧрдпрд╛ рд╣реИ, рдЕрдиреНрдпрдерд╛ TensorRT рдХрд░реНрдиреЗрд▓ рдХреЗ рд▓рд┐рдП FP32 рдпрд╛ FP16 рдХреА рд╕рдЯреАрдХрддрд╛ рдХрд╛ рдЪрдпрди рдХрд░рддрд╛ рд╣реИ, рдЬреЛ рдЙрд╕ рдкрд░рдд рдХреЗ рд▓рд┐рдП рддреЗрдЬреА рд╕реЗ рдирд┐рд╖реНрдкрд╛рджрди рд╕рдордп рдореЗрдВ рдкрд░рд┐рдгрд╛рдо рджреЗрддрд╛ рд╣реИред
рдиреЛрдХ
рдпрд╣ рд╕реБрдирд┐рд╢реНрдЪрд┐рдд рдХрд░рдирд╛ рдорд╣рддреНрд╡рдкреВрд░реНрдг рд╣реИ рдХрд┐ рд╡рд╣реА рдЙрдкрдХрд░рдг рдЬреЛ TensorRT рдкрд░рд┐рдирд┐рдпреЛрдЬрди рдХреЗ рд▓рд┐рдП рдореЙрдбрд▓ рднрд╛рд░ рдХрд╛ рдЙрдкрдпреЛрдЧ INT8 рдкрд░рд┐рд╢реБрджреНрдзрддрд╛ рдХреЗ рд╕рд╛рде рдирд┐рд░реНрдпрд╛рдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИ, рдХреНрдпреЛрдВрдХрд┐ рдЕрдВрд╢рд╛рдВрдХрди рдкрд░рд┐рдгрд╛рдо рд╕рднреА рдЙрдкрдХрд░рдгреЛрдВ рдореЗрдВ рднрд┐рдиреНрди рд╣реЛ рд╕рдХрддреЗ рд╣реИрдВред
INT8 рдирд┐рд░реНрдпрд╛рдд рдХреЙрдиреНрдлрд╝рд┐рдЧрд░ рдХрд░рдирд╛
рдЙрдкрдпреЛрдЧ рдХрд░рддреЗ рд╕рдордп рдкреНрд░рджрд╛рди рдХрд┐рдП рдЧрдП рддрд░реНрдХ рдирд┐рд░реНрдпрд╛рддрд┐рдд рдорд╛рд▓ рдПрдХ рдХреЗ рд▓рд┐рдП Ultralytics YOLO рдореЙрдбрд▓ рд╣реЛрдЧрд╛ рдЕрддреНтАНрдпрдзрд┐рдХ рдирд┐рд░реНрдпрд╛рдд рдХрд┐рдП рдЧрдП рдореЙрдбрд▓ рдХреЗ рдкреНрд░рджрд░реНрд╢рди рдХреЛ рдкреНрд░рднрд╛рд╡рд┐рдд рдХрд░рддреЗ рд╣реИрдВред рдЙрдиреНрд╣реЗрдВ рдЙрдкрд▓рдмреНрдз рдбрд┐рд╡рд╛рдЗрд╕ рд╕рдВрд╕рд╛рдзрдиреЛрдВ рдХреЗ рдЖрдзрд╛рд░ рдкрд░ рднреА рдЪреБрдирдирд╛ рд╣реЛрдЧрд╛, рд╣рд╛рд▓рд╛рдВрдХрд┐ рдбрд┐рдлрд╝реЙрд▓реНрдЯ рддрд░реНрдХ рдЪрд╛рд╣рд┐рдП рдЕрдзрд┐рдХрд╛рдВрд╢ рдХреЗ рд▓рд┐рдП рдХрд╛рдо рдПрдореНрдкреАрдпрд░ (рдпрд╛ рдирдпрд╛) NVIDIA рдЕрд╕рддрдд GPU. рдЙрдкрдпреЛрдЧ рдХрд┐рдпрд╛ рдЬрд╛рдиреЗ рд╡рд╛рд▓рд╛ рдЕрдВрд╢рд╛рдВрдХрди рдПрд▓реНрдЧреЛрд░рд┐рдереНрдо рд╣реИ "ENTROPY_CALIBRATION_2"
рдФрд░ рдЖрдк рдЙрдкрд▓рдмреНрдз рд╡рд┐рдХрд▓реНрдкреЛрдВ рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рдЕрдзрд┐рдХ рд╡рд┐рд╡рд░рдг рдкрдврд╝ рд╕рдХрддреЗ рд╣реИрдВ рдореЗрдВ TensorRT рдбреЗрд╡рд▓рдкрд░ рдЧрд╛рдЗрдб. Ultralytics рдкрд░реАрдХреНрд╖рдгреЛрдВ рдореЗрдВ рдкрд╛рдпрд╛ рдЧрдпрд╛ рдХрд┐ "ENTROPY_CALIBRATION_2"
рд╕рдмрд╕реЗ рдЕрдЪреНрдЫрд╛ рд╡рд┐рдХрд▓реНрдк рдерд╛ рдФрд░ рдирд┐рд░реНрдпрд╛рдд рдЗрд╕ рдПрд▓реНрдЧреЛрд░рд┐рдереНрдо рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рддрдп рдХрд░ рд░рд╣реЗ рд╣реИрдВ.
-
workspace
: рдореЙрдбрд▓ рднрд╛рд░ рдХреЛ рдкрд░рд┐рд╡рд░реНрддрд┐рдд рдХрд░рддреЗ рд╕рдордп рдбрд┐рд╡рд╛рдЗрд╕ рдореЗрдореЛрд░реА рдЖрд╡рдВрдЯрди рдХреЗ рдЖрдХрд╛рд░ (рдЬреАрдЖрдИрдмреА рдореЗрдВ) рдХреЛ рдирд┐рдпрдВрддреНрд░рд┐рдд рдХрд░рддрд╛ рд╣реИред-
рд╕рдорд╛рдпреЛрдЬрд┐рдд рдХрд░реЗрдВ
workspace
рдЖрдкрдХреА рдЕрдВрд╢рд╛рдВрдХрди рдЖрд╡рд╢реНрдпрдХрддрд╛рдУрдВ рдФрд░ рд╕рдВрд╕рд╛рдзрди рдЙрдкрд▓рдмреНрдзрддрд╛ рдХреЗ рдЕрдиреБрд╕рд╛рд░ рдореВрд▓реНрдпред рдЬрдмрдХрд┐ рдПрдХ рдмрдбрд╝рд╛workspace
рдЕрдВрд╢рд╛рдВрдХрди рд╕рдордп рдмрдврд╝рд╛ рд╕рдХрддрд╛ рд╣реИ, рдпрд╣ рдЕрдиреБрдорддрд┐ рджреЗрддрд╛ рд╣реИ TensorRT рдЕрдиреБрдХреВрд▓рди рд░рдгрдиреАрддрд┐ рдХреА рдПрдХ рд╡рд┐рд╕реНрддреГрдд рд╢реНрд░реГрдВрдЦрд▓рд╛ рдХрд╛ рдкрддрд╛ рд▓рдЧрд╛рдиреЗ рдХреЗ рд▓рд┐рдП, рд╕рдВрднрд╛рд╡рд┐рдд рд░реВрдк рд╕реЗ рдореЙрдбрд▓ рдкреНрд░рджрд░реНрд╢рди рдФрд░ рд╕рдЯреАрдХрддрд╛ рдХреЛ рдмрдврд╝рд╛рдирд╛ред рдЗрд╕рдХреЗ рд╡рд┐рдкрд░реАрдд, рдПрдХ рдЫреЛрдЯрд╛workspace
рдЕрдВрд╢рд╛рдВрдХрди рд╕рдордп рдХреЛ рдХрдо рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ рд▓реЗрдХрд┐рди рдЕрдиреБрдХреВрд▓рди рд░рдгрдиреАрддрд┐рдпреЛрдВ рдХреЛ рд╕реАрдорд┐рдд рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ, рдорд╛рддреНрд░рд╛рддреНрдордХ рдореЙрдбрд▓ рдХреА рдЧреБрдгрд╡рддреНрддрд╛ рдХреЛ рдкреНрд░рднрд╛рд╡рд┐рдд рдХрд░ рд╕рдХрддреЗ рд╣реИрдВред -
рдбрд┐рдлрд╝реЙрд▓реНрдЯ рд╣реИ
workspace=4
(GiB), рдЕрдВрд╢рд╛рдВрдХрди рдХреНрд░реИрд╢ рд╣реЛрдиреЗ рдкрд░ рдЗрд╕ рдорд╛рди рдХреЛ рдмрдврд╝рд╛рдиреЗ рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рд╣реЛ рд╕рдХрддреА рд╣реИ (рдмрд┐рдирд╛ рдЪреЗрддрд╛рд╡рдиреА рдХреЗ рдмрд╛рд╣рд░ рдирд┐рдХрд▓рддрд╛ рд╣реИ)ред -
TensorRT рд░рд┐рдкреЛрд░реНрдЯ рдХрд░реЗрдВрдЧреЗ
UNSUPPORTED_STATE
рдирд┐рд░реНрдпрд╛рдд рдХреЗ рджреМрд░рд╛рди рдпрджрд┐ рдХреЗ рд▓рд┐рдП рдореВрд▓реНрдпworkspace
рдбрд┐рд╡рд╛рдЗрд╕ рдХреЗ рд▓рд┐рдП рдЙрдкрд▓рдмреНрдз рдореЗрдореЛрд░реА рд╕реЗ рдмрдбрд╝рд╛ рд╣реИ, рдЬрд┐рд╕рдХрд╛ рдЕрд░реНрде рд╣реИworkspace
рдХрдо рдХрд┐рдпрд╛ рдЬрд╛рдирд╛ рдЪрд╛рд╣рд┐рдПред -
рдЕрдЧрд░
workspace
рдЕрдзрд┐рдХрддрдо рдорд╛рди рдкрд░ рд╕реЗрдЯ рд╣реИ рдФрд░ рдЕрдВрд╢рд╛рдВрдХрди рд╡рд┐рдлрд▓ рд░рд╣рддрд╛ рд╣реИ/рдХреНрд░реИрд╢ рд╣реЛрддрд╛ рд╣реИ, рдХреЗ рд▓рд┐рдП рдорд╛рдиреЛрдВ рдХреЛ рдХрдо рдХрд░рдиреЗ рдкрд░ рд╡рд┐рдЪрд╛рд░ рдХрд░реЗрдВimgsz
рдФрд░batch
рд╕реНрдореГрддрд┐ рдЖрд╡рд╢реНрдпрдХрддрд╛рдУрдВ рдХреЛ рдХрдо рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдПред -
рдпрд╛рдж рд░рдЦреЗрдВ рдХрд┐ INT8 рдХреЗ рд▓рд┐рдП рдЕрдВрд╢рд╛рдВрдХрди рдкреНрд░рддреНрдпреЗрдХ рдбрд┐рд╡рд╛рдЗрд╕ рдХреЗ рд▓рд┐рдП рд╡рд┐рд╢рд┐рд╖реНрдЯ рд╣реИ, рдПрдХ "рдЙрдЪреНрдЪ рдЕрдВрдд" рдЙрдзрд╛рд░ рд▓реЗрдирд╛ GPU рдЕрдВрд╢рд╛рдВрдХрди рдХреЗ рд▓рд┐рдП, рдЦрд░рд╛рдм рдкреНрд░рджрд░реНрд╢рди рдореЗрдВ рдкрд░рд┐рдгрд╛рдо рд╣реЛ рд╕рдХрддрд╛ рд╣реИ рдЬрдм рдЕрдиреБрдорд╛рди рдХрд┐рд╕реА рдЕрдиреНрдп рдбрд┐рд╡рд╛рдЗрд╕ рдкрд░ рдЪрд▓рд╛рдпрд╛ рдЬрд╛рддрд╛ рд╣реИред
-
-
batch
: рдЕрдзрд┐рдХрддрдо рдмреИрдЪ-рдЖрдХрд╛рд░ рдЬрд┐рд╕рдХрд╛ рдЙрдкрдпреЛрдЧ рдЕрдиреБрдорд╛рди рдХреЗ рд▓рд┐рдП рдХрд┐рдпрд╛ рдЬрд╛рдПрдЧрд╛ред рдЕрдиреБрдорд╛рди рдХреЗ рджреМрд░рд╛рди рдЫреЛрдЯреЗ рдмреИрдЪреЛрдВ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд┐рдпрд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИ, рд▓реЗрдХрд┐рди рдЕрдиреБрдорд╛рди рдирд┐рд░реНрджрд┐рд╖реНрдЯ рдмреИрдЪреЛрдВ рд╕реЗ рдмрдбрд╝реЗ рдмреИрдЪреЛрдВ рдХреЛ рд╕реНрд╡реАрдХрд╛рд░ рдирд╣реАрдВ рдХрд░реЗрдЧрд╛ред
рдиреЛрдЯ
рдЕрдВрд╢рд╛рдВрдХрди рдХреЗ рджреМрд░рд╛рди, рджреЛ рдмрд╛рд░ batch
рдкреНрд░рджрд╛рди рдХрд┐рдП рдЧрдП рдЖрдХрд╛рд░ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд┐рдпрд╛ рдЬрд╛рдПрдЧрд╛ред рдЫреЛрдЯреЗ рдмреИрдЪреЛрдВ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдиреЗ рд╕реЗ рдЕрдВрд╢рд╛рдВрдХрди рдХреЗ рджреМрд░рд╛рди рдЧрд▓рдд рд╕реНрдХреЗрд▓рд┐рдВрдЧ рд╣реЛ рд╕рдХрддреА рд╣реИред рдРрд╕рд╛ рдЗрд╕рд▓рд┐рдП рд╣реИ рдХреНрдпреЛрдВрдХрд┐ рдкреНрд░рдХреНрд░рд┐рдпрд╛ рдЙрд╕рдХреЗ рджреНрд╡рд╛рд░рд╛ рджреЗрдЦреЗ рдЬрд╛рдиреЗ рд╡рд╛рд▓реЗ рдбреЗрдЯрд╛ рдХреЗ рдЖрдзрд╛рд░ рдкрд░ рд╕рдорд╛рдпреЛрдЬрд┐рдд рд╣реЛрддреА рд╣реИред рдЫреЛрдЯреЗ рдмреИрдЪ рдореВрд▓реНрдпреЛрдВ рдХреА рдкреВрд░реА рд╢реНрд░реГрдВрдЦрд▓рд╛ рдкрд░ рдХрдмреНрдЬрд╛ рдирд╣реАрдВ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ, рдЬрд┐рд╕рд╕реЗ рдЕрдВрддрд┐рдо рдЕрдВрд╢рд╛рдВрдХрди рдХреЗ рд╕рд╛рде рд╕рдорд╕реНрдпрд╛рдПрдВ рд╣реЛ рд╕рдХрддреА рд╣реИрдВ, рдЗрд╕рд▓рд┐рдП batch
рдЖрдХрд╛рд░ рд╕реНрд╡рдЪрд╛рд▓рд┐рдд рд░реВрдк рд╕реЗ рджреЛрдЧреБрдирд╛ рд╣реЛ рдЬрд╛рддрд╛ рд╣реИред рдпрджрд┐ рдХреЛрдИ рдмреИрдЪ рдЖрдХрд╛рд░ рдирд┐рд░реНрджрд┐рд╖реНрдЯ рдирд╣реАрдВ рд╣реИ batch=1
, рдЕрдВрд╢рд╛рдВрдХрди рдкрд░ рдЪрд▓рд╛рдпрд╛ рдЬрд╛рдПрдЧрд╛ batch=1 * 2
рдЕрдВрд╢рд╛рдВрдХрди рд╕реНрдХреЗрд▓рд┐рдВрдЧ рддреНрд░реБрдЯрд┐рдпреЛрдВ рдХреЛ рдХрдо рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдПред
рджреНрд╡рд╛рд░рд╛ рдкреНрд░рдпреЛрдЧ NVIDIA рдЙрдиреНрд╣реЗрдВ рдХрдо рд╕реЗ рдХрдо 500 рдЕрдВрд╢рд╛рдВрдХрди рдЫрд╡рд┐рдпреЛрдВ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдиреЗ рдХреА рд╕рд┐рдлрд╛рд░рд┐рд╢ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдкреНрд░реЗрд░рд┐рдд рдХрд┐рдпрд╛ рдЬреЛ рдЖрдкрдХреЗ рдореЙрдбрд▓ рдХреЗ рд▓рд┐рдП рдбреЗрдЯрд╛ рдХреЗ рдкреНрд░рддрд┐рдирд┐рдзрд┐ рд╣реИрдВ, INT8 рдкрд░рд┐рдорд╛рдгреАрдХрд░рдг рдЕрдВрд╢рд╛рдВрдХрди рдХреЗ рд╕рд╛рдеред рдпрд╣ рдПрдХ рджрд┐рд╢рд╛рдирд┐рд░реНрджреЗрд╢ рд╣реИ рдФрд░ рдПрдХ рдирд╣реАрдВ рдХрдард┐рди рдЖрд╡рд╢реНрдпрдХрддрд╛, рдФрд░ рдЖрдкрдХреЛ рдЕрдкрдиреЗ рдбреЗрдЯрд╛рд╕реЗрдЯ рдХреЗ рд▓рд┐рдП рдЕрдЪреНрдЫрд╛ рдкреНрд░рджрд░реНрд╢рди рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдЖрд╡рд╢реНрдпрдХ рдЪреАрдЬрд╝реЛрдВ рдХреЗ рд╕рд╛рде рдкреНрд░рдпреЛрдЧ рдХрд░рдиреЗ рдХреА рдЖрд╡рд╢реНрдпрдХрддрд╛ рд╣реЛрдЧреАред рдЕрдВрд╢рд╛рдВрдХрди рдбреЗрдЯрд╛ INT8 рдЕрдВрд╢рд╛рдВрдХрди рдХреЗ рд╕рд╛рде рдХреЗ рд▓рд┐рдП рдЖрд╡рд╢реНрдпрдХ рд╣реИ рдХреЗ рдмрд╛рдж рд╕реЗ TensorRT, рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдирд╛ рд╕реБрдирд┐рд╢реНрдЪрд┐рдд рдХрд░реЗрдВ data
рддрд░реНрдХ рдЬрдм int8=True
рдХреЗ рд▓рд┐рдП TensorRT рдФрд░ рдЙрдкрдпреЛрдЧ рдХрд░реЗрдВ data="my_dataset.yaml"
, рдЬреЛ рд╕реЗ рдЫрд╡рд┐рдпреЛрдВ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░реЗрдЧрд╛ рдорд╛рдиреНрдпрддрд╛ рдХреЗ рд╕рд╛рде рдЬрд╛рдВрдЪрдиреЗ рдХреЗ рд▓рд┐рдПред рдЬрдм рдХреЛрдИ рдорд╛рди рдХреЗ рд▓рд┐рдП рдкрд╛рд░рд┐рдд рдирд╣реАрдВ рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИ data
рдХреЛ рдирд┐рд░реНрдпрд╛рдд рдХреЗ рд╕рд╛рде TensorRT INT8 рдкрд░рд┐рдорд╛рдгреАрдХрд░рдг рдХреЗ рд╕рд╛рде, рдбрд┐рдлрд╝реЙрд▓реНрдЯ рдореЗрдВ рд╕реЗ рдПрдХ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдирд╛ рд╣реЛрдЧрд╛ рдореЙрдбрд▓ рдХрд╛рд░реНрдп рдХреЗ рдЖрдзрд╛рд░ рдкрд░ "рдЫреЛрдЯрд╛" рдЙрджрд╛рд╣рд░рдг рдбреЗрдЯрд╛рд╕реЗрдЯ рдПрдХ рддреНрд░реБрдЯрд┐ рдлреЗрдВрдХрдиреЗ рдХреЗ рдмрдЬрд╛рдпред
рдЙрджрд╛рд╣рд░рдг
from ultralytics import YOLO
model = YOLO("yolov8n.pt")
model.export(
format="engine",
dynamic=True, # (1)!
batch=8, # (2)!
workspace=4, # (3)!
int8=True,
data="coco.yaml", # (4)!
)
# Load the exported TensorRT INT8 model
model = YOLO("yolov8n.engine", task="detect")
# Run inference
result = model.predict("https://ultralytics.com/images/bus.jpg")
- рдЧрддрд┐рд╢реАрд▓ рдЕрдХреНрд╖реЛрдВ рдХреЗ рд╕рд╛рде рдирд┐рд░реНрдпрд╛рдд рдХрд░рддрд╛ рд╣реИ, рдпрд╣ рдирд┐рд░реНрдпрд╛рдд рдХрд░рддреЗ рд╕рдордп рдбрд┐рдлрд╝реЙрд▓реНрдЯ рд░реВрдк рд╕реЗ рд╕рдХреНрд╖рдо рд╣реЛ рдЬрд╛рдПрдЧрд╛
int8=True
рдпрд╣рд╛рдВ рддрдХ рдХрд┐ рдЬрдм рд╕реНрдкрд╖реНрдЯ рд░реВрдк рд╕реЗ рд╕реЗрдЯ рдирд╣реАрдВ рдХрд┐рдпрд╛ рдЧрдпрд╛ рд╣реЛред рджреЗрдЦрдирд╛ рдирд┐рд░реНрдпрд╛рдд рддрд░реНрдХ рдЕрддрд┐рд░рд┐рдХреНрдд рдЬрд╛рдирдХрд╛рд░реА рдХреЗ рд▓рд┐рдПред - рдирд┐рд░реНрдпрд╛рдд рдХрд┐рдП рдЧрдП рдореЙрдбрд▓ рдХреЗ рд▓рд┐рдП 8 рдХрд╛ рдЕрдзрд┐рдХрддрдо рдмреИрдЪ рдЖрдХрд╛рд░ рд╕реЗрдЯ рдХрд░рддрд╛ рд╣реИ, рдЬреЛ рдЗрд╕рдХреЗ рд╕рд╛рде рдХреИрд▓рд┐рдмреНрд░реЗрдЯ рдХрд░рддрд╛ рд╣реИ
batch = 2 * 8
рдЕрдВрд╢рд╛рдВрдХрди рдХреЗ рджреМрд░рд╛рди рд╕реНрдХреЗрд▓рд┐рдВрдЧ рддреНрд░реБрдЯрд┐рдпреЛрдВ рд╕реЗ рдмрдЪрдиреЗ рдХреЗ рд▓рд┐рдПред - рд░реВрдкрд╛рдВрддрд░рдг рдкреНрд░рдХреНрд░рд┐рдпрд╛ рдХреЗ рд▓рд┐рдП рд╕рдВрдкреВрд░реНрдг рдбрд┐рд╡рд╛рдЗрд╕ рдЖрд╡рдВрдЯрд┐рдд рдХрд░рдиреЗ рдХреЗ рдмрдЬрд╛рдп 4 GiB рдореЗрдореЛрд░реА рдЖрд╡рдВрдЯрд┐рдд рдХрд░рддрд╛ рд╣реИред
- рдЕрдВрд╢рд╛рдВрдХрди рдХреЗ рд▓рд┐рдП COCO рдбреЗрдЯрд╛рд╕реЗрдЯ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддрд╛ рд╣реИ, рд╡рд┐рд╢реЗрд╖ рд░реВрдк рд╕реЗ рд╕рддреНрдпрд╛рдкрди рдХреЗ рд▓рд┐рдП рдЙрдкрдпреЛрдЧ рдХреА рдЬрд╛рдиреЗ рд╡рд╛рд▓реА рдЫрд╡рд┐рдпрд╛рдВ (рдХреБрд▓ 5,000)ред
# Export a YOLOv8n PyTorch model to TensorRT format with INT8 quantization
yolo export model=yolov8n.pt format=engine batch=8 workspace=4 int8=True data=coco.yaml # creates 'yolov8n.engine''
# Run inference with the exported TensorRT quantized model
yolo predict model=yolov8n.engine source='https://ultralytics.com/images/bus.jpg'
рдЕрдВрд╢рд╛рдВрдХрди рдХреИрд╢
TensorRT рдПрдХ рдЕрдВрд╢рд╛рдВрдХрди рдЙрддреНрдкрдиреНрди рдХрд░реЗрдЧрд╛ .cache
рдЬрд┐рд╕реЗ рдЙрд╕реА рдбреЗрдЯрд╛ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рднрд╡рд┐рд╖реНрдп рдХреЗ рдореЙрдбрд▓ рд╡рдЬрди рдХреЗ рдирд┐рд░реНрдпрд╛рдд рдореЗрдВ рддреЗрдЬреА рд▓рд╛рдиреЗ рдХреЗ рд▓рд┐рдП рдлрд┐рд░ рд╕реЗ рдЙрдкрдпреЛрдЧ рдХрд┐рдпрд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИ, рд▓реЗрдХрд┐рди рдЗрд╕рдХреЗ рдкрд░рд┐рдгрд╛рдорд╕реНрд╡рд░реВрдк рдЦрд░рд╛рдм рдЕрдВрд╢рд╛рдВрдХрди рд╣реЛ рд╕рдХрддрд╛ рд╣реИ рдЬрдм рдбреЗрдЯрд╛ рдмрд╣реБрдд рдЕрд▓рдЧ рд╣реЛрддрд╛ рд╣реИ рдпрд╛ рдпрджрд┐ batch
рдореВрд▓реНрдп рдХрд╛рдлреА рдмрджрд▓ рдЬрд╛рддрд╛ рд╣реИред рдЗрди рдкрд░рд┐рд╕реНрдерд┐рддрд┐рдпреЛрдВ рдореЗрдВ, рдореМрдЬреВрджрд╛ .cache
рдЗрд╕рдХрд╛ рдирд╛рдо рдмрджрд▓рд╛ рдЬрд╛рдирд╛ рдЪрд╛рд╣рд┐рдП рдФрд░ рдПрдХ рдЕрд▓рдЧ рдирд┐рд░реНрджреЗрд╢рд┐рдХрд╛ рдореЗрдВ рд▓реЗ рдЬрд╛рдпрд╛ рдЬрд╛рдирд╛ рдЪрд╛рд╣рд┐рдП рдпрд╛ рдкреВрд░реА рддрд░рд╣ рд╕реЗ рд╣рдЯрд╛ рджрд┐рдпрд╛ рдЬрд╛рдирд╛ рдЪрд╛рд╣рд┐рдПред
рдЙрдкрдпреЛрдЧ рдХрд░рдиреЗ рдХреЗ рд▓рд╛рдн YOLO рдХреЗ рд╕рд╛рде TensorRT рдЗрдВрдЯ8
-
рдореЙрдбрд▓ рдХрд╛ рдЖрдХрд╛рд░ рдХрдо рд╣реЛрдирд╛: FP32 рд╕реЗ INT8 рддрдХ рдкрд░рд┐рдорд╛рдгреАрдХрд░рдг рдореЙрдбрд▓ рдХреЗ рдЖрдХрд╛рд░ рдХреЛ 4x (рдбрд┐рд╕реНрдХ рдкрд░ рдпрд╛ рдореЗрдореЛрд░реА рдореЗрдВ) рдХрдо рдХрд░ рд╕рдХрддрд╛ рд╣реИ, рдЬрд┐рд╕рд╕реЗ рдбрд╛рдЙрдирд▓реЛрдб рд╕рдордп рддреЗрдЬреА рд╕реЗ рдмрдврд╝ рд╕рдХрддрд╛ рд╣реИред рдХрдо рднрдВрдбрд╛рд░рдг рдЖрд╡рд╢реНрдпрдХрддрд╛рдПрдВ, рдФрд░ рдореЙрдбрд▓ рдХреЛ рддреИрдирд╛рдд рдХрд░рддреЗ рд╕рдордп рдореЗрдореЛрд░реА рдкрджрдЪрд┐рд╣реНрди рдХрдо рд╣реЛ рдЬрд╛рддрд╛ рд╣реИред
-
рдХрдо рдмрд┐рдЬрд▓реА рдХреА рдЦрдкрдд: рдирд┐рд░реНрдпрд╛рдд рдХрд┐рдП рдЧрдП INT8 рдХреЗ рд▓рд┐рдП рдХрдо рд╕рдЯреАрдХ рд╕рдВрдЪрд╛рд▓рди YOLO FP32 рдореЙрдбрд▓ рдХреА рддреБрд▓рдирд╛ рдореЗрдВ рдореЙрдбрд▓ рдХрдо рдмрд┐рдЬрд▓реА рдХреА рдЦрдкрдд рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ, рдЦрд╛рд╕рдХрд░ рдмреИрдЯрд░реА рд╕реЗ рдЪрд▓рдиреЗ рд╡рд╛рд▓реЗ рдЙрдкрдХрд░рдгреЛрдВ рдХреЗ рд▓рд┐рдПред
-
рдмреЗрд╣рддрд░ рдЕрдиреБрдорд╛рди рдЧрддрд┐: TensorRT рд▓рдХреНрд╖реНрдп рд╣рд╛рд░реНрдбрд╡реЗрдпрд░ рдХреЗ рд▓рд┐рдП рдореЙрдбрд▓ рдХрд╛ рдЕрдиреБрдХреВрд▓рди рдХрд░рддрд╛ рд╣реИ, рд╕рдВрднрд╛рд╡рд┐рдд рд░реВрдк рд╕реЗ GPU, рдПрдореНрдмреЗрдбреЗрдб рдбрд┐рд╡рд╛рдЗрд╕ рдФрд░ рддреНрд╡рд░рдХ рдкрд░ рддреЗрдЬ рдЕрдиреБрдорд╛рди рдЧрддрд┐ рдХреА рдУрд░ рд▓реЗ рдЬрд╛рддрд╛ рд╣реИред
рдЕрдиреБрдорд╛рди рдЧрддрд┐ рдкрд░ рдзреНрдпрд╛рди рджреЗрдВ
рдирд┐рд░реНрдпрд╛рдд рдХрд┐рдП рдЧрдП рдореЙрдбрд▓ рдХреЗ рд╕рд╛рде рдкрд╣рд▓реЗ рдХреБрдЫ рдЕрдиреБрдорд╛рди рдХреЙрд▓ TensorRT INT8 рд╕реЗ рд╕рд╛рдорд╛рдиреНрдп рдкреНрд░реАрдкреНрд░реЛрд╕реЗрд╕рд┐рдВрдЧ, рдЕрдиреБрдорд╛рди рдФрд░/рдпрд╛ рдкреЛрд╕реНрдЯрдкреНрд░реЛрд╕реЗрд╕рд┐рдВрдЧ рд╕рдордп рд╕реЗ рдЕрдзрд┐рдХ рд╣реЛрдиреЗ рдХреА рдЙрдореНрдореАрдж рдХреА рдЬрд╛ рд╕рдХрддреА рд╣реИред рдмрджрд▓рддреЗ рд╕рдордп рднреА рдРрд╕рд╛ рд╣реЛ рд╕рдХрддрд╛ рд╣реИ imgsz
рдЕрдиреБрдорд╛рди рдХреЗ рджреМрд░рд╛рди, рдЦрд╛рд╕рдХрд░ рдЬрдм imgsz
рдирд┐рд░реНрдпрд╛рдд (рдирд┐рд░реНрдпрд╛рдд) рдХреЗ рджреМрд░рд╛рди рдирд┐рд░реНрджрд┐рд╖реНрдЯ рдХрд┐рдП рдЧрдП рдХреЗ рд╕рдорд╛рди рдирд╣реАрдВ рд╣реИ imgsz
рдХреЗ рд░реВрдк рдореЗрдВ рд╕реЗрдЯ рдХрд┐рдпрд╛ рдЧрдпрд╛ рд╣реИ TensorRT "рдЗрд╖реНрдЯрддрдо" рдкреНрд░реЛрдлрд╝рд╛рдЗрд▓)ред
рдЙрдкрдпреЛрдЧ рдХрд░рдиреЗ рдХреА рдХрдорд┐рдпрд╛рдВ YOLO рдХреЗ рд╕рд╛рде TensorRT рдЗрдВрдЯ8
-
рдореВрд▓реНрдпрд╛рдВрдХрди рдореЗрдЯреНрд░рд┐рдХреНрд╕ рдореЗрдВ рдХрдореА: рдХрдо рдкрд░рд┐рд╢реБрджреНрдзрддрд╛ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдиреЗ рдХрд╛ рдорддрд▓рдм рдпрд╣ рд╣реЛрдЧрд╛ рдХрд┐
mAP
,Precision
,Recall
рдпрд╛ рдХреЛрдИ рднреА рдореЙрдбрд▓ рдХреЗ рдкреНрд░рджрд░реНрд╢рди рдХрд╛ рдореВрд▓реНрдпрд╛рдВрдХрди рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдЙрдкрдпреЛрдЧ рдХрд┐рдП рдЬрд╛рдиреЗ рд╡рд╛рд▓реЗ рдЕрдиреНрдп рдореАрдЯреНрд░рд┐рдХ рдХреБрдЫ рд╣рдж рддрдХ рдмрджрддрд░ рд╣реЛрдиреЗ рдХреА рд╕рдВрднрд╛рд╡рдирд╛ рд╣реИред рджреЗрдЦреЗрдВ рдкреНрд░рджрд░реНрд╢рди рдкрд░рд┐рдгрд╛рдо рдЕрдиреБрднрд╛рдЧ рдореЗрдВ рдЕрдВрддрд░ рдХреА рддреБрд▓рдирд╛ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдПmAP50
рдФрд░mAP50-95
рд╡рд┐рднрд┐рдиреНрди рдЙрдкрдХрд░рдгреЛрдВ рдХреЗ рдЫреЛрдЯреЗ рдирдореВрдиреЗ рдкрд░ INT8 рдХреЗ рд╕рд╛рде рдирд┐рд░реНрдпрд╛рдд рдХрд░рддреЗ рд╕рдордпред -
рд╡рд┐рдХрд╛рд╕ рдХреЗ рд╕рдордп рдореЗрдВ рд╡реГрджреНрдзрд┐: рдбреЗрдЯрд╛рд╕реЗрдЯ рдФрд░ рдбрд┐рд╡рд╛рдЗрд╕ рдХреЗ рд▓рд┐рдП INT8 рдЕрдВрд╢рд╛рдВрдХрди рдХреЗ рд▓рд┐рдП "рдЗрд╖реНрдЯрддрдо" рд╕реЗрдЯрд┐рдВрдЧреНрд╕ рдвреВрдБрдврдирд╛ рдкрд░реАрдХреНрд╖рдг рдХреА рдПрдХ рдорд╣рддреНрд╡рдкреВрд░реНрдг рд░рд╛рд╢рд┐ рд▓реЗ рд╕рдХрддрд╛ рд╣реИред
-
рд╣рд╛рд░реНрдбрд╡реЗрдпрд░ рдирд┐рд░реНрднрд░рддрд╛: рдЕрдВрд╢рд╛рдВрдХрди рдФрд░ рдкреНрд░рджрд░реНрд╢рди рд▓рд╛рдн рдЕрддреНрдпрдзрд┐рдХ рд╣рд╛рд░реНрдбрд╡реЗрдпрд░ рдирд┐рд░реНрднрд░ рд╣реЛ рд╕рдХрддреЗ рд╣реИрдВ рдФрд░ рдореЙрдбрд▓ рднрд╛рд░ рдХрдо рд╣рд╕реНрддрд╛рдВрддрд░рдгреАрдп рд╣реИрдВред
Ultralytics YOLO TensorRT рдирд┐рд░реНрдпрд╛рдд рдкреНрд░рджрд░реНрд╢рди
NVIDIA рдП100
рдкреНрд░рджрд░реНрд╢рди
рдЙрдмрдВрдЯреВ 22.04.3 рдПрд▓рдЯреАрдПрд╕ рдХреЗ рд╕рд╛рде рдкрд░реАрдХреНрд╖рдг рдХрд┐рдпрд╛ рдЧрдпрд╛, python 3.10.12
, ultralytics==8.2.4
, tensorrt==8.6.1.post1
COCO рдкрд░ рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдЗрди рдореЙрдбрд▓реЛрдВ рдХреЗ рд╕рд╛рде рдЙрдкрдпреЛрдЧ рдХреЗ рдЙрджрд╛рд╣рд░рдгреЛрдВ рдХреЗ рд▓рд┐рдП рдбрд┐рдЯреЗрдХреНрд╢рди рдбреЙрдХреНрд╕ рджреЗрдЦреЗрдВ, рдЬрд┐рд╕рдореЗрдВ 80 рдкреВрд░реНрд╡-рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдХрдХреНрд╖рд╛рдПрдВ рд╢рд╛рдорд┐рд▓ рд╣реИрдВред
рдиреЛрдЯ
рдХреЗ рд▓рд┐рдП рджрд┐рдЦрд╛рдпрд╛ рдЧрдпрд╛ рдЕрдиреБрдорд╛рди рд╕рдордп mean
, min
(рд╕рдмрд╕реЗ рддреЗрдЬрд╝), рдФрд░ max
(рд╕рдмрд╕реЗ рдзреАрдорд╛) рдкреВрд░реНрд╡-рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рд╡рдЬрди рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдкреНрд░рддреНрдпреЗрдХ рдкрд░реАрдХреНрд╖рдг рдХреЗ рд▓рд┐рдП yolov8n.engine
рдпрдерд╛рд░реНрдерддрд╛ | рдЗрд╡рд▓ рдкрд░реАрдХреНрд╖рдг | рдФрд╕рдд (рдПрдордПрд╕) |
рдорд┐рдирдЯ | рдЕрдзрд┐рдХрддрдо (рдПрдордПрд╕) |
рдорд╛рдирдЪрд┐рддреНрд░рд╡реИрд▓ 50(рдЦ) |
рдорд╛рдирдЪрд┐рддреНрд░рд╡реИрд▓ 50-95 (рдмреА) |
batch |
рдЖрдХрд╛рд░ рд╡рд╛рд▓рд╛ (рдкрд┐рдХреНрд╕реЗрд▓) |
---|---|---|---|---|---|---|---|
рдПрдлрдкреА32 | рднрд╡рд┐рд╖реНтАНрдпрд╡рд╛рдгреА рдХрд░рдирд╛ | 0.52 | 0.51 | 0.56 | 8 | 640 | ||
рдПрдлрдкреА32 | COCOval | 0.52 | 0.52 | 0.37 | 1 | 640 | |
рдПрдлрдкреА16 | рднрд╡рд┐рд╖реНтАНрдпрд╡рд╛рдгреА рдХрд░рдирд╛ | 0.34 | 0.34 | 0.41 | 8 | 640 | ||
рдПрдлрдкреА16 | COCOval | 0.33 | 0.52 | 0.37 | 1 | 640 | |
INT8 | рднрд╡рд┐рд╖реНтАНрдпрд╡рд╛рдгреА рдХрд░рдирд╛ | 0.28 | 0.27 | 0.31 | 8 | 640 | ||
INT8 | COCOval | 0.29 | 0.47 | 0.33 | 1 | 640 |
COCO рдкрд░ рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдЗрди рдореЙрдбрд▓реЛрдВ рдХреЗ рд╕рд╛рде рдЙрдкрдпреЛрдЧ рдХреЗ рдЙрджрд╛рд╣рд░рдгреЛрдВ рдХреЗ рд▓рд┐рдП рд╕реЗрдЧрдореЗрдВрдЯреЗрд╢рди рдбреЙрдХреНрд╕ рджреЗрдЦреЗрдВ, рдЬрд┐рд╕рдореЗрдВ 80 рдкреВрд░реНрд╡-рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдХрдХреНрд╖рд╛рдПрдВ рд╢рд╛рдорд┐рд▓ рд╣реИрдВред
рдиреЛрдЯ
рдХреЗ рд▓рд┐рдП рджрд┐рдЦрд╛рдпрд╛ рдЧрдпрд╛ рдЕрдиреБрдорд╛рди рд╕рдордп mean
, min
(рд╕рдмрд╕реЗ рддреЗрдЬрд╝), рдФрд░ max
(рд╕рдмрд╕реЗ рдзреАрдорд╛) рдкреВрд░реНрд╡-рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рд╡рдЬрди рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдкреНрд░рддреНрдпреЗрдХ рдкрд░реАрдХреНрд╖рдг рдХреЗ рд▓рд┐рдП yolov8n-seg.engine
рдпрдерд╛рд░реНрдерддрд╛ | рдЗрд╡рд▓ рдкрд░реАрдХреНрд╖рдг | рдФрд╕рдд (рдПрдордПрд╕) |
рдорд┐рдирдЯ | рдЕрдзрд┐рдХрддрдо (рдПрдордПрд╕) |
рдорд╛рдирдЪрд┐рддреНрд░рд╡реИрд▓ 50(рдЦ) |
рдорд╛рдирдЪрд┐рддреНрд░рд╡реИрд▓ 50-95 (рдмреА) |
рдорд╛рдирдЪрд┐рддреНрд░рд╡реИрд▓ 50 (рдПрдо) |
рдорд╛рдирдЪрд┐рддреНрд░рд╡реИрд▓ 50-95 (рдПрдо) |
batch |
рдЖрдХрд╛рд░ рд╡рд╛рд▓рд╛ (рдкрд┐рдХреНрд╕реЗрд▓) |
---|---|---|---|---|---|---|---|---|---|
рдПрдлрдкреА32 | рднрд╡рд┐рд╖реНтАНрдпрд╡рд╛рдгреА рдХрд░рдирд╛ | 0.62 | 0.61 | 0.68 | 8 | 640 | ||||
рдПрдлрдкреА32 | COCOval | 0.63 | 0.52 | 0.36 | 0.49 | 0.31 | 1 | 640 | |
рдПрдлрдкреА16 | рднрд╡рд┐рд╖реНтАНрдпрд╡рд╛рдгреА рдХрд░рдирд╛ | 0.40 | 0.39 | 0.44 | 8 | 640 | ||||
рдПрдлрдкреА16 | COCOval | 0.43 | 0.52 | 0.36 | 0.49 | 0.30 | 1 | 640 | |
INT8 | рднрд╡рд┐рд╖реНтАНрдпрд╡рд╛рдгреА рдХрд░рдирд╛ | 0.34 | 0.33 | 0.37 | 8 | 640 | ||||
INT8 | COCOval | 0.36 | 0.46 | 0.32 | 0.43 | 0.27 | 1 | 640 |
рдЗрдореЗрдЬрдиреЗрдЯ рдкрд░ рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдЗрди рдореЙрдбрд▓реЛрдВ рдХреЗ рд╕рд╛рде рдЙрдкрдпреЛрдЧ рдХреЗ рдЙрджрд╛рд╣рд░рдгреЛрдВ рдХреЗ рд▓рд┐рдП рд╡рд░реНрдЧреАрдХрд░рдг рдбреЙрдХреНрд╕ рджреЗрдЦреЗрдВ, рдЬрд┐рд╕рдореЗрдВ 1000 рдкреВрд░реНрд╡-рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдХрдХреНрд╖рд╛рдПрдВ рд╢рд╛рдорд┐рд▓ рд╣реИрдВред
рдиреЛрдЯ
рдХреЗ рд▓рд┐рдП рджрд┐рдЦрд╛рдпрд╛ рдЧрдпрд╛ рдЕрдиреБрдорд╛рди рд╕рдордп mean
, min
(рд╕рдмрд╕реЗ рддреЗрдЬрд╝), рдФрд░ max
(рд╕рдмрд╕реЗ рдзреАрдорд╛) рдкреВрд░реНрд╡-рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рд╡рдЬрди рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдкреНрд░рддреНрдпреЗрдХ рдкрд░реАрдХреНрд╖рдг рдХреЗ рд▓рд┐рдП yolov8n-cls.engine
рдпрдерд╛рд░реНрдерддрд╛ | рдЗрд╡рд▓ рдкрд░реАрдХреНрд╖рдг | рдФрд╕рдд (рдПрдордПрд╕) |
рдорд┐рдирдЯ | рдЕрдзрд┐рдХрддрдо (рдПрдордПрд╕) |
рд╢реАрд░реНрд╖-1 | рд╢реАрд░реНрд╖-5 | batch |
рдЖрдХрд╛рд░ рд╡рд╛рд▓рд╛ (рдкрд┐рдХреНрд╕реЗрд▓) |
---|---|---|---|---|---|---|---|
рдПрдлрдкреА32 | рднрд╡рд┐рд╖реНтАНрдпрд╡рд╛рдгреА рдХрд░рдирд╛ | 0.26 | 0.25 | 0.28 | 8 | 640 | ||
рдПрдлрдкреА32 | рдЗрдореЗрдЬрдиреЗрдЯрд╡реИрд▓ | 0.26 | 0.35 | 0.61 | 1 | 640 | |
рдПрдлрдкреА16 | рднрд╡рд┐рд╖реНтАНрдпрд╡рд╛рдгреА рдХрд░рдирд╛ | 0.18 | 0.17 | 0.19 | 8 | 640 | ||
рдПрдлрдкреА16 | рдЗрдореЗрдЬрдиреЗрдЯрд╡реИрд▓ | 0.18 | 0.35 | 0.61 | 1 | 640 | |
INT8 | рднрд╡рд┐рд╖реНтАНрдпрд╡рд╛рдгреА рдХрд░рдирд╛ | 0.16 | 0.15 | 0.57 | 8 | 640 | ||
INT8 | рдЗрдореЗрдЬрдиреЗрдЯрд╡реИрд▓ | 0.15 | 0.32 | 0.59 | 1 | 640 |
COCO рдкрд░ рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдЗрди рдореЙрдбрд▓реЛрдВ рдХреЗ рд╕рд╛рде рдЙрдкрдпреЛрдЧ рдХреЗ рдЙрджрд╛рд╣рд░рдгреЛрдВ рдХреЗ рд▓рд┐рдП рдкреЛрдЬрд╝ рдПрд╕реНрдЯреАрдореЗрд╢рди рдбреЙрдХреНрд╕ рджреЗрдЦреЗрдВ, рдЬрд┐рд╕рдореЗрдВ 1 рдкреВрд░реНрд╡-рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рд╡рд░реНрдЧ, "рд╡реНрдпрдХреНрддрд┐" рд╢рд╛рдорд┐рд▓ рд╣реИрдВред
рдиреЛрдЯ
рдХреЗ рд▓рд┐рдП рджрд┐рдЦрд╛рдпрд╛ рдЧрдпрд╛ рдЕрдиреБрдорд╛рди рд╕рдордп mean
, min
(рд╕рдмрд╕реЗ рддреЗрдЬрд╝), рдФрд░ max
(рд╕рдмрд╕реЗ рдзреАрдорд╛) рдкреВрд░реНрд╡-рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рд╡рдЬрди рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдкреНрд░рддреНрдпреЗрдХ рдкрд░реАрдХреНрд╖рдг рдХреЗ рд▓рд┐рдП yolov8n-pose.engine
рдпрдерд╛рд░реНрдерддрд╛ | рдЗрд╡рд▓ рдкрд░реАрдХреНрд╖рдг | рдФрд╕рдд (рдПрдордПрд╕) |
рдорд┐рдирдЯ | рдЕрдзрд┐рдХрддрдо (рдПрдордПрд╕) |
рдорд╛рдирдЪрд┐рддреНрд░рд╡реИрд▓ 50(рдЦ) |
рдорд╛рдирдЪрд┐рддреНрд░рд╡реИрд▓ 50-95 (рдмреА) |
рдорд╛рдирдЪрд┐рддреНрд░рд╡реИрд▓ 50(рдкреА) |
рдорд╛рдирдЪрд┐рддреНрд░рд╡реИрд▓ 50-95 (рдкреА) |
batch |
рдЖрдХрд╛рд░ рд╡рд╛рд▓рд╛ (рдкрд┐рдХреНрд╕реЗрд▓) |
---|---|---|---|---|---|---|---|---|---|
рдПрдлрдкреА32 | рднрд╡рд┐рд╖реНтАНрдпрд╡рд╛рдгреА рдХрд░рдирд╛ | 0.54 | 0.53 | 0.58 | 8 | 640 | ||||
рдПрдлрдкреА32 | COCOval | 0.55 | 0.91 | 0.69 | 0.80 | 0.51 | 1 | 640 | |
рдПрдлрдкреА16 | рднрд╡рд┐рд╖реНтАНрдпрд╡рд╛рдгреА рдХрд░рдирд╛ | 0.37 | 0.35 | 0.41 | 8 | 640 | ||||
рдПрдлрдкреА16 | COCOval | 0.36 | 0.91 | 0.69 | 0.80 | 0.51 | 1 | 640 | |
INT8 | рднрд╡рд┐рд╖реНтАНрдпрд╡рд╛рдгреА рдХрд░рдирд╛ | 0.29 | 0.28 | 0.33 | 8 | 640 | ||||
INT8 | COCOval | 0.30 | 0.90 | 0.68 | 0.78 | 0.47 | 1 | 640 |
DOTAv1 рдкрд░ рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдЗрди рдореЙрдбрд▓реЛрдВ рдХреЗ рд╕рд╛рде рдЙрдкрдпреЛрдЧ рдХреЗ рдЙрджрд╛рд╣рд░рдгреЛрдВ рдХреЗ рд▓рд┐рдП рдУрд░рд┐рдПрдВрдЯреЗрдб рдбрд┐рдЯреЗрдХреНрд╢рди рдбреЙрдХреНрд╕ рджреЗрдЦреЗрдВ, рдЬрд┐рд╕рдореЗрдВ 15 рдкреВрд░реНрд╡-рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдХрдХреНрд╖рд╛рдПрдВ рд╢рд╛рдорд┐рд▓ рд╣реИрдВред
рдиреЛрдЯ
рдХреЗ рд▓рд┐рдП рджрд┐рдЦрд╛рдпрд╛ рдЧрдпрд╛ рдЕрдиреБрдорд╛рди рд╕рдордп mean
, min
(рд╕рдмрд╕реЗ рддреЗрдЬрд╝), рдФрд░ max
(рд╕рдмрд╕реЗ рдзреАрдорд╛) рдкреВрд░реНрд╡-рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рд╡рдЬрди рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдкреНрд░рддреНрдпреЗрдХ рдкрд░реАрдХреНрд╖рдг рдХреЗ рд▓рд┐рдП yolov8n-obb.engine
рдпрдерд╛рд░реНрдерддрд╛ | рдЗрд╡рд▓ рдкрд░реАрдХреНрд╖рдг | рдФрд╕рдд (рдПрдордПрд╕) |
рдорд┐рдирдЯ | рдЕрдзрд┐рдХрддрдо (рдПрдордПрд╕) |
рдорд╛рдирдЪрд┐рддреНрд░рд╡реИрд▓ 50(рдЦ) |
рдорд╛рдирдЪрд┐рддреНрд░рд╡реИрд▓ 50-95 (рдмреА) |
batch |
рдЖрдХрд╛рд░ рд╡рд╛рд▓рд╛ (рдкрд┐рдХреНрд╕реЗрд▓) |
---|---|---|---|---|---|---|---|
рдПрдлрдкреА32 | рднрд╡рд┐рд╖реНтАНрдпрд╡рд╛рдгреА рдХрд░рдирд╛ | 0.52 | 0.51 | 0.59 | 8 | 640 | ||
рдПрдлрдкреА32 | DOTAv1val | 0.76 | 0.50 | 0.36 | 1 | 640 | |
рдПрдлрдкреА16 | рднрд╡рд┐рд╖реНтАНрдпрд╡рд╛рдгреА рдХрд░рдирд╛ | 0.34 | 0.33 | 0.42 | 8 | 640 | ||
рдПрдлрдкреА16 | DOTAv1val | 0.59 | 0.50 | 0.36 | 1 | 640 | |
INT8 | рднрд╡рд┐рд╖реНтАНрдпрд╡рд╛рдгреА рдХрд░рдирд╛ | 0.29 | 0.28 | 0.33 | 8 | 640 | ||
INT8 | DOTAv1val | 0.32 | 0.45 | 0.32 | 1 | 640 |
рдЙрдкрднреЛрдХреНрддрд╛ GPU
рдбрд┐рдЯреЗрдХреНрд╢рди рдкрд░рдлреЙрд░реНрдореЗрдВрд╕ (COCO)
рд╡рд┐рдВрдбреЛрдЬ 10.0.19045 рдХреЗ рд╕рд╛рде рдкрд░реАрдХреНрд╖рдг рдХрд┐рдпрд╛ рдЧрдпрд╛, python 3.10.9
, ultralytics==8.2.4
, tensorrt==10.0.0b6
рдиреЛрдЯ
рдХреЗ рд▓рд┐рдП рджрд┐рдЦрд╛рдпрд╛ рдЧрдпрд╛ рдЕрдиреБрдорд╛рди рд╕рдордп mean
, min
(рд╕рдмрд╕реЗ рддреЗрдЬрд╝), рдФрд░ max
(рд╕рдмрд╕реЗ рдзреАрдорд╛) рдкреВрд░реНрд╡-рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рд╡рдЬрди рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдкреНрд░рддреНрдпреЗрдХ рдкрд░реАрдХреНрд╖рдг рдХреЗ рд▓рд┐рдП yolov8n.engine
рдпрдерд╛рд░реНрдерддрд╛ | рдЗрд╡рд▓ рдкрд░реАрдХреНрд╖рдг | рдФрд╕рдд (рдПрдордПрд╕) |
рдорд┐рдирдЯ | рдЕрдзрд┐рдХрддрдо (рдПрдордПрд╕) |
рдорд╛рдирдЪрд┐рддреНрд░рд╡реИрд▓ 50(рдЦ) |
рдорд╛рдирдЪрд┐рддреНрд░рд╡реИрд▓ 50-95 (рдмреА) |
batch |
рдЖрдХрд╛рд░ рд╡рд╛рд▓рд╛ (рдкрд┐рдХреНрд╕реЗрд▓) |
---|---|---|---|---|---|---|---|
рдПрдлрдкреА32 | рднрд╡рд┐рд╖реНтАНрдпрд╡рд╛рдгреА рдХрд░рдирд╛ | 1.06 | 0.75 | 1.88 | 8 | 640 | ||
рдПрдлрдкреА32 | COCOval | 1.37 | 0.52 | 0.37 | 1 | 640 | |
рдПрдлрдкреА16 | рднрд╡рд┐рд╖реНтАНрдпрд╡рд╛рдгреА рдХрд░рдирд╛ | 0.62 | 0.75 | 1.13 | 8 | 640 | ||
рдПрдлрдкреА16 | COCOval | 0.85 | 0.52 | 0.37 | 1 | 640 | |
INT8 | рднрд╡рд┐рд╖реНтАНрдпрд╡рд╛рдгреА рдХрд░рдирд╛ | 0.52 | 0.38 | 1.00 | 8 | 640 | ||
INT8 | COCOval | 0.74 | 0.47 | 0.33 | 1 | 640 |
рд╡рд┐рдВрдбреЛрдЬ 10.0.22631 рдХреЗ рд╕рд╛рде рдкрд░реАрдХреНрд╖рдг рдХрд┐рдпрд╛ рдЧрдпрд╛, python 3.11.9
, ultralytics==8.2.4
, tensorrt==10.0.1
рдиреЛрдЯ
рдХреЗ рд▓рд┐рдП рджрд┐рдЦрд╛рдпрд╛ рдЧрдпрд╛ рдЕрдиреБрдорд╛рди рд╕рдордп mean
, min
(рд╕рдмрд╕реЗ рддреЗрдЬрд╝), рдФрд░ max
(рд╕рдмрд╕реЗ рдзреАрдорд╛) рдкреВрд░реНрд╡-рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рд╡рдЬрди рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдкреНрд░рддреНрдпреЗрдХ рдкрд░реАрдХреНрд╖рдг рдХреЗ рд▓рд┐рдП yolov8n.engine
рдпрдерд╛рд░реНрдерддрд╛ | рдЗрд╡рд▓ рдкрд░реАрдХреНрд╖рдг | рдФрд╕рдд (рдПрдордПрд╕) |
рдорд┐рдирдЯ | рдЕрдзрд┐рдХрддрдо (рдПрдордПрд╕) |
рдорд╛рдирдЪрд┐рддреНрд░рд╡реИрд▓ 50(рдЦ) |
рдорд╛рдирдЪрд┐рддреНрд░рд╡реИрд▓ 50-95 (рдмреА) |
batch |
рдЖрдХрд╛рд░ рд╡рд╛рд▓рд╛ (рдкрд┐рдХреНрд╕реЗрд▓) |
---|---|---|---|---|---|---|---|
рдПрдлрдкреА32 | рднрд╡рд┐рд╖реНтАНрдпрд╡рд╛рдгреА рдХрд░рдирд╛ | 1.76 | 1.69 | 1.87 | 8 | 640 | ||
рдПрдлрдкреА32 | COCOval | 1.94 | 0.52 | 0.37 | 1 | 640 | |
рдПрдлрдкреА16 | рднрд╡рд┐рд╖реНтАНрдпрд╡рд╛рдгреА рдХрд░рдирд╛ | 0.86 | 0.75 | 1.00 | 8 | 640 | ||
рдПрдлрдкреА16 | COCOval | 1.43 | 0.52 | 0.37 | 1 | 640 | |
INT8 | рднрд╡рд┐рд╖реНтАНрдпрд╡рд╛рдгреА рдХрд░рдирд╛ | 0.80 | 0.75 | 1.00 | 8 | 640 | ||
INT8 | COCOval | 1.35 | 0.47 | 0.33 | 1 | 640 |
рдкреЙрдк рдХреЗ рд╕рд╛рде рдкрд░реАрдХреНрд╖рдг рдХрд┐рдпрд╛ рдЧрдпрд╛!_OS 22.04 рдПрд▓рдЯреАрдПрд╕, python 3.10.12
, ultralytics==8.2.4
, tensorrt==8.6.1.post1
рдиреЛрдЯ
рдХреЗ рд▓рд┐рдП рджрд┐рдЦрд╛рдпрд╛ рдЧрдпрд╛ рдЕрдиреБрдорд╛рди рд╕рдордп mean
, min
(рд╕рдмрд╕реЗ рддреЗрдЬрд╝), рдФрд░ max
(рд╕рдмрд╕реЗ рдзреАрдорд╛) рдкреВрд░реНрд╡-рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рд╡рдЬрди рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдкреНрд░рддреНрдпреЗрдХ рдкрд░реАрдХреНрд╖рдг рдХреЗ рд▓рд┐рдП yolov8n.engine
рдпрдерд╛рд░реНрдерддрд╛ | рдЗрд╡рд▓ рдкрд░реАрдХреНрд╖рдг | рдФрд╕рдд (рдПрдордПрд╕) |
рдорд┐рдирдЯ | рдЕрдзрд┐рдХрддрдо (рдПрдордПрд╕) |
рдорд╛рдирдЪрд┐рддреНрд░рд╡реИрд▓ 50(рдЦ) |
рдорд╛рдирдЪрд┐рддреНрд░рд╡реИрд▓ 50-95 (рдмреА) |
batch |
рдЖрдХрд╛рд░ рд╡рд╛рд▓рд╛ (рдкрд┐рдХреНрд╕реЗрд▓) |
---|---|---|---|---|---|---|---|
рдПрдлрдкреА32 | рднрд╡рд┐рд╖реНтАНрдпрд╡рд╛рдгреА рдХрд░рдирд╛ | 2.84 | 2.84 | 2.85 | 8 | 640 | ||
рдПрдлрдкреА32 | COCOval | 2.94 | 0.52 | 0.37 | 1 | 640 | |
рдПрдлрдкреА16 | рднрд╡рд┐рд╖реНтАНрдпрд╡рд╛рдгреА рдХрд░рдирд╛ | 1.09 | 1.09 | 1.10 | 8 | 640 | ||
рдПрдлрдкреА16 | COCOval | 1.20 | 0.52 | 0.37 | 1 | 640 | |
INT8 | рднрд╡рд┐рд╖реНтАНрдпрд╡рд╛рдгреА рдХрд░рдирд╛ | 0.75 | 0.74 | 0.75 | 8 | 640 | ||
INT8 | COCOval | 0.76 | 0.47 | 0.33 | 1 | 640 |
рдПрдореНрдмреЗрдбреЗрдб рдбрд┐рд╡рд╛рдЗрд╕
рдбрд┐рдЯреЗрдХреНрд╢рди рдкрд░рдлреЙрд░реНрдореЗрдВрд╕ (COCO)
JetPack 6.0 (L4T 36.3) Ubuntu 22.04.4 LTS рдХреЗ рд╕рд╛рде рдкрд░реАрдХреНрд╖рдг рдХрд┐рдпрд╛ рдЧрдпрд╛, python 3.10.12
, ultralytics==8.2.16
, tensorrt==10.0.1
рдиреЛрдЯ
рдХреЗ рд▓рд┐рдП рджрд┐рдЦрд╛рдпрд╛ рдЧрдпрд╛ рдЕрдиреБрдорд╛рди рд╕рдордп mean
, min
(рд╕рдмрд╕реЗ рддреЗрдЬрд╝), рдФрд░ max
(рд╕рдмрд╕реЗ рдзреАрдорд╛) рдкреВрд░реНрд╡-рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рд╡рдЬрди рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдкреНрд░рддреНрдпреЗрдХ рдкрд░реАрдХреНрд╖рдг рдХреЗ рд▓рд┐рдП yolov8n.engine
рдпрдерд╛рд░реНрдерддрд╛ | рдЗрд╡рд▓ рдкрд░реАрдХреНрд╖рдг | рдФрд╕рдд (рдПрдордПрд╕) |
рдорд┐рдирдЯ | рдЕрдзрд┐рдХрддрдо (рдПрдордПрд╕) |
рдорд╛рдирдЪрд┐рддреНрд░рд╡реИрд▓ 50(рдЦ) |
рдорд╛рдирдЪрд┐рддреНрд░рд╡реИрд▓ 50-95 (рдмреА) |
batch |
рдЖрдХрд╛рд░ рд╡рд╛рд▓рд╛ (рдкрд┐рдХреНрд╕реЗрд▓) |
---|---|---|---|---|---|---|---|
рдПрдлрдкреА32 | рднрд╡рд┐рд╖реНтАНрдпрд╡рд╛рдгреА рдХрд░рдирд╛ | 6.11 | 6.10 | 6.29 | 8 | 640 | ||
рдПрдлрдкреА32 | COCOval | 6.17 | 0.52 | 0.37 | 1 | 640 | |
рдПрдлрдкреА16 | рднрд╡рд┐рд╖реНтАНрдпрд╡рд╛рдгреА рдХрд░рдирд╛ | 3.18 | 3.18 | 3.20 | 8 | 640 | ||
рдПрдлрдкреА16 | COCOval | 3.19 | 0.52 | 0.37 | 1 | 640 | |
INT8 | рднрд╡рд┐рд╖реНтАНрдпрд╡рд╛рдгреА рдХрд░рдирд╛ | 2.30 | 2.29 | 2.35 | 8 | 640 | ||
INT8 | COCOval | 2.32 | 0.46 | 0.32 | 1 | 640 |
рд╕реВрдЪрдирд╛-рд╡рд┐рд╖рдпрдХ
рд╣рдорд╛рд░реЗ рджреЗрдЦреЗрдВ рдХреНрд╡рд┐рдХрд╕реНрдЯрд╛рд░реНрдЯ рдЧрд╛рдЗрдб рдСрди NVIDIA рдЬреЗрдЯрд╕рди рдХреЗ рд╕рд╛рде Ultralytics YOLO рд╕реЗрдЯрдЕрдк рдФрд░ рдХреЙрдиреНрдлрд╝рд┐рдЧрд░реЗрд╢рди рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рдЕрдзрд┐рдХ рдЬрд╛рдирдиреЗ рдХреЗ рд▓рд┐рдПред
рдореВрд▓реНрдпрд╛рдВрдХрди рдХреЗ рддрд░реАрдХреЗ
рдЗрди рдореЙрдбрд▓реЛрдВ рдХреЗ рдирд┐рд░реНрдпрд╛рдд рдФрд░ рдкрд░реАрдХреНрд╖рдг рдХреЗ рддрд░реАрдХреЗ рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рдЬрд╛рдирдХрд╛рд░реА рдХреЗ рд▓рд┐рдП рдиреАрдЪреЗ рджрд┐рдП рдЧрдП рдЕрдиреБрднрд╛рдЧреЛрдВ рдХреЛ рд╡рд┐рд╕реНрддреГрдд рдХрд░реЗрдВ.
рдирд┐рд░реНрдпрд╛рдд рдХреЙрдиреНрдлрд╝рд┐рдЧрд░реЗрд╢рди
рдирд┐рд░реНрдпрд╛рдд рдХреЙрдиреНрдлрд╝рд┐рдЧрд░реЗрд╢рди рддрд░реНрдХреЛрдВ рд╕реЗ рд╕рдВрдмрдВрдзрд┐рдд рд╡рд┐рд╡рд░рдг рдХреЗ рд▓рд┐рдП рдирд┐рд░реНрдпрд╛рдд рдореЛрдб рджреЗрдЦреЗрдВ.
from ultralytics import YOLO
model = YOLO("yolov8n.pt")
# TensorRT FP32
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2)
# TensorRT FP16
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, half=True)
# TensorRT INT8 with calibration `data` (i.e. COCO, ImageNet, or DOTAv1 for appropriate model task)
out = model.export(
format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, int8=True, data="coco8.yaml"
)
рд▓реВрдк рдХреА рднрд╡рд┐рд╖реНрдпрд╡рд╛рдгреА рдХрд░реЗрдВ
рдЕрддрд┐рд░рд┐рдХреНрдд рдЬрд╛рдирдХрд╛рд░реА рдХреЗ рд▓рд┐рдП рднрд╡рд┐рд╖реНрдпрд╡рд╛рдгреА рдореЛрдб рджреЗрдЦреЗрдВред
рд╕рддреНрдпрд╛рдкрди рдХреЙрдиреНрдлрд╝рд┐рдЧрд░реЗрд╢рди
рджреЗрдЦрдирд╛ val
рдореЛрдб рд╕рдореВрд╣ рд╕рддреНрдпрд╛рдкрди рдХреЙрдиреНрдлрд╝рд┐рдЧрд░реЗрд╢рди рддрд░реНрдХреЛрдВ рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рдЕрдзрд┐рдХ рдЬрд╛рдирдиреЗ рдХреЗ рд▓рд┐рдП.
рдирд┐рд░реНрдпрд╛рдд рдХреА рдЧрдИ рддреИрдирд╛рддреА YOLOv8 TensorRT рдореЙрдбрд▓
рд╕рдлрд▓рддрд╛рдкреВрд░реНрд╡рдХ рдЕрдкрдиреЗ рдирд┐рд░реНрдпрд╛рдд рдХрд░рдиреЗ рдХреЗ рдмрд╛рдж Ultralytics YOLOv8 рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдореЙрдбрд▓ TensorRT рдкреНрд░рд╛рд░реВрдк, рдЕрдм рдЖрдк рдЙрдиреНрд╣реЗрдВ рддреИрдирд╛рдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рддреИрдпрд╛рд░ рд╣реИрдВред рдЕрдкрдиреЗ рдкрд░рд┐рдирд┐рдпреЛрдЬрди рдкрд░ рдЧрд╣рди рдирд┐рд░реНрджреЗрд╢реЛрдВ рдХреЗ рд▓рд┐рдП TensorRT рд╡рд┐рднрд┐рдиреНрди рд╕реЗрдЯрд┐рдВрдЧреНрд╕ рдореЗрдВ рдореЙрдбрд▓, рдирд┐рдореНрдирд▓рд┐рдЦрд┐рдд рд╕рдВрд╕рд╛рдзрдиреЛрдВ рдкрд░ рдПрдХ рдирдЬрд╝рд░ рдбрд╛рд▓реЗрдВ:
-
рддреИрдирд╛рдд Ultralytics рдПрдХ рдХреЗ рд╕рд╛рде Triton рд╕рд░реНрд╡рд░: рдЙрдкрдпреЛрдЧ рдХрд░рдиреЗ рдХреЗ рддрд░реАрдХреЗ рдкрд░ рд╣рдорд╛рд░рд╛ рдЧрд╛рдЗрдб NVIDIAрдХрд╛ Triton рдЕрдиреБрдорд╛рди (рдкреВрд░реНрд╡ рдореЗрдВ TensorRT рдЕрдиреБрдорд╛рди) рд╕рд░реНрд╡рд░ рд╡рд┐рд╢реЗрд╖ рд░реВрдк рд╕реЗ рдХреЗ рд╕рд╛рде рдЙрдкрдпреЛрдЧ рдХреЗ рд▓рд┐рдП Ultralytics YOLO рдореЙрдбрд▓ред
-
рдХреЗ рд╕рд╛рде рдбреАрдк рдиреНрдпреВрд░рд▓ рдиреЗрдЯрд╡рд░реНрдХ рддреИрдирд╛рдд рдХрд░рдирд╛ NVIDIA TensorRT: рдпрд╣ рд▓реЗрдЦ рдмрддрд╛рддрд╛ рд╣реИ рдХрд┐ рдЗрд╕рдХрд╛ рдЙрдкрдпреЛрдЧ рдХреИрд╕реЗ рдХрд░реЗрдВ NVIDIA TensorRT рдкрд░ рдЧрд╣рд░реЗ рддрдВрддреНрд░рд┐рдХрд╛ рдиреЗрдЯрд╡рд░реНрдХ рддреИрдирд╛рдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП GPU-рдЖрдзрд╛рд░рд┐рдд рддреИрдирд╛рддреА рдкреНрд▓реЗрдЯрдлрд╛рд░реНрдореЛрдВ рдХреЛ рдХреБрд╢рд▓рддрд╛ рд╕реЗред
-
рдХреЗ рд▓рд┐рдП рдПрдВрдб-рдЯреВ-рдПрдВрдб рдПрдЖрдИ NVIDIA-рдЖрдзрд╛рд░рд┐рдд рдкреАрд╕реА: NVIDIA TensorRT рдкрд░рд┐рдирд┐рдпреЛрдЬрди: рдпрд╣ рдмреНрд▓реЙрдЧ рдкреЛрд╕реНрдЯ рдЗрд╕рдХреЗ рдЙрдкрдпреЛрдЧ рдХреА рд╡реНрдпрд╛рдЦреНрдпрд╛ рдХрд░рддрд╛ рд╣реИ NVIDIA TensorRT рдПрдЖрдИ рдореЙрдбрд▓ рдХреЛ рдЕрдиреБрдХреВрд▓рд┐рдд рдХрд░рдиреЗ рдФрд░ рддреИрдирд╛рдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП NVIDIA-рдЖрдзрд╛рд░рд┐рдд рдкреАрд╕реАред
-
GitHub рд░рд┐рдкреЛрдЬрд┐рдЯрд░реА рдХреЗ рд▓рд┐рдП NVIDIA TensorRT:: рдпрд╣ рдЖрдзрд┐рдХрд╛рд░рд┐рдХ GitHub рд░рд┐рдкреЙрдЬрд┐рдЯрд░реА рд╣реИ рдЬрд┐рд╕рдореЗрдВ рд╕реНрд░реЛрдд рдХреЛрдб рдФрд░ рдкреНрд░рд▓реЗрдЦрди рд╢рд╛рдорд┐рд▓ рд╣реИ NVIDIA TensorRT.
рд╕рд╛рд░рд╛рдВрд╢
рдЗрд╕ рдЧрд╛рдЗрдб рдореЗрдВ, рд╣рдордиреЗ рдкрд░рд┐рд╡рд░реНрддрд┐рдд рдХрд░рдиреЗ рдкрд░ рдзреНрдпрд╛рди рдХреЗрдВрджреНрд░рд┐рдд рдХрд┐рдпрд╛ Ultralytics YOLOv8 рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдореЙрдбрд▓ NVIDIAрдХрд╛ TensorRT рдореЙрдбрд▓ рдкреНрд░рд╛рд░реВрдкред рдпрд╣ рд░реВрдкрд╛рдВрддрд░рдг рдЪрд░рдг рджрдХреНрд╖рддрд╛ рдФрд░ рдЧрддрд┐ рдореЗрдВ рд╕реБрдзрд╛рд░ рдХреЗ рд▓рд┐рдП рдорд╣рддреНрд╡рдкреВрд░реНрдг рд╣реИ YOLOv8 рдореЙрдбрд▓, рдЙрдиреНрд╣реЗрдВ рд╡рд┐рд╡рд┐рдз рдкрд░рд┐рдирд┐рдпреЛрдЬрди рд╡рд╛рддрд╛рд╡рд░рдг рдХреЗ рд▓рд┐рдП рдЕрдзрд┐рдХ рдкреНрд░рднрд╛рд╡реА рдФрд░ рдЙрдкрдпреБрдХреНрдд рдмрдирд╛рддреЗ рд╣реИрдВред
рдЙрдкрдпреЛрдЧ рд╡рд┐рд╡рд░рдг рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рдЕрдзрд┐рдХ рдЬрд╛рдирдХрд╛рд░реА рдХреЗ рд▓рд┐рдП, рдкрд░ рдПрдХ рдирдЬрд╝рд░ рдбрд╛рд▓реЗрдВ TensorRT рдЖрдзрд┐рдХрд╛рд░рд┐рдХ рджрд╕реНрддрд╛рд╡реЗрдЬред
рдпрджрд┐ рдЖрдк рдЕрддрд┐рд░рд┐рдХреНрдд рдХреЗ рдмрд╛рд░реЗ рдореЗрдВ рдЙрддреНрд╕реБрдХ рд╣реИрдВ Ultralytics YOLOv8 рдПрдХреАрдХрд░рдг, рд╣рдорд╛рд░рд╛ рдПрдХреАрдХрд░рдг рдЧрд╛рдЗрдб рдкреГрд╖реНрда рд╕реВрдЪрдирд╛рддреНрдордХ рд╕рдВрд╕рд╛рдзрдиреЛрдВ рдФрд░ рдЕрдВрддрд░реНрджреГрд╖реНрдЯрд┐ рдХрд╛ рд╡реНрдпрд╛рдкрдХ рдЪрдпрди рдкреНрд░рджрд╛рди рдХрд░рддрд╛ рд╣реИред
рдЕрдХреНрд╕рд░ рдкреВрдЫреЗ рдЬрд╛рдиреЗ рд╡рд╛рд▓реЗ рдкреНрд░рд╢реНрди
рдореИрдВ рдХреИрд╕реЗ рд░реВрдкрд╛рдВрддрд░рд┐рдд рдХрд░реВрдВ YOLOv8 рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдореЙрдбрд▓ TensorRT рдкреНрд░рд╛рд░реВрдк?
рдЕрдкрдирд╛ рд░реВрдкрд╛рдВрддрд░рдг рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП Ultralytics YOLOv8 рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдореЙрдбрд▓ TensorRT рдЕрдиреБрдХреВрд▓рд┐рдд рдХреЗ рд▓рд┐рдП рдкреНрд░рд╛рд░реВрдк NVIDIA GPU рдирд┐рд╖реНрдХрд░реНрд╖, рдЗрди рдЪрд░рдгреЛрдВ рдХрд╛ рдкрд╛рд▓рди рдХрд░реЗрдВ:
-
рдЖрд╡рд╢реНрдпрдХ рдкреИрдХреЗрдЬ рд╕реНрдерд╛рдкрд┐рдд рдХрд░реЗрдВ:
-
рдЕрдкрдирд╛ рдирд┐рд░реНрдпрд╛рдд рдХрд░реЗрдВ YOLOv8 рдирдореВрдирд╛:
рдЕрдзрд┐рдХ рдЬрд╛рдирдХрд╛рд░реА рдХреЗ рд▓рд┐рдП, рдкрд░ рдЬрд╛рдПрдБ YOLOv8 рд╕реНрдерд╛рдкрдирд╛ рдЧрд╛рдЗрдб рдФрд░ рдирд┐рд░реНрдпрд╛рдд рдкреНрд░рд▓реЗрдЦрдиред
рдЙрдкрдпреЛрдЧ рдХрд░рдиреЗ рдХреЗ рдХреНрдпрд╛ рд▓рд╛рдн рд╣реИрдВ TensorRT рдХреЗ рд▓рд┐рдП YOLOv8 рдореЙрдбрд▓?
рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ TensorRT рдЕрдиреБрдХреВрд▓рд┐рдд рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП YOLOv8 рдореЙрдбрд▓ рдХрдИ рд▓рд╛рдн рдкреНрд░рджрд╛рди рдХрд░рддрд╛ рд╣реИ:
- рддреЗрдЬрд╝ рдЕрдиреБрдорд╛рди рдЧрддрд┐: TensorRT рдореЙрдбрд▓ рдкрд░рддреЛрдВ рдХрд╛ рдЕрдиреБрдХреВрд▓рди рдХрд░рддрд╛ рд╣реИ рдФрд░ рд╕рдЯреАрдХрддрд╛ рдХрд╛ рддреНрдпрд╛рдЧ рдХрд┐рдП рдмрд┐рдирд╛ рдЕрдиреБрдорд╛рди рдХреЛ рддреЗрдЬ рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рд╕рдЯреАрдХ рдЕрдВрд╢рд╛рдВрдХрди (INT8 рдФрд░ FP16) рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддрд╛ рд╣реИред
- рд╕реНрдореГрддрд┐ рдХреНрд╖рдорддрд╛: TensorRT рдкреНрд░рдмрдВрдзрди tensor рдЧрддрд┐рд╢реАрд▓ рд░реВрдк рд╕реЗ рд╕реНрдореГрддрд┐, рдУрд╡рд░рд╣реЗрдб рдХреЛ рдХрдо рдХрд░рдирд╛ рдФрд░ рд╕реБрдзрд╛рд░ рдХрд░рдирд╛ GPU рд╕реНрдореГрддрд┐ рдЙрдкрдпреЛрдЧред
- рдкрд░рдд рд╕рдВрд▓рдпрди: рдХрдореНрдкреНрдпреВрдЯреЗрд╢рдирд▓ рдЬрдЯрд┐рд▓рддрд╛ рдХреЛ рдХрдо рдХрд░рддреЗ рд╣реБрдП, рдПрдХрд▓ рд╕рдВрдЪрд╛рд▓рди рдореЗрдВ рдХрдИ рдкрд░рддреЛрдВ рдХреЛ рдЬреЛрдбрд╝рддреА рд╣реИред
- рдХрд░реНрдиреЗрд▓ рдСрдЯреЛ-рдЯреНрдпреВрдирд┐рдВрдЧ: рд╕реНрд╡рдЪрд╛рд▓рд┐рдд рд░реВрдк рд╕реЗ рдЕрдиреБрдХреВрд▓рд┐рдд рдХрд╛ рдЪрдпрди рдХрд░рддрд╛ рд╣реИ GPU рдкреНрд░рддреНрдпреЗрдХ рдореЙрдбрд▓ рдкрд░рдд рдХреЗ рд▓рд┐рдП рдЧреБрдард▓реА, рдЕрдзрд┐рдХрддрдо рдкреНрд░рджрд░реНрд╢рди рд╕реБрдирд┐рд╢реНрдЪрд┐рдд рдХрд░рдирд╛ред
рдЕрдзрд┐рдХ рдЬрд╛рдирдХрд╛рд░реА рдХреЗ рд▓рд┐рдП, рдХреА рд╡рд┐рд╕реНрддреГрдд рд╡рд┐рд╢реЗрд╖рддрд╛рдУрдВ рдХрд╛ рдЕрдиреНрд╡реЗрд╖рдг рдХрд░реЗрдВ TensorRT рдпрд╣рд╛рдБ рдФрд░ рд╣рдорд╛рд░реЗ рдкрдврд╝реЗрдВ TensorRT рдЕрд╡рд▓реЛрдХрди рдЕрдиреБрднрд╛рдЧред
рдХреНрдпрд╛ рдореИрдВ INT8 рдкрд░рд┐рдорд╛рдгреАрдХрд░рдг рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░ рд╕рдХрддрд╛ рд╣реВрдВ TensorRT рдХреЗ рд▓рд┐рдП YOLOv8 рдореЙрдбрд▓?
рд╣рд╛рдБ, рдЖрдк рдирд┐рд░реНрдпрд╛рдд рдХрд░ рд╕рдХрддреЗ рд╣реИрдВ YOLOv8 рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░ рдореЙрдбрд▓ TensorRT INT8 рдкрд░рд┐рдорд╛рдгреАрдХрд░рдг рдХреЗ рд╕рд╛рдеред рдЗрд╕ рдкреНрд░рдХреНрд░рд┐рдпрд╛ рдореЗрдВ рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдХреЗ рдмрд╛рдж рдкрд░рд┐рдорд╛рдгреАрдХрд░рдг (PTQ) рдФрд░ рдЕрдВрд╢рд╛рдВрдХрди рд╢рд╛рдорд┐рд▓ рд╣реИрдВ:
-
INT8 рдХреЗ рд╕рд╛рде рдирд┐рд░реНрдпрд╛рдд рдХрд░реЗрдВ:
-
рд░рди рдЕрдиреБрдорд╛рди:
рдЕрдзрд┐рдХ рдЬрд╛рдирдХрд╛рд░реА рдХреЗ рд▓рд┐рдП, рджреЗрдЦреЗрдВ рдирд┐рд░реНрдпрд╛рдд TensorRT INT8 рдкрд░рд┐рдорд╛рдгреАрдХрд░рдг рдЕрдиреБрднрд╛рдЧ рдХреЗ рд╕рд╛рдеред
рдореИрдВ рдХреИрд╕реЗ рддреИрдирд╛рдд рдХрд░реВрдВ YOLOv8 TensorRT рдПрдХ рдкрд░ рдореЙрдбрд▓ NVIDIA Triton рдЕрдиреБрдорд╛рди рд╕рд░реНрд╡рд░?
рдкрд░рд┐рдирд┐рдпреЛрдЬрди YOLOv8 TensorRT рдПрдХ рдкрд░ рдореЙрдбрд▓ NVIDIA Triton рдирд┐рдореНрди рд╕рдВрд╕рд╛рдзрдиреЛрдВ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рдЕрдиреБрдорд╛рди рд╕рд░реНрд╡рд░ рдХрд┐рдпрд╛ рдЬрд╛ рд╕рдХрддрд╛ рд╣реИ:
- рддреИрдирд╛рдд Ultralytics YOLOv8 рдХреЗ рд╕рд╛рде Triton рд╕рд░реНрд╡рд░: рд╕реНрдерд╛рдкрд┐рдд рдХрд░рдиреЗ рдФрд░ рдЙрдкрдпреЛрдЧ рдХрд░рдиреЗ рдкрд░ рдЪрд░рдг-рджрд░-рдЪрд░рдг рдорд╛рд░реНрдЧрджрд░реНрд╢рди Triton рдЕрдиреБрдорд╛рди рд╕рд░реНрд╡рд░ред
- NVIDIA Triton рдЕрдиреБрдорд╛рди рд╕рд░реНрд╡рд░ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝реАрдХрд░рдг: рдЖрдзрд┐рдХрд╛рд░рд┐рдХ NVIDIA рд╡рд┐рд╕реНрддреГрдд рдкрд░рд┐рдирд┐рдпреЛрдЬрди рд╡рд┐рдХрд▓реНрдкреЛрдВ рдФрд░ рдХреЙрдиреНрдлрд╝рд┐рдЧрд░реЗрд╢рди рдХреЗ рд▓рд┐рдП рджрд╕реНрддрд╛рд╡реЗрдЬрд╝реАрдХрд░рдгред
рдпреЗ рдорд╛рд░реНрдЧрджрд░реНрд╢рд┐рдХрд╛рдПрдБ рдЖрдкрдХреЛ рдПрдХреАрдХреГрдд рдХрд░рдиреЗ рдореЗрдВ рдорджрдж рдХрд░реЗрдВрдЧреА YOLOv8 рд╡рд┐рднрд┐рдиреНрди рддреИрдирд╛рддреА рд╡рд╛рддрд╛рд╡рд░рдг рдореЗрдВ рдХреБрд╢рд▓рддрд╛рдкреВрд░реНрд╡рдХ рдореЙрдбрд▓ред
рдкреНрд░рджрд░реНрд╢рди рдореЗрдВ рдХреНрдпрд╛ рд╕реБрдзрд╛рд░ рджреЗрдЦреЗ рдЧрдП рд╣реИрдВ YOLOv8 рдореЙрдбрд▓ рдирд┐рд░реНрдпрд╛рдд рдХрд┐рдП рдЧрдП TensorRT?
рдХреЗ рд╕рд╛рде рдкреНрд░рджрд░реНрд╢рди рдореЗрдВ рд╕реБрдзрд╛рд░ TensorRT рдЙрдкрдпреЛрдЧ рдХрд┐рдП рдЧрдП рд╣рд╛рд░реНрдбрд╡реЗрдпрд░ рдХреЗ рдЖрдзрд╛рд░ рдкрд░ рднрд┐рдиреНрди рд╣реЛ рд╕рдХрддреЗ рд╣реИрдВред рдпрд╣рд╛рдВ рдХреБрдЫ рд╡рд┐рд╢рд┐рд╖реНрдЯ рдмреЗрдВрдЪрдорд╛рд░реНрдХ рджрд┐рдП рдЧрдП рд╣реИрдВ:
-
NVIDIA рдП100:
- рдПрдлрдкреА32 рдирд┐рд╖реНрдХрд░реНрд╖: ~ 0.52 рдПрдордПрд╕ / рдЫрд╡рд┐
- рдПрдлрдкреА16 рдЕрдиреБрдорд╛рди: ~ 0.34 рдПрдордПрд╕ / рдЫрд╡рд┐
- рдЖрдИрдПрдирдЯреА8 рдЕрдиреБрдорд╛рди: ~ 0.28 рдПрдордПрд╕ / рдЫрд╡рд┐
- INT8 рдкрд░рд┐рд╢реБрджреНрдзрддрд╛ рдХреЗ рд╕рд╛рде рдПрдордПрдкреА рдореЗрдВ рдорд╛рдореВрд▓реА рдХрдореА, рд▓реЗрдХрд┐рди рдЧрддрд┐ рдореЗрдВ рдорд╣рддреНрд╡рдкреВрд░реНрдг рд╕реБрдзрд╛рд░ред
-
рдЙрдкрднреЛрдХреНрддрд╛ GPU (рдЬреИрд╕реЗ, RTX 3080):
- рдПрдлрдкреА32 рдЕрдиреБрдорд╛рди: ~ 1.06 рдПрдордПрд╕ / рдЫрд╡рд┐
- рдПрдлрдкреА16 рдЕрдиреБрдорд╛рди: ~ 0.62 рдПрдордПрд╕ / рдЫрд╡рд┐
- рдЖрдИрдПрдирдЯреА8 рдирд┐рд╖реНрдХрд░реНрд╖: ~ 0.52 рдПрдордПрд╕ / рдЫрд╡рд┐
рд╡рд┐рднрд┐рдиреНрди рд╣рд╛рд░реНрдбрд╡реЗрдпрд░ рдХреЙрдиреНрдлрд╝рд┐рдЧрд░реЗрд╢рди рдХреЗ рд▓рд┐рдП рд╡рд┐рд╕реНрддреГрдд рдкреНрд░рджрд░реНрд╢рди рдмреЗрдВрдЪрдорд╛рд░реНрдХ рдкреНрд░рджрд░реНрд╢рди рдЕрдиреБрднрд╛рдЧ рдореЗрдВ рдкрд╛рдП рдЬрд╛ рд╕рдХрддреЗ рд╣реИрдВред
рдореЗрдВ рдЕрдзрд┐рдХ рд╡реНрдпрд╛рдкрдХ рдЕрдВрддрд░реНрджреГрд╖реНрдЯрд┐ рдХреЗ рд▓рд┐рдП TensorRT рдкреНрд░рджрд░реНрд╢рди, рджреЗрдЦреЗрдВ Ultralytics рджрд╕реНрддрд╛рд╡реЗрдЬрд╝реАрдХрд░рдг рдФрд░ рд╣рдорд╛рд░реА рдкреНрд░рджрд░реНрд╢рди рд╡рд┐рд╢реНрд▓реЗрд╖рдг рд░рд┐рдкреЛрд░реНрдЯред
рдмрдирд╛рдпрд╛ рдЧрдпрд╛ 2024-01-28, рдЕрджреНрдпрддрди рдХрд┐рдпрд╛ рдЧрдпрд╛ 2024-07-10
рд▓реЗрдЦрдХ: рдЧреНрд▓реЗрди-рдЬреЛрдЪрд░ (10), рдорд╣рддреНрд╡рд╛рдХрд╛рдВрдХреНрд╖реА-рдСрдХреНрдЯреЛрдкрд╕ (1), рд▓рдХреНрд╖рд╛рдВрдерд╛рдж (1), рдЗрд╡реЛрд░рдЭреВ331 (1), рдмреБрд░рд╣рд╛рди-рдХреНрдпреВ (2), рдЕрдмрд┐рд░рд╛рдореА-рд╡реАрдирд╛ (1)