انتقل إلى المحتوى

مرجع ل ultralytics/trackers/bot_sort.py

ملاحظه

هذا الملف متاح في https://github.com/ultralytics/ultralytics/ نقطة / الرئيسية /ultralytics/بتتبع/bot_sort.py. إذا اكتشفت مشكلة ، فيرجى المساعدة في إصلاحها من خلال المساهمة في طلب 🛠️ سحب. شكرا لك 🙏!



ultralytics.trackers.bot_sort.BOTrack

قواعد: STrack

نسخة موسعة من فئة STrack ل YOLOv8، مضيفا ميزات تتبع الكائنات.

سمات:

اسم نوع وصف
shared_kalman KalmanFilterXYWH

مرشح Kalman مشترك لجميع مثيلات BOTrack.

smooth_feat ndarray

ناقلات ميزة سلسة.

curr_feat ndarray

متجه الميزة الحالية.

features deque

deque لتخزين متجهات المعالم بطول أقصى محدد بواسطة feat_history.

alpha float

عامل تجانس للمتوسط المتحرك الأسي للميزات.

mean ndarray

متوسط حالة مرشح كالمان.

covariance ndarray

مصفوفة التغاير لمرشح كالمان.

أساليب:

اسم وصف
update_features

تحديث متجه الميزات وتنعيمها باستخدام المتوسط المتحرك الأسي.

predict

يتنبأ بالمتوسط والتغاير باستخدام مرشح كالمان.

re_activate

يعيد تنشيط مسار بميزات محدثة ومعرف جديد اختياريا.

update

قم بتحديث YOLOv8 مثيل مع مسار جديد ومعرف الإطار.

tlwh

الخاصية التي تحصل على الموضع الحالي بتنسيق tlwh (top left x, top left y, width, height).

multi_predict

يتنبأ بالمتوسط والتباين المشترك لمسارات كائنات متعددة باستخدام مرشح كالمان المشترك.

convert_coords

يحول إحداثيات المربع المحيط tlwh إلى تنسيق xywh.

tlwh_to_xywh

تحويل المربع المحيط إلى تنسيق xywh (center x, center y, width, height).

استخدام

bo_track = BOTrack (tlwh ، النتيجة ، cls ، الفذ) bo_track.توقع () bo_track.تحديث (new_track ، frame_id)

شفرة المصدر في ultralytics/trackers/bot_sort.py
14 15 16 17 18  19 20 21 22 23 24 25 26 27  28 29 30 31 32 33 34 35 36 37 38           39 40   41   42 43 44 45  46   47         48  49 50 51 52 53 54 55  56 57 58 59 60 61 62 63 64 65 66 67 68  69 70   71 72 73 74    75 76  77   78          79   80 81 82 83 84 85 86 87  88 89 90 91 92 93 94 95 96 97 98         99  100 101  102 103 104 105106  107 108109110 111 112 113 114 115 116 117 118119120 121 122
class BOTrack(STrack):
    """
    An extended version of the STrack class for YOLOv8, adding object tracking features.

    Attributes:
        shared_kalman (KalmanFilterXYWH): A shared Kalman filter for all instances of BOTrack.
        smooth_feat (np.ndarray): Smoothed feature vector.
        curr_feat (np.ndarray): Current feature vector.
        features (deque): A deque to store feature vectors with a maximum length defined by `feat_history`.
        alpha (float): Smoothing factor for the exponential moving average of features.
        mean (np.ndarray): The mean state of the Kalman filter.
        covariance (np.ndarray): The covariance matrix of the Kalman filter.

    Methods:
        update_features(feat): Update features vector and smooth it using exponential moving average.
        predict(): Predicts the mean and covariance using Kalman filter.
        re_activate(new_track, frame_id, new_id): Reactivates a track with updated features and optionally new ID.
        update(new_track, frame_id): Update the YOLOv8 instance with new track and frame ID.
        tlwh: Property that gets the current position in tlwh format `(top left x, top left y, width, height)`.
        multi_predict(stracks): Predicts the mean and covariance of multiple object tracks using shared Kalman filter.
        convert_coords(tlwh): Converts tlwh bounding box coordinates to xywh format.
        tlwh_to_xywh(tlwh): Convert bounding box to xywh format `(center x, center y, width, height)`.

    Usage:
        bo_track = BOTrack(tlwh, score, cls, feat)
        bo_track.predict()
        bo_track.update(new_track, frame_id)
    """

    shared_kalman = KalmanFilterXYWH()

    def __init__(self, tlwh, score, cls, feat=None, feat_history=50):
        """Initialize YOLOv8 object with temporal parameters, such as feature history, alpha and current features."""
        super().__init__(tlwh, score, cls)

        self.smooth_feat = None
        self.curr_feat = None
        if feat is not None:
            self.update_features(feat)
        self.features = deque([], maxlen=feat_history)
        self.alpha = 0.9

    def update_features(self, feat):
        """Update features vector and smooth it using exponential moving average."""
        feat /= np.linalg.norm(feat)
        self.curr_feat = feat
        if self.smooth_feat is None:
            self.smooth_feat = feat
        else:
            self.smooth_feat = self.alpha * self.smooth_feat + (1 - self.alpha) * feat
        self.features.append(feat)
        self.smooth_feat /= np.linalg.norm(self.smooth_feat)

    def predict(self):
        """Predicts the mean and covariance using Kalman filter."""
        mean_state = self.mean.copy()
        if self.state != TrackState.Tracked:
            mean_state[6] = 0
            mean_state[7] = 0

        self.mean, self.covariance = self.kalman_filter.predict(mean_state, self.covariance)

    def re_activate(self, new_track, frame_id, new_id=False):
        """Reactivates a track with updated features and optionally assigns a new ID."""
        if new_track.curr_feat is not None:
            self.update_features(new_track.curr_feat)
        super().re_activate(new_track, frame_id, new_id)

    def update(self, new_track, frame_id):
        """Update the YOLOv8 instance with new track and frame ID."""
        if new_track.curr_feat is not None:
            self.update_features(new_track.curr_feat)
        super().update(new_track, frame_id)

    @property
    def tlwh(self):
        """Get current position in bounding box format `(top left x, top left y, width, height)`."""
        if self.mean is None:
            return self._tlwh.copy()
        ret = self.mean[:4].copy()
        ret[:2] -= ret[2:] / 2
        return ret

    @staticmethod
    def multi_predict(stracks):
        """Predicts the mean and covariance of multiple object tracks using shared Kalman filter."""
        if len(stracks) <= 0:
            return
        multi_mean = np.asarray([st.mean.copy() for st in stracks])
        multi_covariance = np.asarray([st.covariance for st in stracks])
        for i, st in enumerate(stracks):
            if st.state != TrackState.Tracked:
                multi_mean[i][6] = 0
                multi_mean[i][7] = 0
        multi_mean, multi_covariance = BOTrack.shared_kalman.multi_predict(multi_mean, multi_covariance)
        for i, (mean, cov) in enumerate(zip(multi_mean, multi_covariance)):
            stracks[i].mean = mean
            stracks[i].covariance = cov

    def convert_coords(self, tlwh):
        """Converts Top-Left-Width-Height bounding box coordinates to X-Y-Width-Height format."""
        return self.tlwh_to_xywh(tlwh)

    @staticmethod
    def tlwh_to_xywh(tlwh):
        """Convert bounding box to format `(center x, center y, width, height)`."""
        ret = np.asarray(tlwh).copy()
        ret[:2] += ret[2:] / 2
        return ret

tlwh property

الحصول على الموضع الحالي بتنسيق المربع المحيط (top left x, top left y, width, height).

__init__(tlwh, score, cls, feat=None, feat_history=50)

تهيئه YOLOv8 كائن مع المعلمات الزمنية ، مثل محفوظات المعالم وألفا والميزات الحالية.

شفرة المصدر في ultralytics/trackers/bot_sort.py
def __init__(self, tlwh, score, cls, feat=None, feat_history=50):
    """Initialize YOLOv8 object with temporal parameters, such as feature history, alpha and current features."""
    super().__init__(tlwh, score, cls)

    self.smooth_feat = None
    self.curr_feat = None
    if feat is not None:
        self.update_features(feat)
    self.features = deque([], maxlen=feat_history)
    self.alpha = 0.9

convert_coords(tlwh)

يحول إحداثيات المربع المحيط بالعرض العلوي الأيسر إلى تنسيق X-Y-العرض-الارتفاع.

شفرة المصدر في ultralytics/trackers/bot_sort.py
def convert_coords(self, tlwh):
    """Converts Top-Left-Width-Height bounding box coordinates to X-Y-Width-Height format."""
    return self.tlwh_to_xywh(tlwh)

multi_predict(stracks) staticmethod

يتنبأ بالمتوسط والتباين المشترك لمسارات كائنات متعددة باستخدام مرشح كالمان المشترك.

شفرة المصدر في ultralytics/trackers/bot_sort.py
97 98  99 100 101 102 103 104 105 106  107 108 109 110111
@staticmethod
def multi_predict(stracks):
    """Predicts the mean and covariance of multiple object tracks using shared Kalman filter."""
    if len(stracks) <= 0:
        return
    multi_mean = np.asarray([st.mean.copy() for st in stracks])
    multi_covariance = np.asarray([st.covariance for st in stracks])
    for i, st in enumerate(stracks):
        if st.state != TrackState.Tracked:
            multi_mean[i][6] = 0
            multi_mean[i][7] = 0
    multi_mean, multi_covariance = BOTrack.shared_kalman.multi_predict(multi_mean, multi_covariance)
    for i, (mean, cov) in enumerate(zip(multi_mean, multi_covariance)):
        stracks[i].mean = mean
        stracks[i].covariance = cov

predict()

يتنبأ بالمتوسط والتغاير باستخدام مرشح كالمان.

شفرة المصدر في ultralytics/trackers/bot_sort.py
def predict(self):
    """Predicts the mean and covariance using Kalman filter."""
    mean_state = self.mean.copy()
    if self.state != TrackState.Tracked:
        mean_state[6] = 0
        mean_state[7] = 0

    self.mean, self.covariance = self.kalman_filter.predict(mean_state, self.covariance)

re_activate(new_track, frame_id, new_id=False)

يعيد تنشيط مسار بميزات محدثة ويعين معرفا جديدا اختياريا.

شفرة المصدر في ultralytics/trackers/bot_sort.py
def re_activate(self, new_track, frame_id, new_id=False):
    """Reactivates a track with updated features and optionally assigns a new ID."""
    if new_track.curr_feat is not None:
        self.update_features(new_track.curr_feat)
    super().re_activate(new_track, frame_id, new_id)

tlwh_to_xywh(tlwh) staticmethod

تحويل المربع المحيط إلى تنسيق (center x, center y, width, height).

شفرة المصدر في ultralytics/trackers/bot_sort.py
@staticmethod
def tlwh_to_xywh(tlwh):
    """Convert bounding box to format `(center x, center y, width, height)`."""
    ret = np.asarray(tlwh).copy()
    ret[:2] += ret[2:] / 2
    return ret

update(new_track, frame_id)

قم بتحديث YOLOv8 مثيل مع مسار جديد ومعرف الإطار.

شفرة المصدر في ultralytics/trackers/bot_sort.py
def update(self, new_track, frame_id):
    """Update the YOLOv8 instance with new track and frame ID."""
    if new_track.curr_feat is not None:
        self.update_features(new_track.curr_feat)
    super().update(new_track, frame_id)

update_features(feat)

تحديث متجه الميزات وتنعيمها باستخدام المتوسط المتحرك الأسي.

شفرة المصدر في ultralytics/trackers/bot_sort.py
def update_features(self, feat):
    """Update features vector and smooth it using exponential moving average."""
    feat /= np.linalg.norm(feat)
    self.curr_feat = feat
    if self.smooth_feat is None:
        self.smooth_feat = feat
    else:
        self.smooth_feat = self.alpha * self.smooth_feat + (1 - self.alpha) * feat
    self.features.append(feat)
    self.smooth_feat /= np.linalg.norm(self.smooth_feat)



ultralytics.trackers.bot_sort.BOTSORT

قواعد: BYTETracker

نسخة موسعة من فئة BYTETracker ل YOLOv8، مصممة لتتبع الكائنات باستخدام خوارزمية ReID وGMC.

سمات:

اسم نوع وصف
proximity_thresh float

عتبة القرب المكاني (IoU) بين المسارات والاكتشافات.

appearance_thresh float

عتبة تشابه المظهر (تضمينات ReID) بين المسارات والاكتشافات.

encoder object

كائن لمعالجة تضمينات ReID، واضبط على لا شيء إذا لم يتم تمكين ReID.

gmc GMC

مثيل لخوارزمية GMC لاقتران البيانات.

args object

وسيطات سطر الأوامر التي تم تحليلها والتي تحتوي على معلمات التعقب.

أساليب:

اسم وصف
get_kalmanfilter

إرجاع مثيل KalmanFilterXYWH لتعقب الكائن.

init_track

تهيئة المسار مع الاكتشافات والنتائج والفئات.

get_dists

احصل على مسافات بين المسارات والاكتشافات باستخدام IoU و (اختياريا) ReID.

multi_predict

توقع وتتبع كائنات متعددة باستخدام YOLOv8 نموذج.

استخدام

bot_sort = بوتسورت (args ، frame_rate) bot_sort.init_track (ديتس ، عشرات ، CLS ، IMG) bot_sort.multi_predict (المسارات)

ملاحظه

تم تصميم الفصل للعمل مع YOLOv8 نموذج الكشف عن الكائن ويدعم ReID فقط إذا تم تمكينه عبر args.

شفرة المصدر في ultralytics/trackers/bot_sort.py
125 126 127 128 129 130 131 132 133 134 135 136 137 138139 140 141 142 143 144 145 146 147 148149 150 151 152 153 154 155156157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178179 180 181 182 183 184185186187 188 189 190 191 192 193 194 195 196 197 198199200
class BOTSORT(BYTETracker):
    """
    An extended version of the BYTETracker class for YOLOv8, designed for object tracking with ReID and GMC algorithm.

    Attributes:
        proximity_thresh (float): Threshold for spatial proximity (IoU) between tracks and detections.
        appearance_thresh (float): Threshold for appearance similarity (ReID embeddings) between tracks and detections.
        encoder (object): Object to handle ReID embeddings, set to None if ReID is not enabled.
        gmc (GMC): An instance of the GMC algorithm for data association.
        args (object): Parsed command-line arguments containing tracking parameters.

    Methods:
        get_kalmanfilter(): Returns an instance of KalmanFilterXYWH for object tracking.
        init_track(dets, scores, cls, img): Initialize track with detections, scores, and classes.
        get_dists(tracks, detections): Get distances between tracks and detections using IoU and (optionally) ReID.
        multi_predict(tracks): Predict and track multiple objects with YOLOv8 model.

    Usage:
        bot_sort = BOTSORT(args, frame_rate)
        bot_sort.init_track(dets, scores, cls, img)
        bot_sort.multi_predict(tracks)

    Note:
        The class is designed to work with the YOLOv8 object detection model and supports ReID only if enabled via args.
    """

    def __init__(self, args, frame_rate=30):
        """Initialize YOLOv8 object with ReID module and GMC algorithm."""
        super().__init__(args, frame_rate)
        # ReID module
        self.proximity_thresh = args.proximity_thresh
        self.appearance_thresh = args.appearance_thresh

        if args.with_reid:
            # Haven't supported BoT-SORT(reid) yet
            self.encoder = None
        self.gmc = GMC(method=args.gmc_method)

    def get_kalmanfilter(self):
        """Returns an instance of KalmanFilterXYWH for object tracking."""
        return KalmanFilterXYWH()

    def init_track(self, dets, scores, cls, img=None):
        """Initialize track with detections, scores, and classes."""
        if len(dets) == 0:
            return []
        if self.args.with_reid and self.encoder is not None:
            features_keep = self.encoder.inference(img, dets)
            return [BOTrack(xyxy, s, c, f) for (xyxy, s, c, f) in zip(dets, scores, cls, features_keep)]  # detections
        else:
            return [BOTrack(xyxy, s, c) for (xyxy, s, c) in zip(dets, scores, cls)]  # detections

    def get_dists(self, tracks, detections):
        """Get distances between tracks and detections using IoU and (optionally) ReID embeddings."""
        dists = matching.iou_distance(tracks, detections)
        dists_mask = dists > self.proximity_thresh

        # TODO: mot20
        # if not self.args.mot20:
        dists = matching.fuse_score(dists, detections)

        if self.args.with_reid and self.encoder is not None:
            emb_dists = matching.embedding_distance(tracks, detections) / 2.0
            emb_dists[emb_dists > self.appearance_thresh] = 1.0
            emb_dists[dists_mask] = 1.0
            dists = np.minimum(dists, emb_dists)
        return dists

    def multi_predict(self, tracks):
        """Predict and track multiple objects with YOLOv8 model."""
        BOTrack.multi_predict(tracks)

    def reset(self):
        """Reset tracker."""
        super().reset()
        self.gmc.reset_params()

__init__(args, frame_rate=30)

تهيئه YOLOv8 كائن مع وحدة ReID وخوارزمية GMC.

شفرة المصدر في ultralytics/trackers/bot_sort.py
151 152 153 154 155 156 157 158159160 161
def __init__(self, args, frame_rate=30):
    """Initialize YOLOv8 object with ReID module and GMC algorithm."""
    super().__init__(args, frame_rate)
    # ReID module
    self.proximity_thresh = args.proximity_thresh
    self.appearance_thresh = args.appearance_thresh

    if args.with_reid:
        # Haven't supported BoT-SORT(reid) yet
        self.encoder = None
    self.gmc = GMC(method=args.gmc_method)

get_dists(tracks, detections)

احصل على مسافات بين المسارات والاكتشافات باستخدام IoU و (اختياريا) تضمينات ReID.

شفرة المصدر في ultralytics/trackers/bot_sort.py
177 178 179 180 181 182 183 184 185 186 187 188189 190 191
def get_dists(self, tracks, detections):
    """Get distances between tracks and detections using IoU and (optionally) ReID embeddings."""
    dists = matching.iou_distance(tracks, detections)
    dists_mask = dists > self.proximity_thresh

    # TODO: mot20
    # if not self.args.mot20:
    dists = matching.fuse_score(dists, detections)

    if self.args.with_reid and self.encoder is not None:
        emb_dists = matching.embedding_distance(tracks, detections) / 2.0
        emb_dists[emb_dists > self.appearance_thresh] = 1.0
        emb_dists[dists_mask] = 1.0
        dists = np.minimum(dists, emb_dists)
    return dists

get_kalmanfilter()

إرجاع مثيل KalmanFilterXYWH لتعقب الكائن.

شفرة المصدر في ultralytics/trackers/bot_sort.py
def get_kalmanfilter(self):
    """Returns an instance of KalmanFilterXYWH for object tracking."""
    return KalmanFilterXYWH()

init_track(dets, scores, cls, img=None)

تهيئة المسار مع الاكتشافات والنتائج والفئات.

شفرة المصدر في ultralytics/trackers/bot_sort.py
167168 169 170 171 172 173 174175
def init_track(self, dets, scores, cls, img=None):
    """Initialize track with detections, scores, and classes."""
    if len(dets) == 0:
        return []
    if self.args.with_reid and self.encoder is not None:
        features_keep = self.encoder.inference(img, dets)
        return [BOTrack(xyxy, s, c, f) for (xyxy, s, c, f) in zip(dets, scores, cls, features_keep)]  # detections
    else:
        return [BOTrack(xyxy, s, c) for (xyxy, s, c) in zip(dets, scores, cls)]  # detections

multi_predict(tracks)

توقع وتتبع كائنات متعددة باستخدام YOLOv8 نموذج.

شفرة المصدر في ultralytics/trackers/bot_sort.py
def multi_predict(self, tracks):
    """Predict and track multiple objects with YOLOv8 model."""
    BOTrack.multi_predict(tracks)

reset()

إعادة تعيين تعقب.

شفرة المصدر في ultralytics/trackers/bot_sort.py
def reset(self):
    """Reset tracker."""
    super().reset()
    self.gmc.reset_params()





تم إنشاء 2023-11-12, اخر تحديث 2023-11-25
المؤلفون: جلين جوشر (3) ، يضحك س (1)