Bắt đầu

Thông tin chuyên sâu về đánh giá và tinh chỉnh model

Sau khi training một model YOLO, bước tiếp theo là đo lường hiệu suất và tinh chỉnh model để khắc phục những điểm còn thiếu. Việc đánh giá sử dụng các metric như mAP và IoU để định lượng độ chính xác, trong khi tinh chỉnh sẽ điều chỉnh các tham số training để cải thiện điểm yếu, giúp model đáp ứng mục tiêu dự án của bạn. Hướng dẫn này giải thích các metric đánh giá chính, cách đọc và cách áp dụng những thông tin mà các metric thể hiện.



Xem: Thông tin chuyên sâu về đánh giá và fine-tune model | Mẹo cải thiện mean average precision

Đánh giá và tinh chỉnh thường diễn ra vào giai đoạn cuối của quy trình dự án thị giác máy tính, khi quá trình training đã bắt đầu và bạn cần xác minh model có độ chính xác, hiệu quả và sẵn sàng triển khai hay không.

Các metric đánh giá chính#

Nhiều metric được dùng để đo lường hiệu quả hoạt động của model. Những metric hiệu suất này cung cấp thông tin định lượng rõ ràng, giúp định hướng cải tiến để đảm bảo model đạt được mục tiêu đề ra.

Điểm confidence#

Điểm confidence thể hiện mức độ chắc chắn của model rằng đối tượng được phát hiện thuộc về một class cụ thể. Điểm này nằm trong khoảng từ 0 đến 1; điểm càng cao thì độ tin cậy càng lớn. Điểm confidence giúp lọc các dự đoán; chỉ những phát hiện có điểm confidence cao hơn ngưỡng đã chỉ định mới được xem là hợp lệ.

Không thấy dự đoán nào?

Khi chạy suy luận, nếu bạn không thấy dự đoán nào dù đã kiểm tra mọi thứ khác, hãy thử giảm ngưỡng confidence. Đôi khi ngưỡng quá cao khiến model bỏ qua các dự đoán hợp lệ. Giảm ngưỡng cho phép model xem xét nhiều khả năng hơn. Cách này có thể chưa đáp ứng mục tiêu cuối cùng của dự án, nhưng sẽ giúp bạn thấy model có thể làm gì và quyết định cách tinh chỉnh model.

Intersection over Union#

Giao nhau trên hợp (IoU) là một chỉ số trong phát hiện đối tượng, đo lường mức độ chồng lấp giữa bounding box dự đoán và bounding box ground truth. Giá trị IoU nằm trong khoảng từ 0 đến 1, trong đó 1 biểu thị mức khớp hoàn hảo. IoU rất quan trọng vì đo lường mức độ khớp giữa ranh giới dự đoán và ranh giới thực tế của đối tượng.

Intersection over Union Overview

Mean Average Precision#

Độ chính xác trung bình (mAP) đo lường hiệu suất tổng thể của một model phát hiện đối tượng. Chỉ số này xem xét precision khi phát hiện từng class đối tượng, tính trung bình các điểm số đó và đưa ra một con số duy nhất thể hiện mức độ chính xác của model khi xác định và phân loại đối tượng.

Hai metric mAP thường được báo cáo nhất là:

  • mAP50: Đo độ chính xác trung bình tại một ngưỡng IoU duy nhất là 0.5. Metric này kiểm tra xem model có thể tìm đúng đối tượng với yêu cầu accuracy ít nghiêm ngặt hơn hay không. Metric tập trung vào việc đối tượng có nằm gần đúng vị trí hay không, không yêu cầu định vị hoàn hảo, đồng thời giúp đánh giá khả năng phát hiện đối tượng nói chung của model.
  • mAP50-95: Tính trung bình các giá trị mAP được tính tại nhiều ngưỡng IoU, từ 0.5 đến 0.95 với bước tăng 0.05. Metric này chi tiết và nghiêm ngặt hơn. Metric cung cấp cái nhìn đầy đủ hơn về độ chính xác khi model tìm đối tượng ở các mức độ nghiêm ngặt khác nhau, đặc biệt hữu ích cho các ứng dụng cần phát hiện đối tượng chính xác.

Các metric mAP khác bao gồm mAP75, sử dụng ngưỡng IoU nghiêm ngặt hơn là 0.75, và APS, APM cùng APL, dùng để đánh giá precision trên các đối tượng nhỏ, trung bình và lớn.

Three ways to improve mAP: data quality, model optimization, and annotation process

Đánh giá model YOLO26#

Bạn có thể đánh giá model YOLO26 đã training bằng chế độ validation. Để tìm hiểu sâu hơn cách tính và diễn giải từng metric, hãy xem hướng dẫn metric hiệu suất YOLO26.

Xử lý kích thước ảnh thay đổi#

Đánh giá model trên ảnh có kích thước khác nhau giúp bạn hiểu hiệu năng của model trên các dataset đa dạng. Theo mặc định, validation sử dụng batching hình chữ nhật (rect=True trong model.val()): ảnh được nhóm theo tỷ lệ khung hình và mỗi batch được padding thành hình chữ nhật, nhờ đó ảnh hình chữ nhật được đánh giá mà không bị ép thành hình vuông.

Tham số imgsz đặt kích thước ảnh được sử dụng trong validation. Nếu không đặt tường minh, YOLO26 sẽ dùng lại giá trị được lưu trong cài đặt của model (640 đối với model pretrained chính thức hoặc kích thước mà checkpoint tùy chỉnh đã được huấn luyện). Với rect=True, kích thước đầu vào khi validation có thể khác predict (xem rect). Điều chỉnh imgsz dựa trên kích thước dataset và dung lượng bộ nhớ GPU hiện có.

Truy cập metric YOLO26#

Để hiểu chi tiết hiệu suất của model, bạn có thể truy cập các metric đánh giá cụ thể bằng một vài dòng Python. Đoạn mã dưới đây tải model, chạy validation và in ra các metric hữu ích nhất.

Cách sử dụng
from ultralytics import YOLO

# Tải model
model = YOLO("yolo26n.pt")

# Chạy xác thực trên dataset của bạn
results = model.val(data="coco8.yaml")

# Metric tổng thể
print("mAP50-95:", results.box.map)  # mAP tại IoU 0.50:0.95
print("mAP50:", results.box.map50)  # mAP tại IoU 0.50
print("mAP75:", results.box.map75)  # mAP tại IoU 0.75
print("Mean precision:", results.box.mp)
print("Mean recall:", results.box.mr)
print("Fitness:", results.box.fitness())  # điểm số có trọng số dùng để lựa chọn model

# Các chỉ số theo từng lớp
print("Class indices evaluated:", results.box.ap_class_index)
print("Per-class mAP50-95:", results.box.maps)  # các lớp không có trong tập val nhận giá trị mAP tổng thể

# Precision, recall, F1, TP, FP và FN theo từng ảnh
print("Per-image metrics:", results.box.image_metrics)

# Thời gian theo từng giai đoạn, tính bằng mili giây trên mỗi ảnh
print("Timing breakdown (ms/image):", results.speed)

Lưu ý rằng fitness() là một phương thức và phải được gọi bằng dấu ngoặc đơn, trong khi các chỉ số như map, map50 và mp là các thuộc tính được truy cập trực tiếp.

Thuộc tính results.box.image_metrics là một dictionary theo từng ảnh, được khóa bằng đường dẫn ảnh tương đối so với thư mục ảnh chung, chứa precision, recall, f1, tp, fp và fn tại IoU 0.5 cho từng ảnh. Thời gian tiền xử lý, suy luận, tính loss và hậu xử lý được báo cáo riêng trong dictionary results.speed. Các thông tin này giúp bạn xác định chính xác những ảnh mà model gặp khó khăn và tinh chỉnh cho phù hợp.

Tinh chỉnh model của bạn#

Fine-tuning sử dụng một model đã được huấn luyện trước rồi điều chỉnh các tham số để cải thiện hiệu suất trên một tác vụ hoặc tập dữ liệu cụ thể. Còn được gọi là huấn luyện lại model, quy trình này giúp model hiểu rõ hơn và dự đoán kết quả tốt hơn đối với dữ liệu mà model sẽ gặp trong ứng dụng thực tế. Dựa trên kết quả đánh giá, bạn huấn luyện lại model bằng dữ liệu của mình và điều chỉnh các đối số huấn luyện được đề cập trong hướng dẫn fine-tuning.

Chia ảnh thành ô để xử lý vật thể nhỏ#

Chia ảnh thành các ô có thể cải thiện độ chính xác phát hiện các đối tượng nhỏ. Bằng cách chia ảnh lớn thành các phân đoạn nhỏ hơn, chẳng hạn như tách ảnh 1280x1280 thành nhiều phân đoạn 640x640, bạn giữ nguyên độ phân giải gốc và giúp model học từ các phần ảnh có độ phân giải cao. Sử dụng tile=True để chia ảnh độ phân giải cao theo ô trong quá trình huấn luyện, xác thực và dự đoán. Khi huấn luyện, chú thích được cắt theo từng ô; trong khi xác thực và dự đoán, kết quả từ các ô được hợp nhất thành kết quả trên toàn ảnh.

Kết luận#

Đánh giá và fine-tuning là những bước biến một model đã huấn luyện thành một model đáng tin cậy, sẵn sàng triển khai: các chỉ số như mAP và IoU cho thấy điểm yếu, còn những thay đổi tham số có mục tiêu sẽ khắc phục các điểm yếu đó. Bắt đầu với chế độ validation để đánh giá model, sau đó huấn luyện lại bằng các tham số trong hướng dẫn fine-tuning và tiếp tục lặp lại quy trình với các tham số, kỹ thuật và tập dữ liệu mới. Nếu có câu hỏi trong quá trình thực hiện, hãy hỏi cộng đồng trên repository GitHub của Ultralytics hoặc máy chủ Discord của Ultralytics.

Câu hỏi thường gặp#

  • Để đánh giá hiệu năng model YOLO26, các metric quan trọng bao gồm Confidence Score, Intersection over Union (IoU) và Mean Average Precision (mAP). Confidence Score đo mức độ chắc chắn của model đối với từng lớp đối tượng được phát hiện. IoU đánh giá mức độ chồng lấp giữa BBox dự đoán và ground truth. Mean Average Precision (mAP) tổng hợp điểm precision trên các lớp; mAP50 và mAP50-95 là hai loại phổ biến ứng với các ngưỡng IoU khác nhau. Tìm hiểu thêm về các metric này trong hướng dẫn metric hiệu năng YOLO26.

  • Fine-tune model YOLO26 pretrained bao gồm việc điều chỉnh tham số để cải thiện hiệu suất trên một tác vụ hoặc bộ dữ liệu cụ thể. Bắt đầu bằng cách đánh giá model với các metric, sau đó huấn luyện lại từ pretrained weight trên bộ dữ liệu của bạn. Trong quá trình đánh giá, các tham số như rect=True giúp xử lý hiệu quả các kích thước ảnh khác nhau.

  • Để xử lý kích thước ảnh thay đổi trong quá trình đánh giá, hãy dùng validation hình chữ nhật (rect=True, mặc định cho model.val()), phương pháp này nhóm ảnh theo tỷ lệ khung hình và thêm padding cho từng batch thay vì ép mọi ảnh thành hình vuông. Tham số imgsz đặt kích thước ảnh dùng cho validation; nếu không ghi đè, YOLO26 sẽ dùng lại giá trị đã lưu trong model (640 đối với các model pretrained chính thức). Điều chỉnh imgsz cho phù hợp với tập dữ liệu và dung lượng bộ nhớ GPU của bạn. Để biết thêm chi tiết, hãy xem mục về xử lý kích thước ảnh thay đổi.

  • Cải thiện mean average precision (mAP) cho model YOLO26 gồm một số bước:

    1. Tinh chỉnh hyperparameter: Thử nghiệm với các learning rate, batch size và phép tăng cường ảnh khác nhau.
    2. Tăng cường dữ liệu: Dùng các kỹ thuật như Mosaic và MixUp để tạo ra các mẫu huấn luyện đa dạng.
    3. Chia ảnh thành ô: Chia ảnh lớn thành các ô nhỏ hơn để cải thiện độ chính xác phát hiện vật thể nhỏ.

    Xem hướng dẫn fine-tuning để biết các tham số huấn luyện liên quan đến bước 1 và 2; bước 3 được trình bày trong mục chia ảnh thành ô.

  • Bạn có thể truy cập các chỉ số đánh giá model YOLO26 bằng Python sau khi chạy validation:

    Cách sử dụng
    from ultralytics import YOLO
    
    # Tải model
    model = YOLO("yolo26n.pt")
    
    # Chạy validation
    results = model.val(data="coco8.yaml")
    
    # Truy cập các chỉ số chính
    print("Mean average precision at IoU=0.50:", results.box.map50)
    print("Mean average precision at IoU=0.50:0.95:", results.box.map)
    print("Mean recall:", results.box.mr)
    print("Class indices evaluated:", results.box.ap_class_index)

    Phân tích các chỉ số này giúp bạn fine-tune và tối ưu model YOLO26. Để tìm hiểu sâu hơn, hãy xem hướng dẫn về các chỉ số hiệu suất YOLO.

Bình luận2

Đặt câu hỏi, chia sẻ kết quả hoặc giúp đỡ người khác.

  1. ILIAHHne63GitHub

    Hello, I'm using YoLOv10, how can I load the pretrained backbone, but leave the head unpretrained?

    1. Glenn JocherUltralytics

      @ILIAHHne63 to load a pretrained backbone while leaving the head unpretrained in YOLOv10, you can initialize the model with the pretrained weights and then manually reset the head layers. This allows you to retain the pretrained features of the backbone while training the head from scratch. For detailed steps, refer to the model fine-tuning section in our documentation. If you encounter any issues, ensure you're using the latest version of the package.