Набор данных TT100K
Tsinghua-Tencent 100K (TT100K) — это крупномасштабный набор данных для тестирования распознавания дорожных знаков, созданный на основе 100 000 панорам Tencent Street View. Этот набор данных специально разработан для обнаружения и классификации дорожных знаков в реальных условиях, предоставляя исследователям и разработчикам исчерпывающий ресурс для создания надежных систем распознавания дорожных знаков.
Набор данных содержит 100 000 изображений с более чем 30 000 примерами дорожных знаков в 221 различных категориях. Эти изображения отражают большие различия в освещенности, погодных условиях, углах обзора и расстояниях, что делает их идеальными для обучения моделей, которые должны надежно работать в различных реальных сценариях.
Этот набор данных особенно ценен для:
- Системы автономного вождения
- Усовершенствованные системы помощи водителю (ADAS)
- Приложения для мониторинга трафика
- Градостроительство и анализ дорожного движения
- Исследования в области компьютерного зрения в реальных условиях
Основные характеристики
Набор данных TT100K обладает несколькими ключевыми преимуществами:
- Масштаб: 100 000 изображений высокого разрешения (2048×2048 пикселей)
- Разнообразие: 221 категория дорожных знаков, охватывающих китайские дорожные знаки
- Реальные условия: значительные колебания погодных условий, освещенности и углов обзора
- Богатые аннотации: каждый знак включает в себя метку класса, ограничительную рамку и пиксельную маску.
- Комплексное покрытие: включает запрещающие, предупреждающие, обязательные и информационные знаки.
- Разделение на тренировочную и тестовую выборки: заранее определенные разделения для последовательной оценки
Структура набора данных
Набор данных TT100K разделен на три поднабора:
- Набор данных для обучения: основная коллекция изображений дорожных сцен, используемая для обучения моделей обнаружению и классификации различных типов дорожных знаков.
- Набор валидации: поднабор, используемый при разработке модели для контроля производительности и настройки гиперпараметров.
- Тестовый набор: отдельная коллекция изображений, используемая для оценки способности конечной модели detect classify знаки в реальных сценариях.
Набор данных TT100K включает 221 категорию дорожных знаков, сгруппированных в несколько основных групп:
Знаки ограничения скорости (днем, вечером)
- pl_: Запретительные ограничения скорости (pl5, pl10, pl20, pl30, pl40, pl50, pl60, pl70, pl80, pl100, pl120)
- pm_: Минимальные скоростные ограничения (pm5, pm10, pm20, pm30, pm40, pm50, pm55)
Запрещающие знаки (p, pn, pr_)
- p1-p28: Общие запрещающие знаки (въезд запрещен, парковка запрещена, остановка запрещена и т. д.)
- pn/pne: Знаки «Въезд запрещен» и «Парковка запрещена»
- pr: Различные знаки ограничения (pr10, pr20, pr30, pr40, pr50 и т. д.)
Предупреждающие знаки (w_)
- w1-w66: Предупреждающие знаки, обозначающие различные опасности, условия и ситуации на дороге
- Включает пешеходные переходы, крутые повороты, скользкие дороги, животных, строительные работы и т. д.
Знаки ограничения высоты/ширины (ph, pb)
- ph_: Знаки ограничения высоты (ph2, ph2.5, ph3, ph3.5, ph4, ph4.5, ph5 и т. д.)
- pb_: Знаки ограничения ширины
Информативные знаки (i, il, io, ip)
- i1-i15: Общие информационные знаки
- il_: Информация об ограничении скорости (il60, il80, il100, il110)
- io: Другие информационные знаки
- ip: Информационные таблички
YAML-файл набора данных
Для определения конфигурации набора данных используется файл YAML (Yet Another Markup Language). Он содержит информацию о путях к набору данных, классах и другую соответствующую информацию. Для набора данных TT100K файл TT100K.yaml файл включает функции автоматической загрузки и преобразования.
ultralytics.yaml
# Ultralytics 🚀 AGPL-3.0 License - https://ultralytics.com/license
# Tsinghua-Tencent 100K (TT100K) dataset https://cg.cs.tsinghua.edu.cn/traffic-sign/ by Tsinghua University
# Documentation: https://cg.cs.tsinghua.edu.cn/traffic-sign/tutorial.html
# Paper: Traffic-Sign Detection and Classification in the Wild (CVPR 2016)
# License: CC BY-NC 2.0 license for non-commercial use only
# Example usage: yolo train data=TT100K.yaml
# parent
# ├── ultralytics
# └── datasets
# └── TT100K ← downloads here (~18 GB)
# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: TT100K # dataset root dir
train: images/train # train images (relative to 'path') 6105 images
val: images/val # val images (relative to 'path') 7641 images (original 'other' split)
test: images/test # test images (relative to 'path') 3071 images
# Classes (221 traffic sign categories, 45 with sufficient training instances)
names:
0: pl5
1: pl10
2: pl15
3: pl20
4: pl25
5: pl30
6: pl40
7: pl50
8: pl60
9: pl70
10: pl80
11: pl90
12: pl100
13: pl110
14: pl120
15: pm5
16: pm10
17: pm13
18: pm15
19: pm20
20: pm25
21: pm30
22: pm35
23: pm40
24: pm46
25: pm50
26: pm55
27: pm8
28: pn
29: pne
30: ph4
31: ph4.5
32: ph5
33: ps
34: pg
35: ph1.5
36: ph2
37: ph2.1
38: ph2.2
39: ph2.4
40: ph2.5
41: ph2.8
42: ph2.9
43: ph3
44: ph3.2
45: ph3.5
46: ph3.8
47: ph4.2
48: ph4.3
49: ph4.8
50: ph5.3
51: ph5.5
52: pb
53: pr10
54: pr100
55: pr20
56: pr30
57: pr40
58: pr45
59: pr50
60: pr60
61: pr70
62: pr80
63: pr90
64: p1
65: p2
66: p3
67: p4
68: p5
69: p6
70: p7
71: p8
72: p9
73: p10
74: p11
75: p12
76: p13
77: p14
78: p15
79: p16
80: p17
81: p18
82: p19
83: p20
84: p21
85: p22
86: p23
87: p24
88: p25
89: p26
90: p27
91: p28
92: pa8
93: pa10
94: pa12
95: pa13
96: pa14
97: pb5
98: pc
99: pg
100: ph1
101: ph1.3
102: ph1.5
103: ph2
104: ph3
105: ph4
106: ph5
107: pi
108: pl0
109: pl4
110: pl5
111: pl8
112: pl10
113: pl15
114: pl20
115: pl25
116: pl30
117: pl35
118: pl40
119: pl50
120: pl60
121: pl65
122: pl70
123: pl80
124: pl90
125: pl100
126: pl110
127: pl120
128: pm2
129: pm8
130: pm10
131: pm13
132: pm15
133: pm20
134: pm25
135: pm30
136: pm35
137: pm40
138: pm46
139: pm50
140: pm55
141: pn
142: pne
143: po
144: pr10
145: pr100
146: pr20
147: pr30
148: pr40
149: pr45
150: pr50
151: pr60
152: pr70
153: pr80
154: ps
155: w1
156: w2
157: w3
158: w5
159: w8
160: w10
161: w12
162: w13
163: w16
164: w18
165: w20
166: w21
167: w22
168: w24
169: w28
170: w30
171: w31
172: w32
173: w34
174: w35
175: w37
176: w38
177: w41
178: w42
179: w43
180: w44
181: w45
182: w46
183: w47
184: w48
185: w49
186: w50
187: w51
188: w52
189: w53
190: w54
191: w55
192: w56
193: w57
194: w58
195: w59
196: w60
197: w62
198: w63
199: w66
200: i1
201: i2
202: i3
203: i4
204: i5
205: i6
206: i7
207: i8
208: i9
209: i10
210: i11
211: i12
212: i13
213: i14
214: i15
215: il60
216: il80
217: il100
218: il110
219: io
220: ip
# Download script/URL (optional) ---------------------------------------------------------------------------------------
download: |
import json
import shutil
from pathlib import Path
from PIL import Image
from ultralytics.utils import TQDM
from ultralytics.utils.downloads import download
def tt100k2yolo(dir):
"""Convert TT100K annotations to YOLO format with images/{split} and labels/{split} structure."""
data_dir = dir / "data"
anno_file = data_dir / "annotations.json"
print("Loading annotations...")
with open(anno_file, encoding="utf-8") as f:
data = json.load(f)
# Build class name to index mapping from yaml
names = yaml["names"]
class_to_idx = {v: k for k, v in names.items()}
# Create directories
for split in ["train", "val", "test"]:
(dir / "images" / split).mkdir(parents=True, exist_ok=True)
(dir / "labels" / split).mkdir(parents=True, exist_ok=True)
print("Converting annotations to YOLO format...")
skipped = 0
for img_id, img_data in TQDM(data["imgs"].items(), desc="Processing"):
img_path_str = img_data["path"]
if "train" in img_path_str:
split = "train"
elif "test" in img_path_str:
split = "test"
else:
split = "val"
# Source and destination paths
src_img = data_dir / img_path_str
if not src_img.exists():
continue
dst_img = dir / "images" / split / src_img.name
# Get image dimensions
try:
with Image.open(src_img) as img:
img_width, img_height = img.size
except Exception as e:
print(f"Error reading {src_img}: {e}")
continue
# Copy image to destination
shutil.copy2(src_img, dst_img)
# Convert annotations
label_file = dir / "labels" / split / f"{src_img.stem}.txt"
lines = []
for obj in img_data.get("objects", []):
category = obj["category"]
if category not in class_to_idx:
skipped += 1
continue
bbox = obj["bbox"]
xmin, ymin = bbox["xmin"], bbox["ymin"]
xmax, ymax = bbox["xmax"], bbox["ymax"]
# Convert to YOLO format (normalized center coordinates and dimensions)
x_center = ((xmin + xmax) / 2.0) / img_width
y_center = ((ymin + ymax) / 2.0) / img_height
width = (xmax - xmin) / img_width
height = (ymax - ymin) / img_height
# Clip to valid range
x_center = max(0, min(1, x_center))
y_center = max(0, min(1, y_center))
width = max(0, min(1, width))
height = max(0, min(1, height))
cls_idx = class_to_idx[category]
lines.append(f"{cls_idx} {x_center:.6f} {y_center:.6f} {width:.6f} {height:.6f}\n")
# Write label file
if lines:
label_file.write_text("".join(lines), encoding="utf-8")
if skipped:
print(f"Skipped {skipped} annotations with unknown categories")
print("Conversion complete!")
# Download
dir = Path(yaml["path"]) # dataset root dir
urls = ["https://cg.cs.tsinghua.edu.cn/traffic-sign/data_model_code/data.zip"]
download(urls, dir=dir, curl=True, threads=1)
# Convert
tt100k2yolo(dir)
Использование
Чтобы обучить YOLO11 на наборе данных TT100K в течение 100 эпох с размером изображения 640, можно использовать следующие фрагменты кода. Набор данных будет автоматически загружен и преобразован в YOLO при первом использовании.
Пример обучения
from ultralytics import YOLO
# Load a model
model = YOLO("yolo11n.pt") # load a pretrained model (recommended for training)
# Train the model - dataset will auto-download on first run
results = model.train(data="TT100K.yaml", epochs=100, imgsz=640)
# Start training from a pretrained *.pt model
# Dataset will auto-download and convert on first run
yolo detect train data=TT100K.yaml model=yolo11n.pt epochs=100 imgsz=640
Примеры изображений и аннотации
Вот типичные примеры из набора данных TT100K:
- Городская среда: уличные сцены с несколькими дорожными знаками на разном расстоянии
- Сцены на шоссе: дорожные знаки, включая ограничения скорости и указатели направления движения
- Сложные перекрестки: несколько знаков, расположенных в непосредственной близости друг от друга с различной ориентацией
- Сложные условия: знаки при различном освещении (день/ночь), погодных условиях (дождь/туман) и углах обзора
Набор данных включает:
- Крупные вывески: большие, хорошо заметные вывески, занимающие значительную часть изображения.
- Удаленные знаки: небольшие знаки, требующие высокой точности обнаружения
- Частично закрытые знаки: знаки, частично закрытые транспортными средствами, деревьями или другими объектами.
- Несколько знаков на одном изображении: изображения, содержащие несколько различных типов знаков
Цитирование и благодарности
Если вы используете набор данных TT100K в своих исследованиях или разработках, пожалуйста, цитируйте следующую статью:
@InProceedings{Zhu_2016_CVPR,
author = {Zhu, Zhe and Liang, Dun and Zhang, Songhai and Huang, Xiaolei and Li, Baoli and Hu, Shimin},
title = {Traffic-Sign Detection and Classification in the Wild},
booktitle = {The IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
month = {June},
year = {2016}
}
Мы хотели бы выразить признательность Университету Цинхуа и компании Tencent за создание и поддержание этого ценного ресурса для сообществ, занимающихся компьютерным зрением и автономным вождением. Для получения дополнительной информации о наборе данных TT100K посетите официальный веб-сайт набора данных.
Часто задаваемые вопросы
Для чего используется набор данных TT100K?
Набор данных Tsinghua-Tencent 100K (TT100K) специально разработан для обнаружения и классификации дорожных знаков в реальных условиях. Он в основном используется для:
- Обучение систем восприятия для автономного вождения
- Разработка усовершенствованных систем помощи водителю (ADAS)
- Исследования в области надежного обнаружения объектов в различных условиях
- Бенчмаркинг алгоритмов распознавания дорожных знаков
- Тестирование эффективности модели на небольших объектах в больших изображениях
Благодаря 100 000 разнообразных изображений улиц и 221 категории дорожных знаков, он представляет собой комплексную испытательную площадку для распознавания дорожных знаков в реальных условиях.
Сколько категорий дорожных знаков есть в TT100K?
Набор данных TT100K содержит 221 категорию дорожных знаков, в том числе:
- Ограничения скорости: pl5–pl120 (запретительные ограничения) и pm5–pm55 (минимальные скорости)
- Запрещающие знаки: 28+ типов общих запретов (p1-p28) плюс ограничения (pr*, pn, pne)
- Предупреждающие знаки: более 60 категорий предупреждений (w1-w66)
- Ограничения по высоте/ширине: серии ph и pb для физических ограничений
- Информационные знаки: i1-i15, il*, io, ip для ориентации и информации
Это исчерпывающее руководство включает в себя большинство дорожных знаков, встречающихся в дорожной сети Китая.
Как я могу обучить модель YOLO11n с использованием набора данных TT100K?
Чтобы обучить модель YOLO11n на наборе данных TT100K в течение 100 эпох с размером изображения 640, используйте приведенный ниже пример.
Пример обучения
from ultralytics import YOLO
# Load a model
model = YOLO("yolo11n.pt") # load a pretrained model (recommended for training)
# Train the model
results = model.train(data="TT100K.yaml", epochs=100, imgsz=640)
# Start training from a pretrained *.pt model
yolo detect train data=TT100K.yaml model=yolo11n.pt epochs=100 imgsz=640
Подробные сведения о конфигурациях обучения см. в документации по обучению.
Что делает TT100K сложным по сравнению с другими наборами данных?
TT100K представляет собой ряд уникальных вызовов:
- Различия в масштабе: знаки варьируются от очень маленьких (далекие дорожные знаки) до больших (близкие городские знаки).
- Реальные условия: экстремальные колебания освещенности, погодных условий и углов обзора
- Высокое разрешение: изображения с разрешением 2048×2048 пикселей требуют значительной вычислительной мощности.
- Дисбаланс классов: некоторые типы знаков встречаются гораздо чаще, чем другие.
- Плотные сцены: на одном изображении может появиться несколько знаков
- Частичная окклюзия: знаки могут быть частично заблокированы транспортными средствами, растительностью или сооружениями.
Эти проблемы делают TT100K ценным ориентиром для разработки надежных алгоритмов обнаружения.
Как обрабатывать изображения большого размера в TT100K?
Набор данных TT100K использует изображения размером 2048×2048 пикселей, что может быть ресурсоемким. Вот рекомендуемые стратегии:
Для обучения:
# Option 1: Resize to standard YOLO size
model.train(data="TT100K.yaml", imgsz=640, batch=16)
# Option 2: Use larger size for better small object detection
model.train(data="TT100K.yaml", imgsz=1280, batch=4)
# Option 3: Multi-scale training
model.train(data="TT100K.yaml", imgsz=640, scale=0.5) # trains at varying scales
Рекомендации:
- Начните с
imgsz=640для первых экспериментов - Используйте
imgsz=1280если у вас достаточно GPU (24 ГБ+) - Рассмотрите стратегии выкладки плитки для очень маленьких знаков
- Используйте накопление градиента для моделирования больших размеров партий
