Riferimento per ultralytics/nn/modules/transformer.py
Nota
Questo file è disponibile su https://github.com/ultralytics/ ultralytics/blob/main/ ultralytics/nn/modules/transformer .py. Se riscontri un problema, contribuisci a risolverlo inviando una Pull Request 🛠️. Grazie 🙏!
ultralytics.nn.modules.transformer.TransformerEncoderLayer
Basi: Module
Definisce un singolo strato del codificatore trasformatore.
Codice sorgente in ultralytics/nn/modules/transformer.py
__init__(c1, cm=2048, num_heads=8, dropout=0.0, act=nn.GELU(), normalize_before=False)
Inizializza il TransformerEncoderLayer con i parametri specificati.
Codice sorgente in ultralytics/nn/modules/transformer.py
forward(src, src_mask=None, src_key_padding_mask=None, pos=None)
Inoltra l'ingresso attraverso il modulo encoder.
Codice sorgente in ultralytics/nn/modules/transformer.py
forward_post(src, src_mask=None, src_key_padding_mask=None, pos=None)
Esegue un passaggio in avanti con post-normalizzazione.
Codice sorgente in ultralytics/nn/modules/transformer.py
forward_pre(src, src_mask=None, src_key_padding_mask=None, pos=None)
Esegue il passaggio in avanti con la pre-normalizzazione.
Codice sorgente in ultralytics/nn/modules/transformer.py
with_pos_embed(tensor, pos=None)
staticmethod
ultralytics.nn.modules.transformer.AIFI
Basi: TransformerEncoderLayer
Definisce il livello del trasformatore AIFI.
Codice sorgente in ultralytics/nn/modules/transformer.py
__init__(c1, cm=2048, num_heads=8, dropout=0, act=nn.GELU(), normalize_before=False)
Inizializza l'istanza AIFI con i parametri specificati.
build_2d_sincos_position_embedding(w, h, embed_dim=256, temperature=10000.0)
staticmethod
Costruisce un incorporamento di posizione sinusoidale 2D.
Codice sorgente in ultralytics/nn/modules/transformer.py
forward(x)
Passaggio in avanti per lo strato trasformatore AIFI.
Codice sorgente in ultralytics/nn/modules/transformer.py
ultralytics.nn.modules.transformer.TransformerLayer
Basi: Module
Livello del trasformatore https://arxiv.org/abs/2010.11929 (i livelli LayerNorm sono stati rimossi per migliorare le prestazioni).
Codice sorgente in ultralytics/nn/modules/transformer.py
__init__(c, num_heads)
Inizializza un meccanismo di auto-attenzione che utilizza trasformazioni lineari e attenzione multi-testa.
Codice sorgente in ultralytics/nn/modules/transformer.py
forward(x)
Applica un blocco trasformatore all'ingresso x e restituisce l'uscita.
ultralytics.nn.modules.transformer.TransformerBlock
Basi: Module
Vision Transformer https://arxiv.org/abs/2010.11929.
Codice sorgente in ultralytics/nn/modules/transformer.py
__init__(c1, c2, num_heads, num_layers)
Inizializza un modulo Transformer con l'incorporazione della posizione e il numero specificato di testine e strati.
Codice sorgente in ultralytics/nn/modules/transformer.py
forward(x)
Forward propaga l'input attraverso il modulo del collo di bottiglia.
Codice sorgente in ultralytics/nn/modules/transformer.py
ultralytics.nn.modules.transformer.MLPBlock
Basi: Module
Implementa un singolo blocco di un perceptron multistrato.
Codice sorgente in ultralytics/nn/modules/transformer.py
__init__(embedding_dim, mlp_dim, act=nn.GELU)
Inizializza il blocco MLPB con la dimensione di incorporazione, la dimensione MLP e la funzione di attivazione specificate.
Codice sorgente in ultralytics/nn/modules/transformer.py
ultralytics.nn.modules.transformer.MLP
Basi: Module
Implementa un semplice perceptron multistrato (chiamato anche FFN).
Codice sorgente in ultralytics/nn/modules/transformer.py
__init__(input_dim, hidden_dim, output_dim, num_layers)
Inizializza la MLP con le dimensioni di input, hidden, output e il numero di strati specificati.
Codice sorgente in ultralytics/nn/modules/transformer.py
ultralytics.nn.modules.transformer.LayerNorm2d
Basi: Module
Modulo di normalizzazione dei livelli 2D ispirato alle implementazioni di Detectron2 e ConvNeXt.
Le implementazioni originali in https://github.com/facebookresearch/detectron2/blob/main/detectron2/layers/batch_norm.py e https://github.com/facebookresearch/ConvNeXt/blob/main/models/convnext.py.
Codice sorgente in ultralytics/nn/modules/transformer.py
__init__(num_channels, eps=1e-06)
Inizializza LayerNorm2d con i parametri indicati.
Codice sorgente in ultralytics/nn/modules/transformer.py
forward(x)
Esegui un passaggio in avanti per la normalizzazione dei livelli 2D.
Codice sorgente in ultralytics/nn/modules/transformer.py
ultralytics.nn.modules.transformer.MSDeformAttn
Basi: Module
Modulo di attenzione deformabile multiscala basato sulle implementazioni di Deformable-DETR e PaddleDetection.
https://github.com/fundamentalvision/Deformable-DETR/blob/main/models/ops/modules/ms_deform_attn.py
Codice sorgente in ultralytics/nn/modules/transformer.py
216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 |
|
__init__(d_model=256, n_levels=4, n_heads=8, n_points=4)
Inizializza MSDeformAttn con i parametri indicati.
Codice sorgente in ultralytics/nn/modules/transformer.py
forward(query, refer_bbox, value, value_shapes, value_mask=None)
Esegui il passaggio in avanti per l'attenzione deformabile multiscala.
https://github.com/PaddlePaddle/PaddleDetection/blob/develop/ppdet/modeling/transformers/deformable_transformer.py
Parametri:
Nome | Tipo | Descrizione | Predefinito |
---|---|---|---|
query |
Tensor
|
[bs, query_length, C] |
richiesto |
refer_bbox |
Tensor
|
[bs, query_length, n_levels, 2], intervallo in [0, 1], in alto a sinistra (0,0), in basso a destra (1, 1), compresa l'area di imbottitura |
richiesto |
value |
Tensor
|
[bs, value_length, C] |
richiesto |
value_shapes |
List
|
[n_livelli, 2], [(H_0, W_0), (H_1, W_1), ..., (H_{L-1}, W_{L-1})] |
richiesto |
value_mask |
Tensor
|
[bs, value_length], Vero per gli elementi senza padding, Falso per gli elementi padding |
None
|
Restituzione:
Nome | Tipo | Descrizione |
---|---|---|
output |
Tensor
|
[bs, Lunghezza_{query}, C] |
Codice sorgente in ultralytics/nn/modules/transformer.py
ultralytics.nn.modules.transformer.DeformableTransformerDecoderLayer
Basi: Module
Deformable Transformer Decoder Layer ispirato alle implementazioni di PaddleDetection e Deformable-DETR.
https://github.com/PaddlePaddle/PaddleDetection/blob/develop/ppdet/modeling/transformers/deformable_transformer.py https://github.com/fundamentalvision/Deformable-DETR/blob/main/models/deformable_transformer.py
Codice sorgente in ultralytics/nn/modules/transformer.py
__init__(d_model=256, n_heads=8, d_ffn=1024, dropout=0.0, act=nn.ReLU(), n_levels=4, n_points=4)
Inizializza il DeformableTransformerDecoderLayer con i parametri indicati.
Codice sorgente in ultralytics/nn/modules/transformer.py
forward(embed, refer_bbox, feats, shapes, padding_mask=None, attn_mask=None, query_pos=None)
Esegui il passaggio in avanti attraverso l'intero livello di decodifica.
Codice sorgente in ultralytics/nn/modules/transformer.py
forward_ffn(tgt)
Esegui un passaggio in avanti attraverso la parte della rete feedforward del livello.
Codice sorgente in ultralytics/nn/modules/transformer.py
with_pos_embed(tensor, pos)
staticmethod
Aggiunge le incorporazioni posizionali all'input tensor, se fornito.
ultralytics.nn.modules.transformer.DeformableTransformerDecoder
Basi: Module
Implementazione del decodificatore di trasformatori deformabili basato su PaddleDetection.
https://github.com/PaddlePaddle/PaddleDetection/blob/develop/ppdet/modeling/transformers/deformable_transformer.py
Codice sorgente in ultralytics/nn/modules/transformer.py
__init__(hidden_dim, decoder_layer, num_layers, eval_idx=-1)
Inizializza il DeformableTransformerDecoder con i parametri indicati.
Codice sorgente in ultralytics/nn/modules/transformer.py
forward(embed, refer_bbox, feats, shapes, bbox_head, score_head, pos_mlp, attn_mask=None, padding_mask=None)
Esegui il passaggio in avanti attraverso l'intero decoder.