Ehilà! Come fornitore di trasformatore, ho ricevuto molte domande su come le codifiche posizionali vengono utilizzate in un trasformatore. Quindi, ho pensato di prendere un momento per scomporlo per te in un modo facile da capire.
Prima di tutto, parliamo di cosa sia un trasformatore. Se sei nel mondo elettrico come me, un trasformatore è un dispositivo che trasferisce l'energia elettrica tra due o più circuiti attraverso l'induzione elettromagnetica. Ma nel contesto dell'apprendimento automatico, un trasformatore è un tipo di architettura di rete neurale che è davvero brava a gestire dati sequenziali, come il testo. È stato introdotto nel documento "L'attenzione è tutto ciò che hai bisogno" e da allora è diventato un punto fermo nelle attività di elaborazione del linguaggio naturale.
Ora, codifica posizionale. In un trasformatore, i dati di input sono di solito una sequenza di token, come le parole in una frase. Ma ecco il punto: l'architettura del trasformatore stesso non ha alcuna costruita - in modo da comprendere l'ordine di questi token. A differenza di altre architetture di rete neurale come reti neurali ricorrenti (RNN) che elaborano i dati in sequenza, il trasformatore elabora tutti i token in una sequenza contemporaneamente. Ecco dove arrivano le codifiche posizionali.
Le codifiche posizionali sono un modo per iniettare le informazioni sulla posizione di ciascun token nella sequenza nel modello. Vengono aggiunti agli incorporati input dei token. L'idea è di dare al modello un senso di dove si trova ogni token nella sequenza.
Un modo comune per generare codifiche posizionali è l'uso di funzioni sinusoidali e coseno. La codifica posizionale per un token in posizione (POS) nella sequenza e sulla dimensione (i) viene calcolata come segue:
Per dimensioni pari ((i = 2k)):
(Pe _ {(pos, 2k)} = \ sin \ left (\ frac {pos} {10000^{\ frac {2k} {d_ {modello}}}} \ a destra))
Per dimensioni dispari ((i = 2k + 1)):
(Pe _ {(pos, 2k+1)} = \ cos \ left (\ frac {pos} {10000^{\ frac {2k} {d_ {modello}}} \ a destra))
Qui, (d_ {modello}) è la dimensione degli incorporamenti del modello. Questo approccio presenta diversi vantaggi. Innanzitutto, consente al modello di apprendere posizioni relative tra token. Ad esempio, la differenza tra le codifiche posizionali di due token dipende solo dalle loro posizioni relative, non dalle loro posizioni assolute nella sequenza. In secondo luogo, è efficiente dal punto di vista computazionale e può gestire sequenze di lunghezza arbitraria.
Quindi, in che modo il trasformatore usa queste codifiche posizionali? Bene, dopo la generazione delle codifiche posizionali, vengono semplicemente aggiunti elementi - saggi agli incorporamenti token. Quindi, if (e_ {pos}) è la codifica posizionale per il token in posizione (pos) e (t_ {pos}) è l'incorporamento del token, l'input all'encoder del trasformatore o il livello di decodificatore per quel token è (i_ {pos} = t_ {pos}+E_ {pos}).
Una volta che l'input con le informazioni posizionali viene immessa nel trasformatore, il meccanismo di auto -attenzione può iniziare a funzionare. Il meccanismo di auto -attenzione consente al modello di valutare l'importanza di diversi token nella sequenza durante l'elaborazione di ciascun token. Con le codifiche posizionali, il modello può ora prendere in considerazione non solo il significato semantico dei token ma anche le loro posizioni nella sequenza.
Diciamo che stai lavorando a un'attività di traduzione del testo. Senza codifica posizionale, il modello potrebbe avere difficoltà a comprendere l'ordine corretto delle parole in una frase. Ad esempio, in inglese, la frase "Il cane insegue il gatto" ha un significato diverso da "The Cat insegue il cane". Le codifiche di posizione aiutano il modello a distinguere tra queste due diverse sequenze e generano traduzioni più accurate.
Nel settore dei trasformatori elettrici, ci occupiamo anche di diversi tipi di trasformatori per soddisfare varie esigenze. Ad esempio, abbiamo il167 trasformatore di pole telefoniche KVA. Questo tipo di trasformatore è progettato per essere installato su pali del telefono ed è adatto per alcune applicazioni di distribuzione a bassa tensione.
Offriamo ancheTrasformatori di distribuzione immerso a tre fasi da 20kV - trasformatori di distribuzione. Questi trasformatori sono utilizzati in sistemi di alimentazione a tre fasi e sono immersi nell'olio per un migliore isolamento e raffreddamento. E se stai cercando qualcosa con una valutazione di tensione inferiore, il nostroOlio da 10 kV - trasformatori di distribuzione immersasono un'ottima opzione. Sono ampiamente utilizzati nelle reti di distribuzione locali.
Ora, se sei sul mercato per i trasformatori, sia per la tua ricerca sull'apprendimento automatico che per la tua infrastruttura elettrica, siamo qui per aiutarti. Abbiamo una vasta gamma di trasformatori di qualità alta tra cui scegliere. Il nostro team di esperti può aiutarti a selezionare il giusto trasformatore per i tuoi requisiti specifici. Non esitare a raggiungere una consulenza e iniziamo una conversazione sulle tue esigenze. Siamo pronti a lavorare con te per trovare le migliori soluzioni.
Riferimenti:
- Vaswani, A., Shazer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, An, ... & Polosukhin, I. (2017). L'attenzione è tutto ciò di cui hai bisogno. Progressi nei sistemi di elaborazione delle informazioni neurali,