Pourquoi les Transformers utilisent LayerNorm plutôt que BatchNorm
La normalisation n’a rien de glamour, mais elle empêche les modèles d’apprentissage profond de s’effondrer sous leur propre complexité. La différence entre BatchNorm et LayerNorm tient en un choix crucial : quelles valeurs doit-on moyenner ? Pour les Transformers, la réponse est sans ambiguïté : LayerNorm l’emporte en normalisant chaque jeton de manière indépendante, assurant une cohérence quel que soit la taille du lot ou la longueur de la séquence.
Les bases mathématiques communes à deux approches distinctes
BatchNorm et LayerNorm reposent sur la même formule centrale : elles standardisent les activations pour obtenir une moyenne nulle et une variance unitaire, puis appliquent des paramètres d’échelle et de décalage apprenables. La formule est identique : x̂ = (x − μ) / √(σ² + ε), suivie de y = γx̂ + β. Ce qui change, c’est l’axe de calcul. BatchNorm moyenne les valeurs le long de l’axe du lot, traitant chaque colonne de caractéristiques comme une unité unique. LayerNorm, en revanche, normalise chaque ligne — les caractéristiques d’un jeton unique — sans tenir compte de la taille du lot ou de la longueur de la séquence.
Pourquoi BatchNorm échoue là où LayerNorm brille
La dépendance de BatchNorm aux statistiques du lot la rend fragile dans les modèles de séquence. Avec une taille de lot de un, la variance s’effondre à zéro, rendant la normalisation indéfinie. Même avec des lots plus grands, des tailles fluctuantes ou des séquences de longueur variable perturbent ses calculs. Pire encore, BatchNorm se comporte différemment en entraînement (en utilisant des statistiques en temps réel) et en inférence (en utilisant des moyennes mobiles stockées), introduisant des incohérences. LayerNorm évite entièrement ces écueils. En normalisant par jeton, elle reste stable, qu’elle traite un seul exemple ou un millier, en entraînement comme en inférence. Cette fiabilité explique pourquoi les Transformers — avec leurs séquences de longueur variable — reposent sur LayerNorm.
L’emplacement compte : pré-norm vs post-norm
Le choix de la normalisation ne se limite pas à la couche elle-même, mais concerne aussi son positionnement dans l’architecture. Les premiers Transformers utilisaient une post-norm, appliquant la normalisation après la sous-couche, ce qui nécessitait un préchauffage minutieux du taux d’apprentissage et posait problème avec les réseaux profonds. Les conceptions modernes privilégient la pré-norm, normalisant les entrées avant la sous-couche. Cette approche crée un chemin résiduel plus propre, rendant l’entraînement plus stable et plus évolutif.
Les Transformers exigent de la cohérence, et LayerNorm la leur offre. Si BatchNorm a autrefois révolutionné les réseaux de convolution, sa nature dépendante du lot entre en conflit avec la flexibilité des Transformers. Le résultat ? Un changement discret mais essentiel — qui maintient les modèles stables, quelles que soient les données.
Source : DEV Community. Synthèse éditoriale assistée par IA — TechnoExpress.