Leçon 3.1 - Self-Attention

Contenu LMS :

  • Q, K, V
  • Matrice d’attention
  • Pondération contextuelle
  • Multi-head attention

Explication technique simplifiée :

Attention = softmax(QKᵀ / √dₖ)V


Évaluation
0 0

Il n'y a aucune réaction pour le moment.

pour être le premier à laisser un commentaire.