Pourquoi les IA ont besoin d'autant de mémoire ? 🧠

Ton téléphone plante avec dix onglets ouverts, mais une IA avale des centaines de gigaoctets sans broncher. Pourquoi autant de mémoire ? Une IA comme GPT contient des centaines de milliards de paramètres — chaque paramètre est un tout petit nombre qui encode ce que le modèle a appris. C'est comme un puzzle de cent mille pièces : pour trouver où chaque pièce s'emboîte, tu dois les avoir toutes étalées devant toi en même temps. Ces nombres doivent tous tenir en mémoire vive pendant que l'IA te répond — plus les gradients, les corrections que le modèle s'applique pendant l'entraînement. Il y a aussi le mécanisme d'attention: l'IA compare chaque mot à tous les autres, et plus le texte est long, plus la mémoire explose. La quantification réduit ce poids en simplifiant les nombres, mais un modèle de 70 milliards de paramètres pèse quand même 280 gigaoctets en pleine précision. La vraie course de l'IA, c'est celle des octets, pas des neurones.