L’incroyable supercalculateur Eos de NVIDIA pulvérise son propre record d’entraînement IA
Le système est capable de former un modèle GPT-3 de 175 milliards de paramètres en moins de quatre minutes. Pour BERT, il ne nécessite que 7,2 secondes. Quelle sera la prochaine étape en matière d'efficacité d'apprentissage des modèles ?
- NVIDIA dévoile sa nouvelle version de l’ordinateur superpuissant Eos.
- Eos peut entraîner un modèle GPT-3 de 175 milliards de paramètres en moins de quatre minutes.
- Cette performance est trois fois plus rapide que le précédent record établi par NVIDIA il y a six mois.
- L’infrastructure Eos est composée de plus de 10 000 GPU et offre 40 exaflops de puissance de traitement de l’IA.
Une avancée majeure dans le monde de l’IA
La formation des grands modèles de langage ne prendra plus des semaines, voire des mois. En effet, NVIDIA vient de dévoiler la dernière version de son superordinateur Eos qui promet une formation de modèles à une vitesse inégalée.
Un superordinateur aux performances hors-normes
Doté de plus de 10 000 GPU H100 Tensor Core, Eos est capable de former un modèle GPT-3 de 175 milliards de paramètres sur 1 milliard de tokens en moins de quatre minutes. Cette performance est trois fois plus rapide que le précédent record établi par NVIDIA il y a six mois.
Le superordinateur Eos est une véritable prouesse technologique. Il exploite 10 752 GPU connectés grâce à la technologie de mise en réseau Infiniband de NVIDIA, capable de déplacer un pétaoctet de données par seconde. Cette architecture cloud est composée de 1344 nœuds ou serveurs individuels que les entreprises peuvent louer pour environ 37 000 dollars par mois afin d’augmenter leur capacité d’IA sans avoir à développer leur propre infrastructure.
Des performances en constante évolution
En tout, NVIDIA a établi six records dans neuf tests de référence. Parmi eux, un temps de 3,9 minutes pour le GPT-3, 2,5 minutes pour former un modèle Stable Diffusion en utilisant 1 024 GPU Hopper et seulement 7,2 secondes pour former le modèle BERT-Large. « L’évolution est une chose merveilleuse », a déclaré Salvator, Directeur des produits de calcul accéléré chez NVIDIA.
Même si ces performances impressionnantes résultent de l’utilisation de 10 752 GPU H100, NVIDIA souligne qu’elle a réussi à maintenir une augmentation de performance de 2,8x tout en triplant le nombre de GPU grâce à une optimisation logicielle génèreuse.
L’avis de la rédaction
Cette avancée technologique est une véritable révolution pour le domaine de l’intelligence artificielle. Elle ouvre la voie à des applications d’IA plus rapides et plus efficaces, ce qui pourrait transformer notre façon d’interagir avec la technologie. NVIDIA continue de repousser les limites de l’IA, ce qui est très prometteur pour l’avenir.