Si les modèles du type ChatGPT ou DALL-E coûtent très cher à utiliser, ils sont aussi très onéreux à mettre sur pied. Microsoft a travaillé avec OpenAI pour former ses IA et a donné quelques détails sur les coulisses de l'opération. Les modèles ont nécessité des dizaines de milliers de cartes graphiques organisées d'une manière unique, dans une infrastructure de calcul intensif tournant à plein régime.
Le défi était de taille. « Il faut non seulement disposer de la plus grande infrastructure, mais aussi être en mesure de la faire fonctionner de manière fiable pendant une longue période », explique Nidhi Chappell, cheffe de produit Microsoft pour le calcul haute performance et l'IA Azure . Son entreprise a commencé à travailler avec OpenAI en 2019, lorsque les deux boîtes ont signé un premier partenariat. Celui-ci a été reconduit, Microsoft ayant depuis investi des milliards de dollars dans la startup.
Pour entrainer le modèle, Microsoft a donc dû construire une infrastructure sans précédent comportant des milliers de cartes graphiques NVIDIA optimisées pour l'IA. Celles-ci ont été reliées entre elles par un réseau à haut débit et à faible latence basé sur l'architecture NVIDIA Quantum InfiniBand. Le matériel est toujours en évolution : Microsoft a annoncé qu'elle intégrait désormais la dernière puce spécialisée de NVIDIA (H100), qui coûte plus de 30 000 euros pièce. « Nous avons construit une architecture de système capable de fonctionner et d'être fiable à très grande échelle. C'est ce qui a permis à ChatGPT de voir le jour », ajoute Nidhi Chappell.
Des milliers de cartes graphiques ont donc été reliées les unes aux autres, dans un branchement à une échelle jamais testée auparavant. « Personne ne savait avec certitude si le matériel pouvait être poussé aussi loin sans se briser », explique le CTO du groupe. Les GPU communiquent tous ensemble lors de certaines étapes de calcul, tandis que de nouveaux ont été ajoutés au fur et à mesure que les besoins évoluaient. Microsoft dit avoir avancé en cherchant jusqu'où il pouvait pousser cette infrastructure, et Nidhi Chappell précise :
Comme ces travaux concernent des milliers de GPU, il faut s'assurer de disposer d'une infrastructure fiable, puis d'un réseau en arrière-plan pour pouvoir communiquer plus rapidement et être en mesure de travailler pendant des semaines […] Il ne s'agit pas d'acheter un tas de GPU, de les brancher ensemble et de les faire fonctionner ensemble. Il y a beaucoup d'optimisation au niveau du système pour obtenir les meilleures performances, et cela vient avec beaucoup d'expérience sur plusieurs générations.
Microsoft explique notamment disposer d'une partie logicielle offrant une utilisation plus efficace des cartes graphiques et de l'équipement réseau. Cela lui a permis de former ses modèles de manière plus économe tout en prenant moins de temps. Cette installation a tout de même coûté une fortune : « probablement plus » qu'une centaine de millions de dollars d'après le vice-président exécutif de Microsoft.
Certains paramètres ont dû être pris en compte : un tel nombre de cartes graphique demande énormément d'énergie et dégage de la chaleur. Microsoft a donc dû réfléchir à l'endroit où seraient placées les machines et où se trouveraient les alimentations électriques. Les serveurs étant dispersés à travers le monde, il a fallu trouver des techniques pour les garder à une température constante dans les climats chaud, froid ou humide des différents centres de données.
Microsoft cherche désormais à optimiser son modèle existant du mieux possible et doit faire face aux aléas divers et variés. Dernièrement, l'entreprise a par exemple manqué de chemin de câbles et a dû en fabriquer elle-même. La firme de Redmond a également réfléchi à un moyen de caler plus de serveurs dans un seul bâtiment pour ne pas avoir à attendre la fin de la construction des nouveaux. Sur le long terme, toute cette infrastructure va être mise à profit pour former d'autres modèles.
