La question des GPU est devenue centrale pour les géants de l'intelligence artificielle. Ce qui se ressent même jusqu'au fonctionnement quotidien d'entreprises comme OpenAI.
Le nerf de la guerre aujourd'hui dans le monde de l'intelligence artificielle, ce sont bien les GPU, qui permettent d'entraîner les modèles d'IA. C'est la raison pour laquelle on a encore entendu récemment parler d'accords exceptionnels entre OpenAI et NVIDIA d'un côté, puis toujours entre OpenAI et AMD de l'autre. Car les besoins du créateur de ChatGPT sont tout simplement insatiables !
L'allocation de GPU s'effectue à travers une hiérarchie bien cadrée
Les GPU, c'est presque un contentieux au sein d'OpenAI. Toutes les équipes souhaitent avoir le plus de puissance de calcul possible au sein de l'entreprise, ce qui fait de l'allocation des GPU un exercice de « peine et de souffrance », selon le président d'OpenAI, Gred Brockman.
« C'est tellement difficile parce que vous voyez toutes ces choses incroyables, puis quelqu'un arrive et vous présente une autre chose incroyable, et vous vous dites : oui, c'est incroyable » a-t-il ainsi décrit, selon des propos rapportés par Business Insider.
N'ayant pas de puissance de calcul pour tout le monde, il a fallu établir un schéma pour permettre la meilleure allocation possible. Sam Altman et sa directrice générale des applications, Fidji Simo, décident ainsi de la répartition globale entre les équipes de recherche et celles des applications. Au sein de l'équipe de recherche, c'est au scientifique en chef et au patron de la recherche de faire ensuite des choix sur la répartition.
OpenAI n'a jamais assez de GPU en stock
Et ça ne s'arrête pas là. Il y a aussi, en bout de projet, une petite équipe dont la tâche est d'organiser la réallocation de matériel utilisé par des équipes qui ont bientôt fini ou fini leur projet de recherche. « Vous allez le voir et vous lui dites simplement : "OK, nous avons besoin de tant de GPU supplémentaires pour ce projet qui vient d'arriver" et il vous répond "D'accord, il y a cinq projets qui sont en train de s'achever" » prend en exemple Greg Brockman.
Le dirigeant a expliqué que la question de la puissance de calcul disponible est une préoccupation au quotidien au sein de l'entreprise pour tous les collaborateurs. On n'est donc pas étonné d'apprendre qu'ils ont tendance à se jeter sur les nouveaux GPU livrés. « Chaque fois que nous recevons de nouveaux GPU, ils sont immédiatement utilisés » résume ainsi le bras droit de Sam Altman.
Source : Business Insider
