ACTUALITÉS TECH – Si l’intérêt pour Nvidia ne se décrit qu’au superlatif, ce n’est pas le cas lorsqu’il s’agit d’AMD.
L’infrastructure MI d’AMD n’a pas été, ces derniers temps, le premier choix des hyperscalers, à mesure que l’attention s’est focalisée sur Nvidia, surtout depuis les débuts de la gamme Blackwell. Parmi les clients clés d’AMD, le nom de SoftBank revient régulièrement – et, cette fois, sa division technologique a mis au point quelque chose de particulièrement intéressant. D’après le dernier billet de blog de SoftBank, Orchestrator a été associé aux puces d’IA AMD Instinct, avec une idée simple: répartir les ressources de calcul en fonction de l’intensité des charges de travail et de la disponibilité.
« En collaboration avec AMD, SoftBank a développé une fonctionnalité Orchestrator améliorée, qui exploite les capacités de partitionnement GPU des GPU AMD Instinct, permettant à un seul GPU de fonctionner comme plusieurs appareils logiques. Cette fonctionnalité permet une allocation flexible et optimale des ressources GPU en fonction des exigences des applications d’IA, telles que la taille du modèle et la concurrence », écrit SoftBank.
SoftBank Orchestrator se concentre sur la distribution de la charge de calcul entre les GPU AMD Instinct, en isolant les charges en fonction de plusieurs instances GPU exécutées sur chaque unité Accelerator Complex Die (XCD). Il peut n’y avoir qu’une seule instance (mode SPX) ou jusqu’à huit (mode CPX), chaque configuration augmentant le niveau de granularité. Au-delà du partage XCD, Orchestrator exploite aussi la mémoire haute capacité d’AMD, en la découpant en régions HBM distinctes associées à chaque instance GPU.
Avec Orchestrator, SoftBank cherchait à obtenir un contrôle plus bas niveau des ressources de calcul, tout en garantissant une isolation matérielle stricte afin d’éviter des pics de latence imprévisibles. L’entreprise n’a pas encore publié de chiffres de performances, mais évoque une allocation optimale des ressources, plus efficace sur les charges SLM et MLM.
SoftBank prévoit également de tester ce type d’orchestrateurs avec d’autres accélérateurs d’IA; pour l’instant, l’implémentation reste limitée à AMD.
