High Performance Computing vs. Cloud Computing. HPC en nuage

La définition du calcul de haute performance (HPC)

Le calcul de haute performance (HPC) est la pratique qui consiste à consolider des grappes de matériel extrêmement puissant afin d’effectuer une variété de calculs à forte demande qui dépassent les capacités d’un ordinateur ordinaire.

Un superordinateur est l’un des exemples les plus élémentaires de matériel de calcul à haute performance, capable d’effectuer environ des quadrillions d’opérations en une seconde (un ordinateur de bureau moyen peut effectuer plusieurs milliards de calculs dans le même laps de temps).

Un superordinateur se compose de nombreux nœuds de calcul travaillant simultanément (calcul parallèle), créant ainsi ce que l’on appelle un cluster HPC.

Comment fonctionne le calcul de haute performance

Le calcul intensif en tant que méthode est à l’origine de nombreuses innovations et technologies depuis un certain temps déjà. Les systèmes HPC fonctionnent pour l’amélioration du monde entier, y compris les progrès industriels, sociétaux et scientifiques. De nombreux secteurs, tels que les soins de santé, le pétrole et le gaz, la pharmacologie, la météorologie, l’armée, la défense et l’industrie aérospatiale, dépendent souvent de l’utilisation de quantités massives de données et de calculs incroyablement complexes, y compris l’intelligence artificielle, l’imagerie 3D, l’internet des objets et bien plus encore.

Une solution HPC classique utilise une logique assez complexe, car de nombreux éléments doivent fonctionner simultanément. Ces éléments sont réunis dans un cluster et connectés à un stockage de données pour enregistrer les résultats des calculs.

Un équilibre délicat est nécessaire pour que l’ensemble du système fonctionne, y compris le stockage des données. Il est capable d’alimenter les éléments informatiques en données existantes et de recevoir les résultats des calculs dans leur intégralité. La même logique s’applique au réseau du système. Si un seul élément ne peut pas suivre, le système entier ne peut pas fonctionner à plein régime. Le calcul intensif peut offrir de nombreux avantages aux entreprises modernes, mais sa mise en place demande beaucoup d’efforts.

Principaux cas d’utilisation du calcul haute performance

Le calcul haute performance est devenu relativement courant dans la plupart des secteurs d’activité, et de nombreuses entreprises du classement Fortune 1000 ont eu recours à cette stratégie à plusieurs reprises. Vous trouverez ci-dessous quelques-uns des exemples les plus marquants de cas d’utilisation du calcul intensif :

• Analyse spatiale et prédiction de l’emplacement des ressources en gaz ou en pétrole.
• Analyse des interactions médicamenteuses, séquençage de l’ADN et analyse des protéines.
• Simulations complexes dans le domaine de l’industrie aérospatiale (flux d’air pour différents éléments d’avion).
• Les analyses de données clients pour une expérience client et des recommandations de produits meilleures et plus personnalisées.
• Modélisation financière, analyses de risques complexes, détection des fraudes et autres opérations fintech.
• Rendu d’effets spéciaux pour le cinéma, transcodage de fichiers médias, création d’animations, etc.

Cloud Computing dans le contexte du HPC

En raison de la nécessité d’un matériel coûteux pour créer ne serait-ce qu’un seul cluster HPC, la plupart des systèmes HPC ont été des entreprises extrêmement coûteuses pendant un certain temps et sont toujours inaccessibles à la plupart des entreprises sous cette forme. Heureusement, il existe une alternative à ce type d’investissement : le HPC en nuage.

La définition de l’informatique dématérialisée

L’informatique en nuage, le calcul intensif dans le nuage ou le calcul intensif en tant que service, est plusieurs fois plus abordable que son équivalent traditionnel tout en offrant une évolutivité et une vitesse plus faciles à mettre en œuvre pour les utilisateurs à plus petite échelle. Un système de cloud computing normal comprend à la fois l’infrastructure et les clusters HPC à offrir aux clients potentiels, combinés à de multiples capacités similaires – qu’il s’agisse d’expertise HPC, d’éléments de l’écosystème, etc.

Pourquoi le calcul de haute performance passe-t-il à l’informatique en nuage ?

Trois arguments principaux expliquent l’essor soudain de l’informatique en nuage dans le domaine du calcul intensif : la disponibilité, la demande, l’efficacité et le RDMA.

La disponibilité fait référence au fait que les services HPC basés sur le cloud sont devenus pratiquement courants récemment, avec des services de stockage en cloud public et privé offrant des capacités HPC dans une certaine mesure. La disponibilité et le prix d’une telle offre (qui est bien inférieur au coût d’un investissement dans un cluster HPC personnel) ont incité de nombreuses entreprises à se tourner vers l’informatique en nuage comme alternative au HPC.

La demande est un autre facteur crucial de cette poussée de popularité. Les entreprises du monde entier sont de plus en plus dépendantes des informations et des opérations que seul le HPC peut offrir – détection des fraudes, évaluations complexes, analyse des risques, et bien d’autres. Non seulement le calcul intensif peut résoudre certains problèmes peu courants (comme le séquençage de l’ADN), mais il accélère également certains processus de résolution de problèmes existants (comme la détection des fraudes). La possibilité de bénéficier de ce type d’avantages sans avoir recours à des investissements massifs dans l’infrastructure et le matériel est ce qui attire tant l’attention sur ce sujet.

RDMA La mise en réseau (accès direct à la mémoire à distance) est la capacité de plusieurs ordinateurs à partager des données les uns avec les autres sans affecter les processus de chacun ni même passer par la couche du système d’exploitation en premier lieu. Cette technologie est l’une des nombreuses avancées qui ont rendu le calcul intensif beaucoup plus efficace que les méthodes traditionnelles, avec un débit accru et une latence réduite pour l’échange de données. Les instances RDMA à haute performance telles que l’architecture d’interface virtuelle et Infiniband sont plus ou moins à l’origine de l’informatique en nuage telle que nous la connaissons aujourd’hui.

Informatique haute performance et informatique en nuage

Les informations ci-dessus nous permettent de conclure que l’informatique à haute performance est une stratégie extrêmement coûteuse qui est pratiquement nécessaire à de nombreuses entreprises modernes pour fonctionner et rester compétitives. L’informatique en nuage (cloud computing) transforme le concept de calcul de haute performance en quelque chose de beaucoup plus facile à gérer et de moins coûteux, mais elle comporte aussi sa propre part de défis à relever.
Parallèlement, les infrastructures HPC traditionnelles ont elles aussi leur part de problèmes :

• Un investissement initial extrêmement important dans le matériel et l’infrastructure de soutien de ce matériel.
• Un processus continu de paiement des coûts d’exploitation du matériel.
• La nécessité de mettre régulièrement à niveau le matériel existant afin d’améliorer les performances et de rester compétitif.
• Des difficultés potentielles en matière d’évolutivité en raison de la nécessité d’acheter tout le matériel vous-même.

Comme pour l’informatique en nuage, les avantages et les inconvénients spécifiques du calcul de haute performance basé sur l’informatique en nuage seront examinés ci-dessous.

Avantages et problèmes de l’informatique en nuage pour le calcul de haute performance

Les avantages du calcul de haute performance en nuage sont relativement évidents :

• Des opérations de sauvegarde et de récupération plus faciles, car la plupart des systèmes HPC fonctionnent avec des masses de données extrêmement importantes. Gérer des systèmes de sauvegarde pour eux sur site peut être extrêmement coûteux en raison de la quantité de données que le HPC traite et produit régulièrement.
• La simple capacité d’effectuer des tâches très complexes et chronophages telles que la détection des fraudes et le calcul des risques sans qu’il soit nécessaire de procéder à des investissements initiaux massifs dans l’infrastructure.
• La capacité des services en nuage à évoluer dans les deux sens pour disposer d’une puissance de calcul juste suffisante pour des tâches spécifiques, réduisant ainsi les coûts totaux de la solution au bout du compte.

Quant aux problèmes potentiels que les utilisateurs peuvent rencontrer avec cette technologie, ils sont illustrés par plusieurs exemples :

• L’informatique en nuage est généralement considérée comme moins chère qu’une infrastructure HPC complète sur site, mais le coût de ces deux solutions varie en fonction de la période. Un service d’informatique en nuage peut même être plus cher qu’une installation HPC traditionnelle à long terme, simplement parce que la maintenance de votre propre matériel est généralement moins coûteuse que le paiement d’un service HPC complet dans le nuage.
• Les données basées sur le nuage, telles que les résultats de calculs, deviennent de plus en plus difficiles à transférer au fur et à mesure qu’elles augmentent en taille. Ce problème dépend en grande partie de la modernité de l’architecture réseau de la solution en nuage. Mais il y a aussi des limites à la rapidité avec laquelle une entreprise peut obtenir ses données à partir du stockage en nuage par rapport au stockage HPC sur site.
• La protection des solutions d’informatique en nuage est extrêmement difficile dans le contexte des systèmes de sécurité modernes en raison de leur nature déconnectée. La mise en place d’un système de sécurité pour un service HPC dans le nuage peut nécessiter beaucoup de temps et de politiques à configurer et à réviser régulièrement pour garantir la sécurité des données.

Hybride HPC

Le cloud computing dans son ensemble n’est pas unanimement meilleur que l’approche HPC traditionnelle, et il existe de multiples avantages en faveur de ces deux options séparément. Heureusement, il est également possible d’utiliser les deux simultanément – et c’est une situation relativement courante.

Les utilisateurs de HPC hybride s’appuient sur leur propre matériel pour certaines parties des calculs, tandis que le reste est effectué à l’aide de l’informatique en nuage. Cependant, il faut bien réfléchir aux opérations qui peuvent être déléguées à l’informatique en nuage pour s’assurer qu’il n’y a pas de baisse de performance pour l’ensemble de l’entreprise.

L’avenir de l’informatique de haute performance

D’une certaine manière, l’informatique en nuage peut déjà être considérée comme l’avenir du calcul de haute performance. Il s’agit de la capacité à effectuer des calculs extrêmement complexes sans devoir investir beaucoup de ressources dans une infrastructure matérielle sur site. En même temps, l’informatique en nuage a ses propres problèmes et un certain nombre d’entreprises continuent à utiliser le HPC sur site pour des raisons qui leur sont propres.

Il est également possible d’utiliser les deux en même temps, afin de bénéficier des avantages des deux mondes. Cependant, les solutions HPC sont notoirement difficiles à mettre en place, et l’utilisation de méthodes sur site et dans le nuage ne peut qu’augmenter le nombre de problèmes potentiels.

Le calcul haute performance en tant que méthodologie est là pour rester, avec de plus en plus d’industries qui s’appuient sur lui pour une variété de tâches. Le choix entre les systèmes HPC sur site, en nuage et hybrides dépend principalement des besoins et des tâches spécifiques d’une entreprise, et il est trompeur de dire qu’une forme de HPC est absolument meilleure que les autres. Chaque organisation a des besoins, des budgets et des objectifs qui lui sont propres, et doit donc résoudre ses besoins en HPC à sa manière. Cependant, le fait qu’il existe des choix – avec plus de possibilités d’accès au HPC que jamais auparavant – est de bon augure pour l’industrie du HPC et les avantages qu’elle peut nous apporter.

La sauvegarde et la récupération sont importantes dans le domaine du calcul intensif, notamment en raison de la criticité des données produites par le calcul intensif et de leur valeur. Il s’agit clairement de données qui ne peuvent être perdues, compromises ou corrompues. En même temps, les ensembles de données produites par le calcul intensif sont généralement d’une taille colossale, de sorte que la réalisation de copies efficaces de ces données – et de leurs applications – n’est pas triviale. Les budgets doivent être respectés, la sécurité doit être mise en place et, en raison du volume de données impliqué, la durabilité devient également une question essentielle.

Bacula est un spécialiste de la résolution de ces problèmes HPC spécifiques et la NASA, les laboratoires de recherche nationaux américains, les gouvernements occidentaux et certaines des plus grandes institutions financières du monde lui font confiance. Il est capable de traiter des milliards de fichiers dans un environnement HPC, d’assurer un débit énorme vers les composants et technologies de stockage HPC, d’offrir des niveaux de sécurité particulièrement élevés et, surtout, d’être beaucoup plus durable que ses homologues grâce à son architecture logicielle spécifique et à ses outils HPC. Contactez Bacula maintenant pour plus d’informations.