Comment construire un supercalculateur: 9 étapes (avec photos)

Avez-vous besoin d`une machine pouvant livrer des centaines de milliards de calculs de points flottants par seconde? Ou avez-vous besoin d`une histoire de bar à propos de la façon dont le supercalculateur de votre sous-sol a renversé un disjoncteur? Construire votre propre cluster de calcul haute performance, un.k.une. supercalculateur, est un défi de geek expert avec un week-end de temps libre et de l`argent pour brûler peut s`attaquer. Techniquement, un supercalculateur moderne et multi-processeur est un réseau d`ordinateurs travaillant ensemble en parallèle pour résoudre un problème. Cet article décrit brièvement chaque étape du processus, en se concentrant sur le matériel et les logiciels.

Pas

1. Déterminez d`abord les composants matériels et les ressources nécessaires. Vous aurez besoin d`un nœud de tête, au moins une douzaine de nœuds de calcul identiques, d`un commutateur Ethernet, d`une unité de distribution d`énergie et d`un rack. Déterminer la demande électrique, le refroidissement et l`espace requis. Décidez également sur quelle adresse IP souhaitée pour vos réseaux privés, sur quoi nommer les nœuds, quels packages de logiciels que vous souhaitez installer et sur quelle technologie vous souhaitez fournir les capacités de calcul parallèle (plus à ce sujet ultérieurement).

Bien que le matériel soit coûteux, tous les logiciels répertoriés dans ce mode de fonctionnement sont gratuits et la plupart sont open source.
Si vous souhaitez voir à quelle vitesse votre supercalculateur serait théoriquement, utilisez cet outil: http: // hpl-calculatrice.Sourceforge.rapporter/

Image intitulée Construire un supercalculateur Étape 2

2. Construire les nœuds de calcul. Vous devrez assembler les nœuds de calcul ou acquérir des serveurs de pré-construction.

Choisissez un châssis de serveur d`ordinateur qui optimise l`espace, le refroidissement et l`efficacité énergétique.

Ou alors Vous pouvez utiliser une douzaine de serveurs ou des serveurs obsolètes, dont l`ensemble l`emportera sur la somme de leurs pièces et vous économisera un morceau d`argent considérable. Tous les processeurs, les adaptateurs réseau et les cartes mères doivent être identiques pour l`ensemble du système de jouer ensemble. Bien sûr, n`oubliez pas la RAM et le stockage pour chaque nœud et au moins un lecteur optique pour le nœud de tête.

Image intitulée Construire un supercalculateur Étape 3

3. Installez les serveurs dans le rack. Commencez par le bas, le rack n`est donc pas lourd. Vous aurez besoin d`un ami pour vous aider avec cela - les serveurs denses peuvent être très lourds et les guider dans les rails qui les détiennent dans le rack est difficile.

Image intitulée Construire un supercalculateur Étape 4

4. Installez le commutateur Ethernet au-dessus du châssis du serveur. Prenez ce moment pour configurer l`interrupteur: Autoriser les tailles de châssis Jumbo de 9 000 octets, définissez l`adresse IP à l`adresse statique que vous avez décidée à l`étape 1 et désactivez les protocoles de routage inutiles tels que SMTP Snooping.

Image intitulée Construire un supercalculateur Étape 5

5. Installer le PDU (unité de distribution d`alimentation). En fonction de la quantité de courant que vos nœuds peuvent avoir besoin à la charge maximale, vous aurez peut-être besoin de 220 volts pour l`informatique haute performance.

Image intitulée Construire un supercalculateur Étape 6

6. Avec tout ce qui est installé, vous pouvez commencer le processus de configuration. Linux est le système d`exploitation de facto pour les clusters HPC - non seulement est-ce l`environnement idéal pour l`informatique scientifique, mais cela ne coûte rien à l`installer sur des centaines ou même des milliers de nœuds. Imaginez combien cela coûterait d`installer Windows sur tous ces nœuds!

Commencez par l`installation de la dernière version du BIOS de la carte mère et du firmware, qui devrait être la même sur tous les nœuds.

Installez votre distribution Linux préférée sur chaque nœud, avec une interface utilisateur graphique pour le nœud de tête. Les choix populaires incluent Centos, OpenSUSUSE, Scientific Linux, Redhat et SLES.

Cet auteur recommande vivement d`utiliser la distribution des clusters Rocks. En plus d`installer tous les outils nécessaires à un cluster de calcul à fonctionner, Rocks utilise une excellente méthode pour "distribuer" de nombreuses instances d`elle-même aux nœuds qui utilisent très rapidement la démarrage de PXE et la procédure rouge de début.

Image intitulée Construire un supercalculateur Étape 7

7. Installez l`interface de passe-passe, le gestionnaire de ressources et d`autres bibliothèques nécessaires. Si vous n`avez pas installé Rocks à l`étape précédente, vous devrez configurer manuellement le logiciel nécessaire pour activer les mécanismes d`informatique parallèles.

Vous aurez d`abord besoin d`un système de gestion de bash portable, tel que le gestionnaire de ressources de couple, qui vous permet de rompre et de distribuer des tâches à plusieurs machines.

Couple de paires avec le planificateur de cluster Maui pour compléter la configuration.

Ensuite, vous devrez installer l`interface de passage du message, nécessaire pour les processus individuels des nœuds de calcul distincts pour partager les mêmes données. OpenMP est une évidence.

N`oubliez pas les bibliothèques de mathématiques multi-threading et compilateurs pour créer vos programmes d`informatique parallèles. Ai-je mentionné que vous devriez simplement installer des rochers?

Image intitulée Construire une supercalculatrice étape 8

8. Réseau les nœuds de calcul ensemble. Le nœud de tête envoie les tâches de calcul aux nœuds de calcul, ce qui doit à son tour envoyer le résultat, ainsi que l`envoi de messages les uns aux autres. Plus vite le mieux.

Utilisez un réseau Ethernet privé pour connecter tous les nœuds du cluster.

Le nœud de tête peut également servir de serveur NFS, PXE, DHCP, TFTP et NTP sur le réseau Ethernet.

Vous devez séparer ce réseau de réseaux publics, ce qui garantit que les paquets de diffusion n`interfèrent pas avec d`autres réseaux de votre réseau local.

Image intitulée Construire un supercalculateur Étape 9

9. Tester le cluster. La dernière chose que vous voudrez peut-être faire avant de relâcher tout ce pouvoir de calcul de vos utilisateurs est testé sa performance. Le repère HPL (High Performances Lynpack) est un choix populaire pour mesurer la vitesse de calcul du cluster. Vous devrez la compiler à partir de la source avec toutes les optimisations possibles que vos offres de compilateur pour l`architecture que vous avez choisie.

Bien sûr, vous devez compiler à partir de la source avec toutes les options d`optimisation possibles pour votre plate-forme. Par exemple, si vous utilisez AMD CPUS, compilez avec Open64 avec un niveau d`optimisation -0fast.

Comparez vos résultats sur Top500.org pour comparer votre cluster aux 500 supercalculateurs les plus rapides du monde!