High Performance Computing vs. Cloud Computing. HPC basato sul cloud

La definizione di Calcolo ad alte prestazioni (HPC)

L’HPC, o High Performance Computing, è la pratica di consolidare cluster di hardware estremamente potenti per eseguire una serie di calcoli ad alta richiesta che sono al di fuori delle capacità di un normale computer.

Un supercomputer è uno degli esempi più elementari di hardware HPC, in grado di eseguire circa quadrilioni di operazioni in un secondo (un desktop medio può eseguire diversi miliardi di calcoli nello stesso arco di tempo).

Un supercomputer è composto da molti nodi di calcolo che lavorano simultaneamente (calcolo parallelo), creando qualcosa chiamato cluster HPC.

Come fa l’HPC

L’HPC come metodo è da tempo alla base di molte innovazioni e tecnologie diverse. I sistemi HPC operano per il miglioramento del mondo intero, compresi i progressi industriali, sociali e scientifici. Molti settori diversi – come quello sanitario, petrolifero e del gas, farmacologico, meteorologico, militare e della difesa e quello aerospaziale – si affidano spesso al lavoro con quantità massicce di dati e calcoli incredibilmente complessi – tra cui l’Intelligenza Artificiale, l’imaging 3D, l’Internet of Things e altro ancora.

Una normale soluzione HPC utilizza una logica piuttosto complessa, perché molti elementi devono lavorare contemporaneamente. Questi elementi vengono riuniti in un cluster e collegati a un archivio dati per registrare i risultati dei calcoli.

È necessario un delicato equilibrio per far funzionare l’intero sistema, compresa l’archiviazione dei dati. È in grado di fornire i dati esistenti agli elementi di calcolo e di ricevere i risultati dei calcoli in modo completo. La stessa logica si applica anche al lato rete del sistema. Se anche un solo elemento non riesce a tenere il passo, l’intero sistema non può funzionare appieno. L’HPC può offrire molti vantaggi alle aziende e alle società moderne, ma richiede un notevole impegno per essere installato.

I principali casi d’uso dell’HPC

L’HPC è ormai diventato relativamente comune per la maggior parte dei settori, con molte aziende Fortune 1000 che hanno utilizzato questa strategia in diverse occasioni. Di seguito sono riportati alcuni degli esempi più importanti di casi d’uso dell’HPC:

• Analisi spaziali e previsioni sulla localizzazione delle risorse di gas o petrolio.
• Analisi delle interazioni farmacologiche, sequenziamento del DNA e analisi delle proteine.
• Simulazioni complesse nell’ambito dell’industria aerospaziale (flusso d’aria per diversi elementi dell’aereo).
• Analisi dei dati dei clienti per una migliore e più personalizzata esperienza del cliente e raccomandazioni sui prodotti.
• Modellazione finanziaria, analisi di rischio complesse, rilevamento di frodi e altre operazioni fintech.
• Rendering di effetti speciali per il cinema, transcodifica di file multimediali, creazione di animazioni, ecc.

Cloud Computing nel contesto dell’HPC

A causa della necessità di un hardware molto costoso, necessario per creare anche un solo cluster HPC, la maggior parte dei sistemi HPC sono stati per un certo periodo estremamente costosi e sono ancora inaccessibili alla maggior parte delle aziende in questa forma. Fortunatamente, esiste un’alternativa a questo tipo di investimenti: l’HPC basato sul cloud.

La definizione di Cloud Computing

Il Cloud Computing, HPC nel cloud o HPC-as-a-Service, è molte volte più conveniente rispetto alla sua controparte tradizionale, pur offrendo una scalabilità e una velocità maggiori agli utenti di piccole dimensioni. Un normale sistema di cloud computing comprende sia l’infrastruttura che i cluster HPC da offrire ai potenziali clienti, combinati con molteplici capacità simili – che si tratti di competenze HPC, elementi dell’ecosistema, ecc.

Perché l’HPC si sta spostando verso il cloud?

Ci sono tre argomenti principali che spiegano l’improvvisa ascesa del cloud computing nella sfera dell’HPC: disponibilità, domanda, efficienza e RDMA.

Disponibilità si riferisce al fatto che i servizi HPC basati sul cloud sono diventati praticamente comuni di recente, con servizi di archiviazione cloud pubblici e privati che offrono funzionalità HPC in una certa misura. La disponibilità e il prezzo di tale offerta (che è molto inferiore ai costi di un investimento in un cluster HPC personale) hanno fatto sì che molte aziende si rivolgessero al cloud computing come alternativa all’HPC.

La domanda è un altro fattore cruciale per questo aumento di popolarità. Le aziende e le società di tutto il mondo stanno diventando sempre più dipendenti dalle informazioni e dalle operazioni che solo l’HPC è in grado di offrire: rilevamento di frodi, valutazioni complesse, analisi del rischio e molte altre. Non solo l’HPC è in grado di risolvere alcuni dei problemi più insoliti (come il sequenziamento del DNA), ma accelera anche alcuni dei processi di risoluzione dei problemi esistenti (come il rilevamento delle frodi). La possibilità di ricevere questo tipo di vantaggi senza ricorrere a investimenti massicci in infrastrutture e hardware è ciò che attira tanta popolarità su questo argomento.

Il RDMA networking (accesso diretto remoto alla memoria) è la capacità di più computer di condividere dati tra loro senza influenzare i processi reciproci e senza passare attraverso il livello OS. Questa tecnologia è uno dei tanti progressi che hanno reso l’HPC molto più efficace rispetto ai metodi tradizionali, con un aumento del throughput e una riduzione della latenza per lo scambio di dati. Le istanze RDMA ad alte prestazioni, come l’Architettura di Interfaccia Virtuale e Infiniband, hanno reso possibile il cloud computing come lo conosciamo oggi.

Computing ad alte prestazioni vs Cloud Computing

Utilizzando le informazioni di cui sopra, possiamo giungere alla conclusione che l’High-Performance Computing è una strategia estremamente costosa che è praticamente necessaria per molte aziende moderne per operare e rimanere competitive. Il cloud computing trasforma l’intero concetto di HPC in qualcosa di molto più gestibile e meno costoso, ma ha anche la sua parte di sfide da affrontare.
Nel frattempo, anche le infrastrutture HPC tradizionali hanno la loro parte di problemi:

• Un investimento iniziale estremamente elevato nell’hardware e nell’infrastruttura di supporto di tale hardware.
• Un processo continuo di pagamento dei costi operativi dell’hardware.
• La necessità di aggiornare regolarmente l’hardware esistente per migliorare le prestazioni e tenere il passo con la concorrenza.
• Potenziali difficoltà di scalabilità su tutta la linea, dovute alla necessità di acquistare personalmente tutto l’hardware.

Per quanto riguarda il cloud computing, i vantaggi e i difetti specifici dell’HPC basato sul cloud saranno discussi di seguito.

Vantaggi e problemi del Cloud Computing HPC

I vantaggi dell’HPC nel cloud sono relativamente ovvi:

• Operazioni di backup e ripristino più semplici, poiché la maggior parte dei sistemi HPC opera con masse di dati estremamente grandi. La gestione dei sistemi di backup in loco può essere estremamente costosa a causa della quantità di dati che l’HPC elabora e produce regolarmente.
• La pura capacità di eseguire compiti altamente complessi e dispendiosi in termini di tempo, come il rilevamento delle frodi e il calcolo del rischio, senza la necessità di massicci investimenti iniziali nell’infrastruttura.
• La capacità dei servizi cloud di scalare in entrambi i sensi per avere la potenza di calcolo sufficiente per compiti specifici, riducendo i costi totali della soluzione.

Per quanto riguarda i potenziali problemi che gli utenti possono incontrare con questa tecnologia, ci sono diversi esempi:

• Il cloud computing è generalmente considerato più economico di un’infrastruttura HPC completa in sede, ma il costo di entrambi cambia a seconda del periodo di tempo. Un servizio di cloud computing può persino essere più costoso di un’installazione HPC tradizionale nel lungo periodo, semplicemente perché eseguire la manutenzione sul proprio hardware è solitamente più conveniente che pagare un servizio HPC completo nel cloud.
• I dati basati sul cloud, come i risultati dei calcoli, diventano sempre più difficili da trasferire man mano che aumentano di dimensioni. La maggior parte di questo problema dipende dalla modernità dell’architettura di rete della soluzione cloud. Ma ci sono anche dei limiti alla velocità con cui un’azienda può ottenere i propri dati dall’archiviazione in cloud rispetto all’archiviazione HPC in sede.
• Proteggere le soluzioni di cloud computing è estremamente difficile nel contesto dei moderni sistemi di sicurezza, a causa della loro natura disconnessa. L’impostazione di un sistema di sicurezza per un servizio HPC nel cloud può richiedere molto tempo e politiche da configurare e rivedere periodicamente per garantire la sicurezza dei dati.

Hybrid HPC

Il cloud computing nel suo complesso non è unanimemente migliore dell’approccio HPC tradizionale, e ci sono molteplici vantaggi a favore di entrambe le opzioni separatamente. Fortunatamente, è anche possibile utilizzare entrambe le opzioni contemporaneamente – ed è un evento relativamente comune.

Gli utenti di Hybrid HPC si affidano al proprio hardware per alcune parti dei calcoli, mentre il resto viene eseguito utilizzando il cloud computing. Tuttavia, occorre riflettere molto su quali operazioni possono essere delegate al cloud computing, per garantire che non si verifichino cali di prestazioni per l’azienda nel suo complesso.

Il futuro del calcolo ad alte prestazioni

In un certo senso, il cloud computing può già essere considerato il futuro dell’HPC. Si tratta della capacità di eseguire calcoli estremamente complessi senza dover investire molte risorse nell’infrastruttura hardware on-premise. Allo stesso tempo, il cloud computing ha i suoi problemi da affrontare e alcune aziende utilizzano ancora l’HPC on-premise per i loro motivi specifici.

Esiste anche l’opzione di utilizzare entrambe le cose contemporaneamente, ottenendo i vantaggi di entrambi i mondi. Tuttavia, le soluzioni HPC sono notoriamente difficili da configurare e l’utilizzo di metodi on-premise e cloud come questo è destinato ad aumentare ulteriormente il numero di potenziali problemi.

L’HPC come metodologia è destinato a rimanere, con un numero sempre maggiore di industrie che vi fanno affidamento per una varietà di compiti. La scelta tra sistemi HPC on-premise, cloud e ibridi ruota principalmente intorno alle esigenze e ai compiti specifici di un’azienda, ed è fuorviante affermare che una forma di HPC sia assolutamente migliore delle altre. Ogni organizzazione ha esigenze, budget e obiettivi unici e, di conseguenza, deve risolvere le proprie necessità HPC a modo suo. Tuttavia, il fatto che ci siano delle scelte – con più opportunità di accesso all’HPC oggi come mai prima d’ora – è di buon auspicio per l’industria HPC e per i benefici che ci può portare.

Il backup e il ripristino sono importanti nell’HPC, in genere a causa della criticità dei dati prodotti dall’HPC e del loro valore. Chiaramente, si tratta di dati che non possono essere persi, compromessi o danneggiati. Allo stesso tempo, però, i set di dati prodotti dall’HPC sono solitamente di dimensioni colossali, per cui realizzare copie efficaci di questi dati – e delle loro applicazioni – non è banale. Occorre rispettare i budget, garantire la sicurezza e, a causa dell’enorme volume di dati, anche la sostenibilità diventa una questione di primo piano.

Bacula è uno specialista nel risolvere questi problemi specifici dell’HPC e si affida alla NASA, ai Laboratori di Ricerca Nazionali degli Stati Uniti, al Governo Occidentale e ad alcune delle maggiori istituzioni finanziarie del mondo. Ha la capacità di gestire miliardi di file in un ambiente HPC, un enorme throughput verso i componenti e le tecnologie di archiviazione HPC, ha livelli di sicurezza particolarmente elevati e, cosa fondamentale, è molto più sostenibile rispetto ai suoi colleghi, grazie alla sua architettura software specifica e agli strumenti HPC. Contatta Bacula ora per maggiori informazioni.