Computação de alto desempenho vs. computação em nuvem. HPC baseado em nuvem

A definição de computação de alto desempenho (HPC)

HPC, ou computação de alto desempenho, é a prática de consolidar clusters de hardware extremamente potente para realizar uma variedade de cálculos de alta demanda que estão fora dos recursos de um computador comum.

Um supercomputador é um dos exemplos mais básicos de hardware de HPC, capaz de realizar aproximadamente quatrilhões de operações em um segundo (um desktop comum pode realizar vários bilhões de cálculos no mesmo período de tempo).

Um supercomputador consiste em muitos nós de computação trabalhando simultaneamente (computação paralela), criando algo chamado cluster de HPC.

Como a HPC funciona

A HPC, como método, está por trás de muitas inovações e tecnologias diferentes há algum tempo. Os sistemas de HPC operam para a melhoria do mundo inteiro, incluindo avanços industriais, sociais e científicos. Muitos setores diferentes, como o de saúde, petróleo e gás, farmacologia, meteorologia, militar e defesa e o setor aeroespacial, dependem agora do trabalho com grandes quantidades de dados e cálculos incrivelmente complexos, incluindo inteligência artificial, imagens 3D, Internet das Coisas e muito mais.

Uma solução HPC comum usa uma lógica bastante complexa porque muitos elementos precisam trabalhar simultaneamente. Esses elementos estão sendo unidos em um cluster e conectados a um armazenamento de dados para registrar o resultado dos cálculos.

É necessário um equilíbrio delicado para que todo esse sistema funcione, inclusive o armazenamento de dados. Ele é capaz de alimentar os elementos de computação com os dados existentes e receber os resultados dos cálculos na íntegra. A mesma lógica também se aplica ao lado da rede do sistema. Se apenas um elemento não conseguir acompanhar o ritmo, o sistema inteiro não poderá funcionar plenamente. A HPC pode oferecer muitas vantagens aos negócios e às empresas modernas, mas exige muito esforço para ser configurada.

Principais casos de uso da HPC

A HPC já se tornou relativamente comum para a maioria dos setores, com muitas empresas da Fortune 1000 usando essa estratégia em várias ocasiões. Alguns dos exemplos mais proeminentes de casos de uso de HPC podem ser encontrados abaixo:

• Análises e previsões espaciais sobre a localização de recursos de gás ou petróleo.
• Análises de interação de drogas, sequenciamento de DNA e análises de proteínas.
• Simulações complexas no âmbito do setor aeroespacial (fluxo de ar para diferentes elementos de avião).
• Análises de dados de clientes para melhorar e personalizar a experiência do cliente e as recomendações de produtos.
• Modelagem financeira, análises de risco complexas, detecção de fraudes e outras operações de fintech.
• Renderização de efeitos especiais para cinema, transcodificação de arquivos de mídia, criação de animações etc.

Computação em nuvem no contexto da HPC

Devido à necessidade de muito hardware caro para criar até mesmo um único cluster de HPC, a maioria dos sistemas de HPC foram empreendimentos extremamente caros por um tempo e ainda são inacessíveis para a maioria das empresas nessa forma. Felizmente, há uma alternativa para esses tipos de investimentos: HPC baseada em nuvem.

A definição de computação em nuvem

A computação em nuvem, HPC na nuvem ou HPC como serviço, é várias vezes mais acessível do que sua contraparte tradicional e, ao mesmo tempo, oferece escalabilidade e velocidade mais fáceis para usuários de menor escala. Um sistema regular de computação em nuvem inclui tanto a infraestrutura quanto os clusters de HPC para oferecer aos clientes em potencial, combinados com vários recursos semelhantes – seja experiência em HPC, elementos do ecossistema etc.

Por que a HPC está migrando para a nuvem?

Há três argumentos principais que explicam o aumento repentino da computação em nuvem na esfera da HPC: disponibilidade, demanda, eficiência e RDMA.

Disponibilidade refere-se ao fato de que os serviços de HPC baseados em nuvem tornaram-se praticamente comuns recentemente, com serviços de armazenamento em nuvem pública e privada oferecendo recursos de HPC até certo ponto. A disponibilidade e o preço de tal oferta (que é muito menor do que um investimento em custos de cluster de HPC pessoal) fizeram com que muitas empresas recorressem à computação em nuvem como uma alternativa à HPC.

A demanda é outro fator crucial para esse aumento de popularidade. Os negócios e as empresas de todo o mundo estão se tornando cada vez mais dependentes de informações e operações que somente a HPC pode oferecer – detecção de fraudes, avaliações complexas, análise de riscos e muitas outras. A HPC não só pode resolver alguns dos problemas mais incomuns (como o sequenciamento de DNA), mas também acelera alguns dos processos de solução de problemas existentes (como a detecção de fraudes). A capacidade de receber esses tipos de vantagens sem recorrer a investimentos maciços em infraestrutura e hardware é o que atrai tanta popularidade para esse tópico.

A rede RDMA (acesso direto remoto à memória) é a capacidade de vários computadores compartilharem dados entre si sem afetar os processos uns dos outros ou mesmo passar pela camada do sistema operacional. Essa tecnologia é um dos muitos avanços que tornaram a HPC muito mais eficiente do que os métodos tradicionais, com maior rendimento e menor latência para a troca de dados. As instâncias de RDMA de alto desempenho, como a Arquitetura de Interface Virtual e o Infiniband, estão mais ou menos tornando possível a computação em nuvem como a conhecemos hoje.

Computação de alto desempenho versus computação em nuvem

Usando as informações acima, podemos chegar à conclusão de que a computação de alto desempenho é uma estratégia extremamente cara que é praticamente necessária para que muitas empresas modernas operem e se mantenham competitivas. A computação em nuvem transforma todo o conceito de HPC em algo muito mais gerenciável e menos dispendioso, mas também tem sua própria cota de desafios a enfrentar.
Enquanto isso, as infraestruturas tradicionais de HPC também têm sua própria parcela de problemas:

• Um investimento inicial extremamente grande no hardware e na infraestrutura para dar suporte a esse hardware.
• Um processo contínuo de pagamento do custo operacional do hardware.
• A necessidade de atualizar o hardware existente regularmente para melhorar o desempenho e acompanhar a concorrência.
• Dificuldades potenciais com a escalabilidade em toda a linha devido à necessidade de comprar todo o hardware por conta própria.

Quanto à computação em nuvem, os benefícios e as deficiências específicas da HPC baseada em nuvem serão discutidos a seguir.

Vantagens e problemas da computação em nuvem de HPC

As vantagens da HPC na nuvem são relativamente óbvias:

• Operações de backup e recuperação mais fáceis, pois a maioria dos sistemas de HPC opera com massas de dados extremamente grandes. Gerenciar sistemas de backup para eles no local pode ser extremamente caro devido à quantidade de dados que a HPC está processando e produzindo regularmente.
• A capacidade de executar tarefas altamente complexas e demoradas, como detecção de fraudes e cálculo de riscos, sem a necessidade de grandes investimentos iniciais na infraestrutura.
• A capacidade dos serviços em nuvem de escalonar em ambos os sentidos para ter apenas o poder de computação suficiente para tarefas específicas, reduzindo os custos totais da solução no futuro.

Quanto aos possíveis problemas que os usuários podem encontrar com essa tecnologia, há vários exemplos:

• A computação em nuvem é geralmente considerada mais barata do que uma infraestrutura de HPC completa no local, mas o custo de ambas muda dependendo do período de tempo. Um serviço de computação em nuvem pode até ser mais caro do que uma instalação tradicional de HPC a longo prazo, simplesmente porque realizar a manutenção em seu próprio hardware geralmente é mais barato do que pagar por um serviço completo de HPC na nuvem.
• Os dados baseados em nuvem, como resultados de cálculos, tornam-se cada vez mais difíceis de transferir à medida que aumentam de tamanho. A maior parte desse problema depende de quão moderna é a arquitetura de rede da solução de nuvem. Mas também há limites para a rapidez com que uma empresa pode obter seus dados do armazenamento em nuvem em comparação com o armazenamento HPC no local.
• Proteger as soluções de computação em nuvem é extremamente difícil no contexto dos sistemas de segurança modernos devido à sua natureza desconectada. A configuração de um sistema de segurança para um serviço de HPC na nuvem pode exigir muito tempo e políticas a serem configuradas e revisadas regularmente para garantir a segurança dos dados.

HPC híbrida

A computação em nuvem como um todo não é unanimemente melhor do que a abordagem tradicional de HPC, e há várias vantagens em favor de ambas as opções separadamente. Felizmente, o uso simultâneo de ambas também é possível, e é uma ocorrência relativamente comum.

Os usuários de HPC híbrido contam com seu próprio hardware para algumas partes dos cálculos, enquanto o restante é realizado usando a computação em nuvem. No entanto, é preciso pensar muito bem em quais operações podem ser delegadas à computação em nuvem para garantir que não haja quedas de desempenho para a empresa como um todo.

O futuro da computação de alto desempenho

De certa forma, a computação em nuvem já pode ser considerada o futuro da HPC. É a capacidade de realizar cálculos extremamente complexos sem a necessidade de investir muitos recursos em infraestrutura de hardware no local. Ao mesmo tempo, a computação em nuvem tem seus próprios problemas, e várias empresas ainda usam HPC no local por motivos específicos.

Há também a opção de usar os dois ao mesmo tempo, obtendo os benefícios de ambos os mundos. No entanto, as soluções de HPC são notoriamente difíceis de configurar, e o uso de métodos no local e na nuvem como esse certamente aumentará ainda mais o número de possíveis problemas.

A HPC como metodologia veio para ficar, com cada vez mais setores contando com ela para uma variedade de tarefas. A escolha entre sistemas de HPC no local, na nuvem e híbridos gira principalmente em torno das necessidades e tarefas específicas de uma empresa, e é enganoso dizer que uma forma de HPC é absolutamente melhor que as outras. Cada organização tem suas necessidades, orçamentos e objetivos exclusivos e, como resultado, precisa resolver suas necessidades de HPC à sua própria maneira. No entanto, o fato de haver opções, com mais oportunidades de acesso à HPC do que nunca, é um bom presságio para o setor de HPC e para os benefícios que ele pode nos trazer.

O backup e a recuperação são importantes na HPC, geralmente devido à criticidade dos dados que a HPC produz e ao seu valor. Claramente, são dados que não podem ser perdidos, comprometidos ou corrompidos. No entanto, ao mesmo tempo, os conjuntos de dados produzidos pela HPC geralmente têm um tamanho colossal, portanto, fazer cópias eficazes desses dados – e de seus aplicativos – não é algo trivial. Os orçamentos precisam ser cumpridos, a segurança precisa ser implementada e, devido ao grande volume de dados envolvidos, a sustentabilidade também se torna uma questão importante.

Bacula é especialista na solução desses problemas específicos de HPC e conta com a confiança da NASA, dos Laboratórios Nacionais de Pesquisa dos EUA, do governo ocidental e de algumas das maiores instituições financeiras do mundo. Ele tem a capacidade de lidar com bilhões de arquivos em um ambiente de HPC, com uma enorme taxa de transferência para componentes e tecnologias de armazenamento de HPC, tem níveis de segurança especialmente altos e, o que é mais importante, é muito mais sustentável do que seus pares, como resultado de sua arquitetura de software e ferramentas de HPC específicas. Contate o Bacula agora para obter mais informações.