O backup escalável é a capacidade de manter o desempenho de backup e recuperação à medida que os dados, as cargas de trabalho e os requisitos de retenção aumentam.
Uma plataforma de backup que funciona bem para 100 terabytes (TB) pode se comportar de maneira muito diferente com 1 petabyte (PB).
À medida que os ambientes de backup crescem, podem surgir problemas de escalabilidade. Esses problemas incluem janelas de backup com horários de funcionamento mais longos, pesquisas de recuperação mais demoradas e maior carga de trabalho administrativo.
A escalabilidade deve ser avaliada em toda a arquitetura de backup e recuperação, e não apenas considerando a capacidade de armazenamento. À medida que seu ambiente de dados cresce, o sistema precisará suportar volumes maiores de dados, mais cargas de trabalho, períodos de retenção mais longos e demandas de recuperação mais intensas, sem gerar custos excessivos, complexidade ou risco operacional. Ele também precisa continuar atendendo aos objetivos de ponto de recuperação (RPOs) e aos objetivos de tempo de recuperação (RTOs) da organização.
O que significa escalabilidade em um ambiente de backup?
A escalabilidade do backup é a capacidade de um ambiente de backup de proteger e recuperar quantidades crescentes de dados e cargas de trabalho, ao mesmo tempo em que continua atendendo aos requisitos definidos de desempenho, custo, segurança, RPO e RTO.
Os ambientes de backup não crescem de uma única maneira. O volume de dados pode aumentar, mas o mesmo ocorre com o número de arquivos, cargas de trabalho, locais e requisitos de retenção. Cada um deles exerce pressão sobre uma parte diferente da infraestrutura de backup.
- Mais dados: Mais servidores, bancos de dados, aplicativos e usuários aumentam a capacidade protegida.
- Mais arquivos e objetos: Bilhões de arquivos podem exercer uma pressão considerável sobre os catálogos de backup e os sistemas de metadados.
- Maiores taxas de alteração: Mais dados sendo alterados a cada dia significam que mais informações devem ser copiadas dentro da mesma janela de tempo.
- Mais cargas de trabalho: Máquinas virtuais, bancos de dados, contêineres, aplicativos SaaS (software como serviço) e contas na nuvem apresentam diferentes requisitos de proteção.
- Retenção mais longa: Requisitos regulatórios e políticas empresariais podem exigir que os dados de backup sejam retidos por meses ou anos.
Por que capacidade de backup e escalabilidade de backup não são a mesma coisa
Capacidade de backup é a quantidade de dados que um sistema pode armazenar e manter. “O crescimento da infraestrutura de backup refere-se à capacidade de todo o ambiente de proteção de dados de lidar com cargas de trabalho crescentes, mantendo ao mesmo tempo os objetivos de desempenho, confiabilidade, segurança e recuperação.
À medida que o ambiente de backup cresce, a capacidade de armazenamento é apenas uma das considerações. Do ponto de vista do desempenho operacional, volumes maiores de dados podem aumentar os requisitos de taxa de transferência do backup, o processamento de metadados e catálogos, o tráfego de replicação e os custos de retenção. Se esses componentes não forem dimensionados junto com o armazenamento, as operações rotineiras de backup podem se tornar mais lentas e mais caras.
Implicações do crescimento para a recuperação. Quanto mais dados você tiver, mais tempo pode levar para restaurá-los, especialmente se for necessário restaurar vários sistemas ao mesmo tempo. Mesmo com tarefas de backup bem-sucedidas, uma organização pode ter dificuldade em cumprir seu RTO se não tiver throughput de restauração e capacidade de recuperação suficientes.
Uma arquitetura de backup escalável, portanto, precisa acomodar o crescimento em várias áreas interconectadas:
- Os componentes que movimentam e armazenam dados de backup
- Os componentes de catálogo e indexação usados para localizar pontos de recuperação
- Os componentes que gerenciam políticas, agendamento, monitoramento e recursos
- Plano de recuperação
O desempenho do backup em escala deve ser avaliado em relação às necessidades contínuas de proteção, bem como às necessidades de recuperação. Uma arquitetura escalável deve ser capaz de manter os RPOs e RTOs definidos à medida que o volume de dados, o número de cargas de trabalho, a retenção, a distribuição geográfica e a demanda simultânea por recuperação aumentam.
Quais gargalos surgem primeiro à medida que os ambientes de backup crescem?
Os primeiros gargalos de escalabilidade do backup geralmente surgem nas janelas de backup, na taxa de transferência da rede, nos serviços de metadados, na replicação, no desempenho do repositório ou na infraestrutura de restauração. Qual deles surge primeiro depende das características da carga de trabalho e da arquitetura.
As janelas de backup entram em conflito com as atividades de produção
À medida que a quantidade de dados alterados por dia aumenta, as tarefas de backup podem ocupar uma porcentagem maior da janela de backup disponível. Os backups programados podem acabar ocorrendo durante o horário comercial ou se estender para o próximo ciclo de proteção.
O crescimento do catálogo e dos metadados retarda a recuperação
À medida que os sistemas, pontos de recuperação, arquivos e objetos aumentam, o catálogo de backup se torna um componente cada vez mais importante da arquitetura.
O catálogo deve suportar atualizações contínuas, além de operações de busca, navegação, geração de relatórios e recuperação. Se você tiver longos períodos de retenção e muitos objetos, uma infraestrutura de metadados mal projetada pode dificultar a localização rápida do ponto de recuperação correto.
Cargas de trabalho com arquivos pequenos geram sobrecarga desproporcional
O número e o tamanho dos arquivos podem ter um efeito significativo no desempenho do backup. Um único arquivo grande de banco de dados e milhões de arquivos pequenos podem ocupar a mesma quantidade de armazenamento, mas cargas de trabalho com arquivos pequenos normalmente geram muito mais sobrecarga de processamento. A enumeração de arquivos, a coleta de metadados, as verificações de permissão, a indexação e a recriação de arquivos podem aumentar os tempos de backup e restauração.
Os testes de desempenho devem, portanto, refletir as características reais da carga de trabalho, e não apenas o volume de dados.
As escolhas de arquitetura também podem precisar levar em conta a densidade de arquivos pequenos. Dependendo do ambiente, as organizações podem considerar estratégias como instantâneos do sistema de arquivos, backups em nível de imagem, armazenamento de objetos ou o agrupamento e arquivamento de grandes coleções de arquivos pequenos antes da proteção.
Cargas de trabalho com arquivos pequenos sobrecarregam as operações de metadados
As arquiteturas modernas de backup geralmente mantêm várias cópias dos dados protegidos para garantir resiliência e recuperação. Cada cópia adicional afeta o planejamento de capacidade, e os dados de backup que não podem ser modificados ou excluídos durante um período de retenção especificado podem tornar esse impacto mais significativo, pois os dados protegidos não podem ser removidos antes que seu período de retenção expire.
O planejamento de crescimento deve levar em conta cópias primárias e secundárias, replicação, retenção imutável, retenções legais — que podem impedir que os dados de backup expirem de acordo com seu ciclo de vida normal —, metadados, espaço temporário de recuperação e outras sobrecargas associadas à operação do ambiente.
A taxa de transferência de restauração recebe menos investimento do que a ingestão
A ingestão de backup recebe atenção constante, pois as tarefas de backup são executadas regularmente. A recuperação em grande escala é testada com menos frequência, o que significa que as limitações de restauração podem passar despercebidas até se tornarem críticas.
O desempenho da recuperação pode ser afetado pela velocidade de leitura do repositório, fragmentação do backup, desduplicação e reconstrução de dados desduplicados durante os processos de recuperação, capacidade da rede, recuperação e saída de dados da nuvem, verificação de malware e pelo desempenho do destino de recuperação.
Quais métricas revelam problemas de escalabilidade antecipadamente?
A utilização da capacidade fornece apenas parte do quadro. O monitoramento deve, portanto, abranger todo o serviço de proteção e recuperação. Métricas úteis incluem a utilização da janela de backup, o atraso na fila, a taxa de transferência de backup e restauração, o tempo de resposta do catálogo, o atraso na replicação e a cobertura do RPO, entre outras.
Arquitetura de backup de expansão vertical (scale-up) x expansão horizontal (scale-out)
A expansão vertical (scale-up) amplia um sistema de backup existente com mais recursos. A expansão horizontal (scale-out) amplia a capacidade adicionando sistemas ou nós e distribuindo as cargas de trabalho entre eles.
A expansão vertical (scale-up) adiciona CPU, memória, armazenamento ou outros recursos a um sistema existente. Geralmente é fácil de lidar, mas a arquitetura ainda está sujeita à capacidade máxima desse sistema.
A expansão horizontal (scale-out) adiciona nós, workers, unidades de armazenamento ou outros serviços. Esse método pode oferecer um crescimento mais incremental e, potencialmente, permitir que as cargas de trabalho sejam distribuídas por vários sistemas, mas também aumenta as necessidades de coordenação e operação.
Um processo passo a passo para projetar um backup escalável
Uma arquitetura de backup escalável começa com o crescimento esperado do ambiente, em vez de se basear apenas na infraestrutura atual.
1. Modele o crescimento por carga de trabalho, em vez de usar uma única porcentagem anual
Acompanhe a capacidade protegida, a taxa de variação diária, a contagem de objetos, o volume de tarefas, a retenção, o número de cópias de backup e as janelas de backup disponíveis para cada categoria principal de carga de trabalho.
Bancos de dados, máquinas virtuais, servidores de arquivos, contêineres e cargas de trabalho em nuvem costumam ter requisitos de proteção muito diferentes. As previsões também devem levar em conta implantações planejadas de aplicativos, migrações para a nuvem, aquisições, mudanças regulatórias e desativação de infraestrutura.
2. Converta os objetivos de recuperação em requisitos de taxa de transferência
Os objetivos de recuperação devem determinar as necessidades mensuráveis da infraestrutura. Atribua os requisitos de recuperação com base na prioridade das aplicações, pois nem todas as cargas de trabalho são iguais. Algumas aplicações críticas podem precisar de recursos de recuperação de alto desempenho, enquanto dados menos sensíveis ao tempo podem utilizar armazenamento e caminhos de recuperação de menor custo.
3. Mapear os caminhos completos de dados de backup e recuperação
Documente o caminho completo dos dados durante a restauração, do armazenamento de backup para a produção e da produção para o armazenamento de backup. Isso deve incluir o armazenamento de origem, agentes de backup/transferidores de dados, links de rede, firewalls, etapas de criptografia e desduplicação, repositórios, destinos de replicação, serviços de catálogo e destinos de recuperação. Mapear cada componente ajuda a identificar onde a taxa de transferência pode estar limitada, já que o elemento mais lento de forma sustentada pode restringir o desempenho de todo o processo de backup ou restauração.
Cenários de desastre introduzem uma consideração adicional: a disputa por recursos compartilhados. Durante a recuperação, os serviços de rede, computação, identidade e armazenamento podem já estar sob carga pesada ou parcialmente indisponíveis. O planejamento de recuperação deve, portanto, avaliar se esses recursos compartilhados podem suportar a restauração do backup ao mesmo tempo em que outros sistemas críticos estão sendo colocados de volta em operação.
4. Estabeleça grupos de recursos de backup separados
As organizações devem considerar domínios de backup separados quando a localização geográfica, os limites de segurança, a disputa por cargas de trabalho ou os requisitos de recuperação dificultarem a operação de um único domínio compartilhado. É possível reduzir a disputa e limitar o impacto de uma falha ou de uma carga de trabalho excepcionalmente exigente usando agentes de backup, pools de armazenamento, proxies ou outros recursos independentes.
NOTA: A separação também gera sobrecarga de gerenciamento. Cada novo domínio requer monitoramento, aplicação de patches, credenciais, planejamento de capacidade e testes.
5. Automatize as decisões sobre ciclo de vida e alocação
Com o aumento das cargas de trabalho protegidas, a configuração manual se torna cada vez mais difícil. Agendamentos de backup, períodos de retenção, camadas de armazenamento, requisitos de replicação e políticas de expiração podem ser atribuídos por meio de automação baseada em políticas. A descoberta automatizada também pode ajudar a identificar novos sistemas que foram implantados sem a proteção adequada.
6. Adicione segurança sem criar um gargalo não mensurável
Embora a segurança seja uma parte importante da arquitetura moderna de backup, os controles de segurança também acrescentam requisitos adicionais. O planejamento de capacidade e desempenho deve levar em conta criptografia, imutabilidade, autenticação multifatorial, verificação de malware e ambientes de recuperação isolados.
As organizações também devem manter backups offline e testados regularmente. A CISA sugere armazenar os backups offline e criptografados, além de testar regularmente a disponibilidade e a integridade dos backups para garantir que permaneçam utilizáveis no caso de um incidente de ransomware ou outro cenário de recuperação.
7. Teste o crescimento e a recuperação antes que a produção atinja o limite
Os testes devem se basear nos requisitos projetados, não apenas nos níveis atuais de carga de trabalho. Os testes de carga e recuperação devem medir o volume de dados, a simultaneidade de tarefas, o desempenho do catálogo, a utilização do repositório, a replicação, os cenários de falha e a taxa de transferência de recuperação.
Lista de verificação de escalabilidade de backup
Ao projetar a arquitetura de backup, use esta lista de verificação para verificar se ela pode atender aos requisitos atuais e ao crescimento futuro:
- Capacidade protegida atual: a quantidade total de dados atualmente copiados.
- Taxa de crescimento: a taxa anual na qual você espera que os dados protegidos cresçam.
- Taxa de alteração diária: porcentagem ou volume de dados que se altera entre os ciclos de backup.
- Contagem de arquivos ou objetos: o número de arquivos, objetos ou registros individuais que o sistema de backup deve processar.
- Janela de backup: o período de tempo disponível para a execução de backups programados.
- RPO exigido: a perda máxima tolerável de dados, medida em tempo.
- RTO exigido: o tempo máximo aceitável para restaurar sistemas ou dados.
- Taxa de transferência de restauração: a velocidade com que o ambiente de backup pode fornecer dados durante uma recuperação.
- Número de cópias no backup: quantas cópias devem ser mantidas e onde?
- Período de retenção imutável: o período mínimo durante o qual as cópias de backup devem ser protegidas contra modificação ou exclusão.
- Largura de banda de replicação: a taxa de transferência necessária para que a rede transfira dados de backup entre ambientes ou locais.
Como comprovar que uma arquitetura de backup é escalável
Execute testes de carga e recuperação para demonstrar a escalabilidade do backup e da recuperação com base nos volumes de dados projetados, na simultaneidade, na retenção, nas falhas e nos requisitos de recuperação.
As especificações dos fornecedores e os números de taxa de transferência publicados são úteis para comparação, mas não garantem o desempenho em um ambiente específico. Os resultados reais dependem de fatores como tipo de dados e tamanho do arquivo, taxa de alteração, compactação e desduplicação, criptografia, latência de rede, desempenho da fonte, projeto do repositório e infraestrutura de recuperação.
Uma prova de conceito significativa deve, portanto, reproduzir as condições que a organização espera encontrar à medida que cresce.
Os testes também devem incluir a recuperação de ransomware e eventos destrutivos de dados. A norma NIST SP 1800-11 fornece orientações sobre a recuperação de dados após eventos destrutivos, com ênfase especial na validação da integridade dos dados e na garantia de que as informações recuperadas sejam confiáveis e possam ser utilizadas com segurança.
Por que os custos de backup costumam crescer mais rápido do que os dados
Os custos de backup podem crescer mais rápido do que os dados protegidos. Isso ocorre porque o crescimento pode aumentar simultaneamente o número de cópias de armazenamento, a retenção, a replicação, o licenciamento, o tráfego de rede, a recuperação na nuvem, a infraestrutura de gerenciamento e o esforço administrativo.
Você deve elaborar um modelo de custos realista que considere um período de planejamento de pelo menos três anos e inclua:
- Crescimento dos dados e taxas de alteração diárias
- Retenção, replicação, imutabilidade e retenções legais
- Licenciamento e suporte de software
- Requisitos de atualização de armazenamento e hardware
- Armazenamento em nuvem, operações, recuperação e taxas de transferência de dados para fora da nuvem (egress)
- Custos de rede e transferência entre regiões
- Infraestrutura de catálogo e gerenciamento
- Testes de recuperação e recursos temporários de recuperação
- Administração, monitoramento, aplicação de patches e resposta a incidentes
- Custos de migração ou saída da plataforma
Como o Bacula Enterprise oferece suporte a backups escaláveis
O Bacula Enterprise se destaca como uma solução de backup e recuperação especialmente escalável, que oferece respostas realistas para as questões relacionadas à escala discutidas aqui. Ele utiliza uma arquitetura modular, de modo que os componentes de gerenciamento de backup, serviços ao cliente, armazenamento e catálogo podem ser implantados separadamente, com base nas necessidades do ambiente.
A plataforma oferece suporte a um amplo espectro de categorias de cargas de trabalho, incluindo sistemas físicos e virtuais, bancos de dados, contêineres e ambientes em nuvem. Isso a torna ideal para organizações que precisam proteger vários tipos de infraestrutura sob uma única estratégia de backup.
Em termos de escalabilidade, o design modular permite que o processamento de backup, o armazenamento e os serviços associados sejam distribuídos à medida que o volume de dados e os requisitos de carga de trabalho aumentam. Portanto, para organizações que estão crescendo rapidamente, essa arquitetura pode ser considerada como parte de uma avaliação mais ampla de como a infraestrutura de backup pode se expandir ao longo do tempo.
A arquitetura do Bacula auxilia na expansão vertical e horizontal de diversas maneiras. Apenas alguns exemplos disso seriam:
Volumes massivos de dados: Escala desde ambientes corporativos convencionais até infraestruturas de HPC e IA com vários petabytes.
Bilhões de arquivos: O HPCAccelerator distribui as cargas de trabalho do sistema de arquivos entre trabalhadores simultâneos, permitindo a proteção eficiente de bilhões de arquivos.
Processamento paralelo: Vários fluxos de backup e restauração podem ser executados simultaneamente, aumentando substancialmente a taxa de transferência.
Alta simultaneidade de tarefas: Suporta milhares de tarefas de backup simultâneas em ambientes grandes e complexos.
Arquitetura distribuída: Os componentes de backup podem ser distribuídos por vários servidores, redes e locais para evitar a dependência de um único gargalo de processamento.
Integração paralela com sistemas de arquivos: Recursos dedicados para Lustre e IBM Storage Scale/GPFS ajudam a proteger com eficiência sistemas de arquivos extremamente grandes e de alto desempenho.
Backups incrementais eficientes: Tecnologias como o Lustre Changelog e o BSnapDiff identificam dados alterados sem a necessidade de varreduras repetidas em todo um sistema de arquivos de grande porte.
Escalabilidade de armazenamento: Os clientes podem expandir para recursos de disco, fita, armazenamento de objetos e nuvem sem ficarem vinculados a um único fornecedor ou tecnologia de armazenamento.
Escalabilidade de carga de trabalho: Uma única plataforma pode proteger servidores físicos, máquinas virtuais, contêineres, bancos de dados, cargas de trabalho em nuvem e ambientes de HPC à medida que a infraestrutura se expande.
Escalabilidade econômica: O Bacula não cobra de acordo com o volume de dados protegidos; portanto, conjuntos de dados em rápido crescimento não geram automaticamente custos de licença em rápido crescimento.
Esses recursos tornam o Bacula escalável tanto tecnicamente quanto economicamente, especialmente para HPC, IA, infraestruturas de TI complexas, pesquisa e ambientes de grandes empresas.
Perguntas frequentes
O armazenamento em nuvem pode tornar um sistema de backup automaticamente escalável?
O armazenamento em nuvem pode fornecer capacidade virtualmente elástica, mas não elimina outras limitações. Softwares de backup, largura de banda de rede, limites de API (interface de programação de aplicativos), serviços de metadados, desempenho de recuperação, custos de saída de dados e infraestrutura de recuperação podem afetar a escalabilidade. O armazenamento em nuvem deve, portanto, ser avaliado como parte da arquitetura completa de backup e recuperação.
Quanta capacidade sobressalente um repositório de backup escalável deve manter?
Não existe uma porcentagem universal que se aplique a todos os ambientes. O planejamento de capacidade deve levar em consideração o crescimento esperado dos dados, as taxas de alteração diárias, os períodos de retenção, as cópias imutáveis, a replicação, os aumentos temporários da carga de trabalho, falhas de hardware ou de nós e o tempo necessário para adquirir e implantar capacidade adicional.
A deduplicação sempre melhora a escalabilidade do backup?
Não. A deduplicação pode reduzir o consumo de armazenamento e o tráfego de rede, mas sua eficácia depende do tipo de dados que estão sendo protegidos. Ela também requer recursos de processamento e metadados e pode influenciar o desempenho da recuperação, dependendo da implementação. Tanto a eficiência do backup quanto o desempenho da restauração devem ser medidos com cargas de trabalho representativas.
Quando uma organização deve dividir um ambiente de backup em vários domínios?
Pode ser recomendável ter domínios de backup separados quando um único ambiente leva a conflitos de recursos, problemas de segurança, requisitos de residência de dados ou dependências operacionais entre cargas de trabalho que estão geograficamente ou organizacionalmente separadas. O objetivo deve ser criar limites úteis, mas não criar silos de gerenciamento desnecessários. O monitoramento centralizado, o gerenciamento de políticas e a geração de relatórios podem oferecer visibilidade em vários ambientes.
Um sistema de backup pode ser escalonado se a recuperação continuar sendo manual?
Apenas até certo ponto. À medida que o número de cargas de trabalho protegidas aumenta, tarefas manuais de recuperação, como sequenciar aplicativos, gerenciar credenciais, configurar redes e validar dados restaurados, podem se tornar gargalos significativos.
