Was ist HPSS Storage? Die Sicherung von IBM HPSS

Was ist HPSS?

High-Performance Storage System (HPSS) ist eine hoch skalierbare und flexible Speicherverwaltungssoftware, die von der HPSS Collaboration entwickelt wurde, um ein richtlinienbasiertes und softwaredefiniertes Hierarchical Storage Management (HSM) System bereitzustellen. Diese Technologie ist typischerweise in vielen HPC- (High Performance Computing) und SuperComputing-IT-Umgebungen gefragt. Einer der Gründe dafür ist, dass ein einziger HPSS-Namensraum Milliarden von Dateien verarbeiten kann, von einigen wenigen Dateien pro Sekunde bis zu Tausenden pro Sekunde erstellen kann und von Petabytes bis zu Exabytes an Daten skalieren kann.

HPSS verwendet eine Kombination aus SAN-, LAN- und Cluster-Technologien, um viele verschiedene Speichermedien in einer einzigen Infrastruktur zu kombinieren (Computer, Festplatten, Bandlaufwerke oder Bandbibliotheken).

HPSS unterstützt viele verschiedene Methoden zur Datenerstellung. So kann es beispielsweise mit FUSE, FTP, parallelem FTP und sogar mit der Client-API (parallele E/A) arbeiten. Die API von HPSS wird auf Solaris, Linux und AIX unterstützt. Die vollständige Linux-Unterstützung wurde mit Version 7.5 hinzugefügt. Die Gesamtheit von HPSS wird mit einem skalierbaren RDBMS (Relational Database Management System) von IBM namens Db2 erstellt.

Vorteile von HPSS

HPSS ist unter der Haube sehr komplex. Die meisten Funktionen wurden entwickelt, um langfristig skalierbaren Speicher für die Anforderungen von Unternehmen bereitzustellen. Einige der wichtigsten Vorteile von IBM HPSS sind:

• Verfügbarkeit. Da Db2 die Möglichkeit bietet, die Integrität der Metadaten zu gewährleisten und gleichzeitig eine schnelle Fehlerbehebung zu bieten, ist es für HPSS nicht besonders schwierig, eine Kombination aus langfristiger Datensicherung und hoher Datenverfügbarkeit zu bieten. HPSS RAIT (Redundant Array of Independent Tapes) bietet kostengünstige Datenredundanzfunktionen, und die Datengenauigkeit wird durch logischen Blockschutz und Dateiprüfsummenvalidierung sichergestellt.
• Effizienz. HPSS verwendet eine Kombination von Techniken, um hohe Leistung und beeindruckende Effizienz zu gewährleisten. Die Zugriffslatenz wird durch die Organisation der R/W-Reihenfolge verringert, die Geschwindigkeit der Übertragung großer Dateien wird durch parallele Übertragung und Kollokation verbessert und Transparenz für die Endbenutzer wird durch verschiedene Automatisierungsfunktionen mit Richtlinienverwaltung erreicht.
• Support. HPSS wird von IBM unterstützt und mit einer beeindruckenden Anzahl von Leistungen versehen – Installation, Konfiguration, Testergebnisse, Komponentenüberprüfung und eine detaillierte Lösungsarchitektur.
• Hohe Skalierbarkeit. HPSS verfügt über eine einzigartige Struktur, die bei Bedarf eine schrittweise Skalierung ermöglicht. Durch das Hinzufügen von Speicher-, Netzwerk- und Rechenressourcen zum Namensraum ist es möglich, Exabytes von Daten und Milliarden von Dateien in ein und demselben Namensraum zu speichern.

Innovationen von HPSS

HPSS ist ein außergewöhnliches Beispiel dafür, wie Software mehr als zehn Jahre alt werden kann, bevor sie vollständig ersetzt wird. Das HPSS-Benutzerforum im Jahr 2022 markierte den dreißigsten Geburtstag dieser Software, und sie ist bis heute ungebrochen. Einige der wichtigsten Innovationen, die HPSS der Branche gebracht hat, sind:

• Remote Procedure Calls. HPSS gilt weithin als eine der ersten Infrastrukturen, die durch den Einsatz von Remote Procedure Calls Vorteile beim verteilten Rechnen erlangte.
• Hierarchische Speicherverwaltung. Da es sich bei HSM um ein mehrstufiges Speichermodell handelt, kann die Implementierung in einer praktischen Umgebung äußerst schwierig sein. HPSS ist offiziell das allererste Beispiel für eine kommerziell erfolgreiche HSM-Implementierung.
• Netzwerkbasierte Architektur. In den 1990er Jahren gab es einen bestimmten Zeitraum, in dem praktisch alle HPC-Einheiten auf ein verteiltes Designmodell umgestellt wurden, so dass die Verwendung von Netzwerken für die Datenübertragung praktisch obligatorisch wurde. HPSS war eine der ersten erfolgreichen Implementierungen der verteilten Netzwerkfähigkeit in der Branche.
• Eine klare Trennung zwischen Befehlen für den Steuerverkehr und Datenbefehlen. HPSS hat seine Skalierungsmöglichkeiten durch die vollständige Trennung von zwei verschiedenen Funktionsgruppen – Daten- und Verkehrssteuerungsbefehle – erheblich verbessert.
• Verteilte Transaktionen. Die gesamte Idee einer verteilten Architektur wurde ursprünglich von einer kleinen Anzahl von Lösungen (einschließlich HPSS) vorgeschlagen, und die Implementierung verteilter Transaktionen war der Hauptauslöser für diesen Vorschlag.

Die Ursprünge von HPSS

HPSS wurde ursprünglich 1992 ins Leben gerufen und durch die Forschung des National Storage Laboratory (NSL) ermöglicht. Der Hauptzweck des NSL war die Kommerzialisierung von Hardware- und Softwaretechnologien, um verschiedene Engpässe im Zusammenhang mit digitalen Informationen zu überwinden – wie z.B. Engpässe bei der Datenspeicherung und bei der Datenverarbeitung.

NSL wurde in Zusammenarbeit zwischen IBM und fünf nationalen Laboratorien des Energieministeriums in den USA gegründet:

• Oak Ridge (ORNL);
• Lawrence Livermore (LLNL);
• Sandia (SNL);
• Los Alamos (LANL);
• Lawrence Berkeley (LBL).

Die oben genannte Gruppe von Forschungseinrichtungen erkannte, dass die so genannte „Datenspeicherexplosion“ bevorstand, die einen enormen Anstieg verschiedener Parameter wie Datenspeicherung, Datenübertragungsgeschwindigkeit und Rechenleistung zur Folge haben würde. Diese Zusammenarbeit zielte darauf ab, eine Infrastruktur zu schaffen und einzusetzen, die mühelos mit allen erwarteten Parametern und darüber hinaus skalieren kann. Ziel war es, ein System zu schaffen, das Gigabytes an Datenübertragungsgeschwindigkeit, Dutzende von Terabytes an Datendurchsatz und Petabytes oder sogar Exabytes an gespeicherten Daten unterstützen kann.

Die ursprüngliche IBM HPSS-Zusammenarbeit war sich darüber im Klaren, dass es weltweit keine einzige Organisation gibt, die über die Ressourcen und die Erfahrung verfügt, um alle neuen Speicher- und Übertragungsanforderungen auf einmal zu erfüllen. Während des gesamten Bestehens von HPSS haben mehr als zwanzig verschiedene Unternehmen und Organisationen an der Entwicklung dieses Projekts mitgewirkt, darunter NSF-Supercomputerzentren, US-Bundeslaboratorien, Universitäten und so weiter.

Das Kernentwicklungsteam von HPSS bestand ab 2022 aus allen sechs ursprünglichen Mitarbeitern – wie IBM Global Business Services, LLNL, ORNL, LANL, SNL und LBNL. Das National Energy Research Scientific Computing Center (NERSC) wird ebenfalls als ein wichtiger Beitrag zur Entwicklung von HPSS als Produkt angesehen.

Die wichtigsten Errungenschaften von HPSS

Im Laufe seiner dreißigjährigen Geschichte hat sich das HPSS-Speichersystem immer wieder verändert und weiterentwickelt und der Branche neue Errungenschaften und Fähigkeiten beschert. Hier sind einige Beispiele dafür:

• Ein relativ unbekannter Test, der die Sicherung von einer Milliarde Dateien beinhaltete, wurde erstmals im November 2007 vom San Diego Supercomputer Center erfolgreich durchgeführt – die fraglichen Daten wurden von GPFS (IBMs eigenem Cluster-Dateisystem) auf HPSS kopiert.
• Das National Center for Supercomputing Applications in Illinois nahm im Mai 2013 eine HPSS-Infrastruktur mit 380 Petabyte Speicherplatz in Betrieb, eine für die damalige Zeit wirklich enorme Speichermenge.

Besonders bemerkenswerte Beispiele für die Nutzung von HPSS

HPSS wird von Dutzenden bekannter und beliebter Unternehmen auf der ganzen Welt eingesetzt und bietet einen leichteren und effizienteren Zugriff auf große Datenpools. In der folgenden Liste stellen wir eine Reihe von Projekten vor, die HPSS für die langfristige Datenspeicherung nutzen:

• Das Dark Energy Spectroscopic Instrument– mehr als 5 Petabytes an Experimentergebnissen und Simulationsdaten.
• Das Joint Genome Institute – mehr als 20 Petabyte an Informationen, darunter kartierte Sequenzen, assemblierte Genome, qualitätskontrollierte Sequenzen, Rohsequenzen, Transkriptome und mehr.
• The Advanced Light Source(Berkeley’s Lab) – über 4 Petabytes an Daten für zehn Jahre, einschließlich aller Informationen der Tomographie-Strahlführung.
• Das Intergovernmental Panel on Climate Change – mehr als 30 Petabytes an Informationen, einschließlich Erdsystem- und Klimasimulationen und viele weitere Daten, die zur Reanalyse des zwanzigsten Jahrhunderts beigetragen haben (ein internationales Projekt mit dem Ziel, einen Datensatz der atmosphärischen Zirkulation für das gesamte 20. Jahrhundert zu erstellen).
• Der kosmische Mikrowellenhintergrund – mindestens 5,5 Petabyte an Simulationen und Daten aus verschiedenen Experimenten, darunter die Südpol-Experimente, BICEP, Keck und 17 verschiedene Teleskope auf dem ganzen Planeten.

Die Gegenwart und die Zukunft von HPSS

HPSS wurde ursprünglich geschaffen, um die Welt in Bezug auf Netzwerkstandards, Speicherkapazitäten, Übertragungsraten usw. voranzubringen. Diesem Projekt ist es gelungen, über dreißig Jahre nach seiner Gründung an der Spitze des Fortschritts und der technologischen Entwicklung zu bleiben – und es besteht kein Zweifel daran, dass es dies auch in Zukunft tun wird.

Dieses System hat sich ständig weiterentwickelt, ist gewachsen und hat im Laufe der Zeit neue Funktionen implementiert, Lösungen für bestehende Probleme eingeführt und verschiedene Standards im Hinblick auf die Verwaltung großer Datenmengen angehoben. So wird beispielsweise die Benutzerfreundlichkeit als das nächste große Ziel angesehen – ein Versuch, die Arbeit mit HPSS-Speicher einfacher zu gestalten und gleichzeitig andere bekannte Herausforderungen des Systems, wie z.B. die Begrenzung der Dateigröße und der Dateilänge, zu bewältigen.

HPSS und Bacula Enterprise

HPSS ist eine sehr anwendungsspezifische Datenspeicherlösung, die häufig in wissenschaftlichen, Forschungs- und Laborumgebungen eingesetzt wird – typischerweise in Organisationen auf Regierungsebene. Die Tatsache, dass diese Anwendungsfälle so weit von den Anforderungen normaler Unternehmen entfernt sind, bedeutet nicht, dass diese Daten nicht angemessen geschützt werden sollten. Normalerweise ist das Gegenteil der Fall. Glücklicherweise gibt es Lösungen wie Bacula Enterprise, die viele verschiedene Datentypen und Speicherumgebungen schützen und absichern – auch die von HPC und Supercomputing.

Regierungsbehörden wie die NASA und die US National Laboratories verlassen sich auf Bacula Enterprise, um viele Petabytes an Daten zu schützen, die mit IBM HPSS gespeichert werden. Die NASA hat Bacula für ihre anspruchsvollen Umgebungen u.a. deshalb gewählt, weil es sofortige HPSS-Unterstützung, Multi-User-Zugriff, FIPS-konforme Verschlüsselung und keinen kapazitätsbasierten Lizenzierungsmodus bietet. Bacula lässt sich nicht nur nahtlos mit der HPSS-Technologie verbinden und entspricht deren enormer Skalierbarkeit, sondern ist auch wegen seiner hohen Sicherheitsqualitäten, seiner speziellen HPC-Verwaltungstools und seiner Fähigkeit, Milliarden von Dateien zu verwalten, die bevorzugte Sicherungslösung in Supercomputing- und HPC-Umgebungen. Außerdem wird das Lizenzierungsmodell von Bacula nicht nach Datenvolumen berechnet, was die Kosten erheblich senkt.

Erfahren Sie mehr über den Erfolg von Bacula Enterprise bei der NASA (sowie über die Sicherungs- und Wiederherstellungsfunktionen von Bacula für HPSS) in unserem Eigener Artikel zu diesem Thema.