Holstein IT-Solutions TrueNAS
StartStorageHierarchisches Storage-Management aus Deutschland

Hierarchisches Storage-Management aus Deutschland

Veröffentlicht am:

Dir gefällt dieser Artikel? Unterstütze unsere Arbeit mit einer Spende für unsere Kaffeekasse.

Große Datenmengen in Unternehmen verursachen schnell die ein oder andere Herausforderung. Storage benötigt Platz und kostet Geld. Regulatorische Vorgaben oder langfristige Projekte erfordern die Aufbewahrung von Daten über teils sehr lange Zeiträume. Bis zu 70% der Daten sind inaktiv, auf bis zu 20% wird nur selten zugegriffen.

Hierarchisches Storage Management (HSM) unterstützt Unternehmen nicht nur dabei, Daten intelligent zu verwalten und bei der Einhaltung rechtlicher Vorschriften. Es hilft vor allem, die Kosten im Zaum zu halten.

Legen Sie keine Objekte in Dateisystemen ab. Setzen Sie einen S3-Dienst nicht auf ein Dateisystem.

Thomas Thalmann, Geschäftsführer von PoINT

Was macht ein HSM?

HSM legt Daten automatisiert auf dem am besten geeigneten Speichermedium ab. Dabei berücksichtigt das HSM, wie häufig auf die Daten zugegriffen wird:

  • Daten im regelmässigen Zugriff (heiße Daten) werden nahe an der Anwendung oder dem Anwender gespeichert. Um die Zugriffszeiten weiter zu verkürzen, kommen hierbei oft teure SSDs oder Storage Class Memory zum Einsatz.
  • Für Daten, auf die nur gelegentlich zugegriffen werden muss (warme Daten), werden häufig günstigere HDD mit höheren Kapazitäten verwendet, die in der Hierarchie nicht so nah an Anwendungen liegen.
  • Archivdaten (kalte Daten) werden oft in Tape-Libraries oder extrem günstigem S3-Cloudspeicher (z. B. Amazon S3 Glacier) abgelegt.

Moderne HSM-Systeme bewegen die Daten automatisiert zwischen den verschiedenen Speicherebenen.

Konzept PoINT Storage Manager
Der PoINT Storage Manager sorgt dafür, dass Unternehmensdaten immer auf dem richtigen Medium zur Verfügung stehen bzw. abgelegt werden. (Quelle PoINT)

Dazu nutzen viele Anbieter Mechanismen des maschinellen Lernens. Neben Zugriffshäufigkeit und Größe der Daten spielen dabei auch Priorität und Compliance-Vorgaben eine Rolle. Mithilfe heuristische Schwellenwerte können sogar Vorhersagen für die Bewegung der Daten getroffen werden (Predictive Analytics).

Anwendungsfall PoINT Storage Manager
Anwendungsszenario des PoINT Storage Managers am Beispiel eines großen Automobilherstellers

Intelligente Speicherverwaltung made in Europe

YouTube player
Intelligentes Tiering für Unternehmensdaten
PoINT-Geschäftsführer Thomas Thalmann auf der IT Press Tour in Paris

PoINT hat sich von Anfang an auf unstrukturierte Daten konzentriert. Bereits seit 1985 entwickelte man erfolgreich Produkte im Bereich Storage Management und Archivierung – zunächst im Bereich der optischen Speicher, später kamen weitere Medien hinzu. Mit der Entwicklung von innovativen Softwareprodukten für die Archivierung auf optischen Medien hat das Team bei Philips und Digital Equipment maßgeblich bei der Bereitstellung und Standardisierung wesentlicher CD-Technologien mitgewirkt und diese beeinflusst. Im Dezember 1994 als PoINT Software & Systems GmbH gegründet, konzentriert die Firma sich heute auf drei Produkte: Storage Manager, Archival Gateway und Data Replicator.

Mit Version 3.0 hat PoINT den Funktionsumfang seines Tape-basierten Objektspeichers PoINT Archival Gateway erheblich erweitert. Der hochperformante und flexibel skalierbare Objektspeicher nutzt die standardisierte S3 Schnittstelle und kann Daten ohne Zwischenspeicherung auf Festplatten direkt auf Tape schreiben.

Architektur des PoINT Archive Gateways
Über die standardisierte S3-Schnittstelle schreibt PoINT Archival Gateway Daten direkt auf Tape. (Quelle: PoINT)

Mit der Version 3.0 werden u. a. Object Locking und Object Tagging unterstützt. Object Locks können ein vorzeitiges Löschen von Objektversionen verhindern und stellen so die Einhaltung von Ablauf- oder Sperrfristen sicher. Die Locks können sowohl auf Objekt- als auch auf Bucket-Ebene konfiguriert werden. Neben der Umsetzung rechtlicher Vorgaben erhöhen Objektsperren zudem den Schutz vor Ransomware. Mit Hilfe von Objektmarkierungen (Object Tags) lassen sich gezielt Objekte löschen. Das hilft bei der Festlegung und Umsetzung von Objekt-Lifecycle-Richtlinien.

Außerdem wurde mit der neuen Version die Verarbeitungsgeschwindigkeit gleichzeitiger Anfragen wesentlich gesteigert. Eine andere Erweiterung steigert das Processing insbesondere bei kleineren Objekten und verbessert so die Lastverteilung über mehrere Nodes. Das neu integrierte Syslog-Protokoll schließlich kopiert Systemprotokoll- und Ereignismeldungen in einen zentralen Syslog-Server.

Aufbau des PoINT Archive Gateways
Verbesserte Lastverteilung über mehre Interface Nodes im PoINT Archival Gateway 3.0

„Für die Weiterentwicklung unserer Software-Lösungen stehen wir immer in engem Kontakt mit unseren Kunden. Mit der neuen Version 3.0 von PoINT Archival Gateway haben wir entscheidende Verbesserungen im Hinblick auf Datensicherheit und Performance erreicht. Die Lösung erfüllt die Anforderungen der Anwender und unterstützt sie auch bei der Bewältigung künftiger Herausforderungen im Storage-Bereich.“

Sebastian Klee, Leiter Marketing & Sales bei PoINT Software & Systems

PoINT Archival Gateway – Unified Object Storage ist ein Software-definierter S3 Objektspeicher, der die Speicherklassen Disk und Tape in einem Single Namespace kombiniert. Die Erweiterung ermöglicht auch Konfigurationen wie Tape-only und Disk-only, mit der Option der späteren Erweiterung um die jeweils andere Speicherklasse. Die Objekte werden mittels AWS S3 kompatibler Lifecycle Policies zwischen den Speicherklassen verschoben. So können die Speichertechnologien ihren spezifischen Eigenschaften entsprechend optimal genutzt werden. In Expiration Policies können Aufbewahrungsfristen festgelegt und die fristgerechte Löschung von Objekten umgesetzt werden.

Keine Einbahnstraße

Objekte, die auf Tape verschoben wurden, können direkt von Tape wieder gelesen werden. Ein Restore auf Festplatte ist ebenfalls möglich. Außerdem kann PoINT Archival Gateway – Unified Object Storage eine automatische Replikation auf Disk und Tape durchführen.

Die Erweiterung um eine Festplatten-Speicherklasse Anwendern eine Vielzahl an weiteren Use Cases. Insbesondere Applikationen, die niedrige Latenzen erwarten, wie z.B. HPC File Systems, bestimmte Backup-Anwendungen und Data Management Lösungen können PoINT Archival Gateway – Unified Object Storage als Zielspeichersystem einsetzen.

Use Cases PoINT Archive Gateway
Anwendungsbeispiele für das PoINT Archival Gateway (Quelle: PoINT)

Mit der sofortigen Archivierung werden neue Dateien sofort ins Archiv geschrieben. Basierend auf einem Standardprotokoll und der “Pass Through on Read”-Funktion haben Anwendungen und Anwender jederzeit transparenten Zugriff auch auf archivierte Daten. Mit der integrierten Versionierung wird die ursprünglichen Dateiversion bei der Bearbeitung beibehalten. WORM schützt archivierte Dateien vor Änderungen. Mit dem Retention Management können anwendungsgesteuerte Aufbewahrungsfristen durch Setzen des Nur-Lese-Flags und der Zugriffszeit (Mindest-/Standardfrist) konfiguriert werden. Verfallsrichtlinien steuern automatisiertes Löschen oder Verschieben von Objekten, z. B.: Migration von Objekten vom Datenträger auf Band 30 Tage nach Erstellung oder Löschen von Objekten ein Jahr nach Erstellung. Die Produkte nutzen Erasure Coding zum Schutz der Daten.

Kognitives Datenmanagement

Für PoINT stellt Forschung ein zentrales Element dar. Das Unternehmen beteiligt sich an Forschungsprojekten und arbeitet mit renommierten Universitäten zusammen, wie der TU Dresden. Im Rahmen dieser Forschungsprojekte lernt eine kognitiven KI, welche Objekte wo und wann sinnvoll gespeichert werden. Der Launch ist für Q2 2023 geplant.

Auswahlkriterien für eine HSM-Lösung

HSM-Systeme unterscheiden sich meist in der Leistung aber auch in ihrem Funktionsumfang. Folgende Eigenschaften sollte eine geeignete Lösung mindestens haben:

  • Verarbeitung von Daten aus unterschiedlichen Quellen und Kanälen
  • einheitlicher Namensraum über alle Medien
  • Verschlüsselung der Daten
  • Schutz vor Ransomware
  • Fähigkeit, Daten wiederherzustellen (Disaster Recovery)
  • Einsatz on-premises
  • Umsetzung gesetzlicher Vorschriften und Richtlinien
  • Datenintegritätsfunktionen wie Hashes, Zeitstempel und Journale
  • Metadatenindex direkt aus den zu verwaltenden Systemen
  • Skalierbareit im PB-Bereich sowie für Milliarden von Objekten
  • Herstellerunabhängigkeit
  • Einblicke in Merkmale wie Alterung, Zugriffshäufigkeit, Dateitypen, Dateigrößen, usw.
  • Verwendung offener oder standardisierter Protokolle
  • Redundanz

Cloud is not a storage media!

Wir trafen Thomas Thalmann, Geschäftsführer von PoINT, und Sebastian Klee, Leiter Marketing & Sales, im Rahmen einer IT Press Tour 2023 in Paris.
Backup Cloud2Tape PoINT Archive Gateway
Cloud-Backup to Tape mit PoINT Archival Gateway

Mehr von PoINT auf unserem YouTube-Kanal:

YouTube player
Cloud/Object-basierte Datenspeicherung mit HSM/ILM in S3 Speicherklassen – Vortrag vom Storage-Forum 2019 in Leipzig
YouTube player
Tape-basierter Object-Storage als S3 Speicherklasse und Cloud-Absicherung – Vortrag vom data://disrupted® – the summit 2020

Weitere Anbieter von S3-fähigen Bandarchiven sind u. a. StrongLink, XenData sowie die ebenfalls aus Deutschland stammende Lösung XtreemStore von GRAU DATA

Werbung
European Cloud Summit

Auch interessant

Kubernetes: Was ist es, warum ist es so kompliziert und was hilft?

Kubernetes ist ein Werkzeug zur Orchestrierung containerbasierter Anwendungen. Eigentlich. Es soll u. a. die Bereitstellung von Containern, die Verteilung von Workloads und die Verwaltung der Ressourcen automatisieren. Entwickelt hat es Google für seine eigene Cloud-Plattform. Es gibt unzählige Erweiterungen und Lösungen, die auf K8s aufsetzen. Alle großen Hyperscaler und viele kleinere Cloud Service Provider (CSP) unterstützen K8s. Allerdings: einfach ist es nicht.

Datensicherheit: Storage & Backup

Nachdem wir uns im letzten Artikel mit der allgemeinen Widerstandsfähigkeit von Unternehmen beschäftigt haben, konzentrieren wir uns diesmal auf Storage und Backup. Auch dazu gibt es einige aufschlussreiche Reports und wir haben einen Leitfaden zur Sicherheit von Storage gefunden.

Cybersicherheit in Unternehmen und Behörden: Status, Trends und Hilfestellung

Zum Jahreswechsel veröffentlichen viele Unternehmen Reports. Die Erfahrungen und Expertise der Anbieter können Unternehmen helfen, eine passende IT-Strategie zu entwickeln. Wir haben wichtige Einsichten für euch zusammengefasst. In diesem Artikel geht es um den Stand der Cybersicherheit und wie man sich künftig schützen sollte.

Mehr als Döner und Türkisküste: Die Türkei erobert den Technologiemarkt

Mehr als Döner und Türkisküste: Die Türkei erobert den Technologiemarkt. Eines dieser Unternehmen ist die in Ankara ansässige Firma NGX Storage. Die eigene Entwicklung und moderne Ansätze nicht nur beim Preismodell macht die Lösung zu einer ernstzunehmenden Konkurrenz für Platzhirsche wie NetApp, Infinidat oder VAST. In Deutschland sucht NGX aktiv nach Vertriebspartnern.

Mehr aus diesem Forum

Kubernetes: Was ist es, warum ist es so kompliziert und was hilft?

Kubernetes ist ein Werkzeug zur Orchestrierung containerbasierter Anwendungen. Eigentlich. Es soll u. a. die Bereitstellung von Containern, die Verteilung von Workloads und die Verwaltung der Ressourcen automatisieren. Entwickelt hat es Google für seine eigene Cloud-Plattform. Es gibt unzählige Erweiterungen und Lösungen, die auf K8s aufsetzen. Alle großen Hyperscaler und viele kleinere Cloud Service Provider (CSP) unterstützen K8s. Allerdings: einfach ist es nicht.

Datensicherheit: Storage & Backup

Nachdem wir uns im letzten Artikel mit der allgemeinen Widerstandsfähigkeit von Unternehmen beschäftigt haben, konzentrieren wir uns diesmal auf Storage und Backup. Auch dazu gibt es einige aufschlussreiche Reports und wir haben einen Leitfaden zur Sicherheit von Storage gefunden.

Cybersicherheit in Unternehmen und Behörden: Status, Trends und Hilfestellung

Zum Jahreswechsel veröffentlichen viele Unternehmen Reports. Die Erfahrungen und Expertise der Anbieter können Unternehmen helfen, eine passende IT-Strategie zu entwickeln. Wir haben wichtige Einsichten für euch zusammengefasst. In diesem Artikel geht es um den Stand der Cybersicherheit und wie man sich künftig schützen sollte.