Holstein IT-Solutions TrueNAS
StartStorageComposable Disaggregated Infrastructure mit LIQID

Composable Disaggregated Infrastructure mit LIQID

Veröffentlicht am:

Dir gefällt dieser Artikel? Unterstütze unsere Arbeit mit einer Spende für unsere Kaffeekasse.

Eine Case Study der UK National Supercomputing Facility an der Durham University machte uns auf Liquid aufmerksam. Mit der COSMA 8 (COSmological MAchine) für Large Scale Simulations wie die Entwicklung des Weltraums vom Urknall bis zu seiner aktuellen Ausprägung. Diese Simulationen sind teilweise extrem speicherhungrig oder GPU-lastig.

Wenn wir diese großen Simulationen durchführen, sind einige Bereiche des Universums mehr oder weniger dicht, je nachdem, wie die Materie kollabiert ist. Die sehr dichten Bereiche erfordern mehr Arbeitsspeicher für die Verarbeitung. Dank der Kompositionsfähigkeit können die Ressourcen zu diesen Zeiten verschiedenen Arbeitslasten zugewiesen und der Speicher zwischen den Knoten geteilt werden. Wenn wir die Simulation formatieren und zu Bereichen kommen, die mehr Arbeitsspeicher benötigen, müssen wir die Dinge nicht physisch verschieben, um diesen Teil der Simulation zu verarbeiten.

Alastair Basden, Technical Manager DiRAC* Memory Intensive Service an der Durham University

SLURM!

Das Problem sind der hohe Bedarf an teuren Komponenten (GPU, RAM) und deren bestmögliche Ausnutzung. Mit Liqid CDI Software/Hardware lassen sich HW-Komponenten on demand zusammenschalten, ohne dass sie physisch bewegen oder montieren zu müssen.

Durham University Liqid Composable Solution Usecase

Durham University’s Liqid Composable Solution (Quelle: Liqid)

Software Defined Infrastructure

Realisiert wird das Ganze über ein switched PCIe Network. Der Aufbau ist identisch bzw. ähnlich zu SAN, Ethernet und Infiniband. Für die Compute Nodes braucht es einen PCIe HBA. Aktuell gibt es die Ver Versionen PCIe 3.0 und PCIe 4.0, PCIe 5.0 wird ab ca. 1HJ/2023 verfügbar sein, wenn die ersten Server- und Storage-Systeme das auch unterstützen. Der PCIe Switch ist ein Liqid Grid in 24/48 Ports Ausführung. Für die Aufnahme der GPU, FPGA, NVMe SSDs oder SCM-Module (Storage Class Memory) sind PCIe Expansion Chassis in diversen Größen verfügbar. Die Liqid Matrix Software unterstützt slurm für das Workflow-Management und VMware (vCenter Plugin). OpenStack/K8S-Support steht auf der Roadmap.

Derzeit dürfte das switched PCIe etwas Proprietäres sein. Der zukünftige Standard dürfte Compute Express Link (CXL) sein.

Mit Liqid lassen sich die Vorteile der Cloud (Flexibilität, Skalierbarkeit, Agilität) on premises nutzen – zu einem Bruchteil der Kosten. Nachteil: Man muss sich selbst drum kümmern, seine Anforderungen (!Workloads) genau kennen und wenigstens ansatzweise Ahnung von Compute- und Storage-Architektur haben.

Cloud-Vorteile on-prem nutzen und sparen (Quelle: Liqid)

Die komplette Case Study findest du online. In einem White-Paper von ESG sind die Auswirkungen von composable infrastructure auf die Nachhaltigkeit zusammengefasst.

Und wer ist jetzt Slurm?! Einige von euch kennen den Slurm Workload Manager möglicherweise noch als Simple Linux Utility for Resource Management (SLURM). Mit Slurm lassen sich u. a. zeitabhängig Ressourcen bestimmten Jobs zuweisen und die Warteschlange verwalten. Der Job Scheduler für Linux und Unix-Derivate ist auf etwa 60% der Top 500 Supercomputer im Einsatz.

* DiRAC bedeutet Distributed Research Utilising Advanced Computing System.

Werbung
European Cloud Summit

Auch interessant

Next Generation Computational Storage

2017 veränderte ScaleFlux mit Computational Storage die Art, wie große Datenmengen verarbeitet werden. Mittlerweile bietet der Pionier mit seiner 3000er Serie SSDs der nächsten Generation. Doch wer ist ScaleFlux überhaupt und was ist Computational Storage?

Das Märchen vom selbstheilenden Endgerät

Der Versprechen klingt zu schön, um wahr zu sein: IT, die sich selbst heilen kann. Um eines gleich vor weg zu nehmen: IT kann sich nicht selbst heilen – jedenfalls nicht, ohne dass vorher ein paar Parameter definiert werden. Und so verlockend die Versprechen der Hersteller sind, so enttäuschend dürfte das Erwachen auf Anwenderseite sein. Einen Anbieter stufen wir sogar als extrem gefährlich ein. Wir sagen euch aber auch, wer es besser macht, wem ihr mehr vertrauen könnt und worauf es bei der Auswahl eines geeigneten Anbieters ankommt.

Hierarchisches Storage-Management aus Deutschland

Storage benötigt Platz und kostet Geld. Hierarchisches Storage Management (HSM) unterstützt Unternehmen nicht nur dabei, Daten intelligent zu verwalten und bei der Einhaltung rechtlicher Vorschriften. Es hilft vor allem, die Kosten im Zaum zu halten. Die Lösung von PoINT ist ein HSM-System Made in Germany.

Lumen EMEA an Colt verkauft

Lumen Technologies (ehemals CenturyLink, davor Level3) hat den Verkauf des EMEA-Geschäfts an Colt bekannt gegeben. Die meisten der vom EMEA-Verkauf betroffenen Lumen-Mitarbeiter sollen nach Abschluss der Transaktion zu Colt wechseln. Europäische Lumen-Kunden wechseln quasi über Nacht zu einem der Marktführer.

Mehr aus diesem Forum

Next Generation Computational Storage

2017 veränderte ScaleFlux mit Computational Storage die Art, wie große Datenmengen verarbeitet werden. Mittlerweile bietet der Pionier mit seiner 3000er Serie SSDs der nächsten Generation. Doch wer ist ScaleFlux überhaupt und was ist Computational Storage?

Das Märchen vom selbstheilenden Endgerät

Der Versprechen klingt zu schön, um wahr zu sein: IT, die sich selbst heilen kann. Um eines gleich vor weg zu nehmen: IT kann sich nicht selbst heilen – jedenfalls nicht, ohne dass vorher ein paar Parameter definiert werden. Und so verlockend die Versprechen der Hersteller sind, so enttäuschend dürfte das Erwachen auf Anwenderseite sein. Einen Anbieter stufen wir sogar als extrem gefährlich ein. Wir sagen euch aber auch, wer es besser macht, wem ihr mehr vertrauen könnt und worauf es bei der Auswahl eines geeigneten Anbieters ankommt.

Hierarchisches Storage-Management aus Deutschland

Storage benötigt Platz und kostet Geld. Hierarchisches Storage Management (HSM) unterstützt Unternehmen nicht nur dabei, Daten intelligent zu verwalten und bei der Einhaltung rechtlicher Vorschriften. Es hilft vor allem, die Kosten im Zaum zu halten. Die Lösung von PoINT ist ein HSM-System Made in Germany.