Festplatten, Ersatz und Replikation

18 min · 10 Abschnitte

Was sich mit den Festplatten machen lässt, über das Anlegen eines Volumes hinaus: es schneller machen, eine als Ersatz bereithalten, eine lebende Kopie an ein anderes NAS schicken und eine Festplatte über das Netz verleihen.

Ersatzfestplatte

Speicher → die Karte des Volumes → „Ersatzfestplatte“. Nur ZFS.

Ein Volume mit Redundanz hält es aus, dass eine Festplatte stirbt, aber es bleibt ohne Schutz, bis jemand sie tauscht. Passiert das an einem Freitagabend, hängt das ganze Wochenende an einer einzigen Festplatte.

Der Ersatz ist eine Festplatte, die steckt, leer ist und wartet. Fällt eine andere aus, setzt ZFS sie von allein an deren Platz, und das Volume ist wieder geschützt, ohne dass jemand davorsitzen muss.

• Beim ersten Ersatz schaltet das Panel autoreplace ein, und genau das macht den Ersatz erst nützlich: Ohne diese Eigenschaft lässt ZFS ihn dort liegen und das Volume degradiert, bis jemand das Panel öffnet.
• Er bringt keinen Platz. Er ist mit Absicht leer.
• Beim Hinzufügen geht verloren, was darauf lag: Die Festplatte gehört dann ZFS.
• Wenn er einspringt, sagt das NAS Bescheid. Das ist die beste und die schlechteste Nachricht zugleich: Eine Festplatte ist gestorben, aber deine Daten sind schon wieder geschützt. Tausche die defekte, damit du wieder einen Ersatz hast.
• Ein Ersatz, der schon eingesprungen ist, lässt sich nicht entfernen: Das entfernt keinen Ersatz, das entfernt die halbe Redundanz des Volumes. Tausche zuerst die ausgefallene Festplatte, dann wird der Ersatz von allein frei.

Bei Btrfs gibt es das nicht: Dort wird eine ausfallende Festplatte auf demselben Bildschirm von Hand ersetzt.

Lese-Cache (SSD)

Speicher → die Karte des Volumes → „Lese-Cache“. Nur ZFS.

Eine SSD vor großen Festplatten beschleunigt das wiederholte Lesen. Sie speichert keine Daten: Was darin liegt, ist eine Kopie von dem, was ohnehin auf den Festplatten steht — stirbt die SSD, geht nichts verloren, es wird einfach wieder von der langsamen Festplatte gelesen.

Es gibt mit Absicht kein „Schreib-Log hinzufügen“ (SLOG): Das beschleunigt nur synchrone Schreibvorgänge — ein NAS zu Hause schreibt über SMB, und das ist keiner —, und eines ohne Spiegelung nimmt beim Ausfall die ausstehenden Schreibvorgänge mit. Ein Knopf, den fast niemand braucht und der Daten kosten kann, ist keine Funktion.

Replikation auf ein anderes NAS

Speicher → Replikation.

Ein Backup gibt dir deine Dateien zurück. Eine Replikation gibt dir das Volume zurück: Es reist das ganze Dateisystem mit seiner gesamten Snapshot-Geschichte, sodass das Gerät im anderen Haus das Volume einbindet und weitermacht, wenn dieses hier abbrennt.

• Wirklich inkrementell: Beim ersten Mal reist alles, danach nur noch, was sich geändert hat.
• Nach Zeitplan oder von Hand.
• Das Ziel wird vor dem Speichern getestet. Der übliche Fehler — der SSH-Schlüssel ist auf dem anderen Gerät nicht freigegeben — darf sich nicht um drei Uhr morgens zeigen.
• Der Schlüssel ist derselbe wie bei den Sicherungen: Wer ihn schon freigegeben hat, muss nichts tun.

Was auf der anderen Seite nötig ist

• Ein Gerät mit ZFS (oder Btrfs, je nachdem, was du hier nutzt) und ssh.
• Dass der öffentliche Schlüssel dieses NAS in der ~/.ssh/authorized_keys des Benutzers steht, den du angibst. Das Panel zeigt ihn zum Kopieren.
• Ein Ziel, das es schon gibt: bei ZFS das übergeordnete Dataset (tank2, um nach tank2/kopie zu replizieren); bei Btrfs der Ordner.

Was du wissen solltest

• Die erste Replikation dauert Stunden — es reist alles — und hat mit Absicht kein Zeitlimit. Die folgenden dauern Minuten.
• Das Ziel ist eine Kopie: Was dort abgewichen ist, wird bei jedem Senden verworfen.
• Löscht jemand die Replikation auf dem anderen Gerät, merkt das NAS es und schickt das ganze Volume noch einmal, statt für immer zu scheitern.

Die Ablösung: damit das zweite NAS loslegen kann

Die Replikation schickt die Snapshots des Volumes an ein anderes NAS, ganz und mit ihrer Geschichte. Das löst die halbe Aufgabe. Die andere Hälfte entscheidet, ob es etwas taugt: Was ist an dem Tag zu tun, an dem dieses Gerät stirbt, damit die Leute ihre Dateien wiedersehen?

Bisher war die Antwort eine Liste von Schritten, die nur kannte, wer das NAS aufgebaut hat: per SSH auf das zweite, dem Volume den Nur-Lese-Schutz nehmen, es einbinden, die Freigaben mit denselben Namen neu anlegen und den Namen des Servers ändern. Das ist kein Plan: Das ist eine Liste von Dingen, die man um drei Uhr morgens falsch macht.

Wie es funktioniert

Das Gerät der Quelle schreibt dem Ziel auf, was es zu tun hat: eine kleine Datei, .lgm-relevo.json, im replizierten Volume selbst, mit seinem Namen, seinem SMB-Servernamen und seinen Freigaben samt wer in welche hineinkommt — die Liste der Berechtigungen, die für NFS erlaubten Geräte und der Rest ihrer Einstellungen. Sie reist über dieselbe SSH-Verbindung, die die Replikation ohnehin nutzt. Es ist mit Absicht lesbares JSON: An dem Tag, an dem es gebraucht wird, muss ein Mensch es mit cat lesen können, auch wenn das Panel nicht startet.

Auf dem zweiten NAS erscheint dieser Plan unter Speicher → Replikation als „Dieses Gerät kann NAS-Haus ablösen“, mit einem Knopf. Drückst du ihn:

1. verliert das replizierte Volume seinen Nur-Lese-Schutz;
2. werden seine Freigaben mit denselben Namen und denselben Berechtigungen neu angelegt — und genau darüber findet die Familie ihre Dateien wieder, ohne etwas zu ändern. Konten, die es auf dem zweiten Gerät nicht gibt, werden beim Namen genannt: Leg sie mit demselben Namen an und gib ihnen den Zugriff wieder. Und wenn eine Freigabe NFS hatte, der Plan aber keine Liste erlaubter Geräte mitbrachte, wird sie mit ausgeschaltetem NFS neu angelegt, und du wirst gewarnt: Es ohne Liste einzuschalten würde sie dem ganzen Netz öffnen;
3. und, nur wenn du es ankreuzt, meldet sich dieses Gerät ab dann unter dem Netzwerknamen des anderen.

Eine Freigabe, die es hier schon gibt, wird nicht überschrieben: Jemand kann sie vorher mit eigenen Berechtigungen angelegt haben.

Die Probe

Einmal pro Woche prüft das Gerät der Quelle — ohne etwas zu schreiben —, ob das zweite heute ablösen könnte: dass man hineinkommt, dass es das Volume dort gibt, dass es Snapshots hat und dass der Plan an seinem Platz liegt. Wenn etwas, das bereit war, es nicht mehr ist, sagt es Bescheid. Es ist dieselbe Idee wie bei der Test-Wiederherstellung: prüfen, nicht versprechen.

Die Probe repariert außerdem, was sie findet: Wenn der Plan nicht da ist — oder wenn er etwas anderes sagt, als er heute sagen würde —, legt sie ihn wieder hin. Genau das hält den Plan aktuell: ein Ordner, der im Mai angelegt wurde, oder eine Berechtigung, die letzte Woche verteilt wurde, kommt bei der nächsten Probe in die Ablösung, ohne dass sich jemand daran erinnern muss.

Warum es nicht automatisch passiert

Mit zwei Geräten und einer einzigen Verbindung sehen „der andere antwortet nicht“ und „das Kabel ist durchtrennt“ von hier aus gleich aus. Eine automatische Ablösung würde früher oder später dazu führen, dass beide NAS gleichzeitig schreiben und es zwei verschiedene Fassungen derselben Dateien gibt. Das heißt Split Brain und ist schlimmer als Stillstand, denn es lässt sich nicht rückgängig machen: Zwei Geschichten, die auseinandergelaufen sind, lassen sich nicht mehr zusammenführen.

Also braucht es einen Menschen, der sagt „ja, das erste ist tot“. Dafür ist der Knopf da, und deshalb fragt er nach.

Was die Ablösung nicht macht

• Sie übernimmt nicht die IP des anderen Geräts. Das sind andere Teile (VRRP, keepalived) und eine andere Art von Netz. Was sie übernehmen kann, ist der SMB-Servername, und darüber findet die Familie das NAS.
• Sie gilt nur für Replikationen mit ZFS. Bei Btrfs bekommt das Ziel Subvolumes, keinen startfähigen Klon des Volumes.
• Sie geht nicht von allein zurück. Wenn das erste NAS wieder auflebt, ist die Rückkehr zum Zustand von vorher eine eigene Arbeit: Du musst entscheiden, welche Fassung der Daten gilt, und das ist die Entscheidung eines Menschen.

Von einem Synology oder einem QNAP kommen

Das NAS zu wechseln ist leicht gesagt und teuer gemacht: drei Terabyte zum Kopieren, zwanzig Freigaben, die mit denselben Namen neu anzulegen sind, und eine Liste von Benutzern, die niemand irgendwo aufgeschrieben hat. Die meisten wechseln deswegen nicht, nicht wegen des Preises des Geräts.

Der Assistent unter Systemsteuerung → Die Daten von deinem alten NAS holen erledigt den langweiligen, genauen Teil.

Was er macht

1. Er schaut, was auf dem anderen Gerät liegt, ohne dort etwas zu installieren: Er geht über SMB hinein — das sprechen alle — mit dem Administratorkonto JENES NAS. Es wird nur gelesen: Während des Umzugs ist weiterhin das alte Gerät das mit den guten Daten, und nichts auf diesem Bildschirm schreibt oder löscht dort.
2. Er findet die Benutzer. Weder DSM noch QuTS zeigen ihre Kontenliste über SMB, aber beide legen die persönlichen Ordner unter einer Freigabe namens homes ab, einen pro Person: Diese Liste von Ordnern ist die Liste der Benutzer, und sie ist das Einzige, was sich von außen wissen lässt.
3. Er kopiert Ordner für Ordner und legt die Freigabe hier mit demselben Namen an. Wenn ein Name auf diesem NAS nicht geht — „Meine Fotos“ hat ein Leerzeichen —, wird der vorgeschlagen, der geht („Meine-Fotos“), und es wird gesagt, dass er geändert wurde, statt sich zu weigern.

Das Kopieren lässt sich anhalten und fortsetzen: Was schon angekommen ist, wird nicht noch einmal geholt. Und am Ende werden die Dateien auf beiden Seiten gezählt, Ordner für Ordner, und es wird gesagt, ob etwas fehlt.

Die Zugangsdaten des alten NAS werden nicht gespeichert

Sie leben nur, solange der Umzug dauert, in einer Datei, die nur der Helfer des NAS lesen kann, und sie werden am Ende gelöscht. Das Administratorpasswort eines anderen Geräts für einen Umzug aufzubewahren, der ein Wochenende dauert, heißt, es für immer dort zu lassen. Sie stehen auch nicht in der Befehlszeile, denn während der Stunden, die das Kopieren dauert, würde jeder sie sehen, der sich die Liste der Prozesse anschaut.

Was NICHT mitkommen kann

Das wird vorher gesagt, nicht in einer Fußnote, denn ein Umzug, der zu viel verspricht, lässt jemanden glauben, er habe schon, was er nicht hat — und das zeigt sich Wochen später, wenn das alte NAS längst verkauft ist:

Die Reihenfolge, die am wenigsten wehtut

1. Hol zuerst einen kleinen Ordner und prüf ihn: Öffne drei Dateien.
2. Leg die Benutzer an, die er gefunden hat, mit vorläufigem Passwort, und sag ihnen Bescheid.
3. Hol den Rest nachts, wenn das Netz frei ist.
4. Verkauf das alte NAS nicht, bevor du von diesem hier wirklich etwas wiederhergestellt hast. Einen Monat lang beide angeschaltet zu lassen kostet wenig und verhindert den einzigen Fehler des Umzugs, der sich nicht rückgängig machen lässt.

Die Verschlüsselung und ihre Schlüssel

Ein Volume zu verschlüsseln ging schon beim Anlegen: ZFS kann das ab Werk. Was fehlte, ist das danach, und genau dort wird die Verschlüsselung zum Problem statt zum Schutz.

Unter Speicher → Zustand → Verschlüsselung und Schlüssel gibt es drei Dinge:

Das Passwort ändern

Wenn es jemand erfahren hat, der es nicht mehr wissen sollte — ein Techniker, ein ehemaliger Partner, ein Mitbewohner —, war bisher der einzige Ausweg, ein neues Volume anzulegen und drei Terabyte zu kopieren. Das macht niemand, also wurde das Passwort in der Praxis nie geändert.

ZFS bewahrt einen Hauptschlüssel auf und verpackt ihn mit deinem Passwort: Es zu ändern verpackt diesen Schlüssel neu und verschlüsselt kein einziges Byte neu. Es dauert mit einem Gigabyte genauso lang wie mit zwanzig Terabyte, also lässt es sich an dem Tag machen, an dem es nötig ist.

Prüfen, ob du es noch weißt

Bei einem schon geöffneten Volume gibt es kein Anzeichen dafür, ob du das Passwort kennst: Gebraucht wird es nur beim Start. Wenn du es falsch aufgeschrieben hast, merkst du es Monate später, mit stehendem NAS.

Der Knopf Prüfen, ob es dieses ist macht nichts als das: Er öffnet nichts, bindet nichts ein und hält nichts an. Prüf es ab und zu; es dauert einen Moment und verhindert den einzigen Fehler, für den es keine Lösung gibt.

Der Schlüssel auf einem USB-Stick

Ein Stromausfall um vier Uhr morgens lässt das verschlüsselte Volume verschlossen, und damit gibt es keine Dateien, keine Sicherungen und keine Kameras, die aufnehmen, bis jemand nach Hause kommt und das Passwort eingibt. Für viele ist das Grund genug, gar nicht zu verschlüsseln, und das ist das schlechteste mögliche Ergebnis.

Mit dem Schlüssel auf einem USB-Stick öffnet das NAS das Volume von allein, solange dieser Datenträger steckt. Was dort gespeichert wird, ist dasselbe Passwort, kein anderes: Verlierst du den Stick, gilt das von Hand eingegebene Passwort weiterhin.

Und was das heißt, klar gesagt: Wer das NAS mit steckendem USB-Stick mitnimmt, nimmt auch den Schlüssel mit. Das schützt vor dem Diebstahl einer Festplatte — oder davor, dass eine alte Festplatte mit deinen Fotos im Müllcontainer landet —, nicht vor dem Diebstahl des ganzen Geräts. Wenn dich das Zweite beunruhigt, lass das Passwort von Hand eingeben und bewahre den Stick woanders auf.

Das Rettungsblatt

Der Knopf Rettungsblatt gibt dir einen Text zum Ausdrucken mit dem, was zu tun ist, wenn dieses Panel nicht startet: wie du das Volume importierst und es von irgendeinem Linux mit ZFS aus öffnest.

Es enthält das Passwort nicht, und das ist kein Versehen: Das NAS bewahrt es nirgends auf, und genau deshalb taugt die Verschlüsselung etwas. Ein Blatt, das es enthielte, wäre das Glied, das alles andere bricht. Wenn sich niemand an das Passwort erinnert, sind die Daten dieses Volumes nicht wiederherzustellen: weder vom Hersteller noch von diesem Panel noch von sonst jemandem.

Externe Festplatten (USB)

Speicher → Externe Festplatten.

Der USB-Stick oder die USB-Festplatte, die du eine Weile ansteckst: um die Fotos vom alten Laptop zu holen oder um ein paar Dateien zu jemandem mitzunehmen. Das ist kein Volume des NAS und muss auch keines sein; hier wird nichts angefasst, was du schon eingebunden hast.

Steck die Festplatte an, und sie erscheint von allein in der Liste, mit ihrem Namen, ihrer Größe und dem, was darauf liegt. Drei Knöpfe:

• Öffnen. Die Festplatte erscheint in Dateien wie ein Ordner mehr, unter dem Namen, den sie trägt, und lässt sich aus dem Browser oder vom Handy lesen und beschreiben. Nur wer das NAS verwaltet, sieht sie: Ein USB-Stick mit den Fotos der Familie wird nicht allen Konten ganz gezeigt.
• Auswerfen. Schreibt auf die Festplatte, was noch im Speicher lag, und schließt sie. **Mach das immer, bevor du am Kabel ziehst**: Was du kopierst, kann Minuten brauchen, bis es wirklich auf der Festplatte ankommt, und wer vorher am Kabel zieht, nimmt eine halb geschriebene Datei mit, ganz ohne Warnung. Wenn etwas auf der Festplatte in Benutzung ist, weigert sich das Panel und sagt es — lass dich von der Eile nicht drängen.
• Formatieren. Lässt sie leer als exFAT zurück, das Einzige, was Windows, macOS und Linux lesen und schreiben, ohne dass man etwas installiert. Alles, was darauf liegt, wird gelöscht, und es gibt kein Zurück; das Panel fragt mit diesen Worten und lässt dich einen Namen vergeben (bis zu 11 Buchstaben).

Was du wissen solltest:

• Gelesen werden Festplatten von Windows (NTFS), FAT32, exFAT und Linux (ext2/3/4). Eine Mac-Festplatte mit APFS oder ein ungewöhnliches Dateisystem erscheint zwar in der Liste, lässt sich aber nicht öffnen und sagt warum: Formatiere sie, wenn du sie hier nutzen willst.
• Eine Festplatte mit mehreren Partitionen wird über die erste geöffnet, die das NAS lesen kann, und das Panel sagt es. Wenn du die anderen brauchst, hol sie von dem Gerät, auf dem sie angelegt wurden.
• Eine USB-Festplatte, die Teil eines Volumes des NAS ist (ein externes Gehäuse mit einer Festplatte aus dem Verbund), erscheint hier nicht: Dafür ist der Bildschirm der Volumes da, und sie aus dem Verbund zu nehmen ist etwas anderes, das von sich aus warnt.
• Wenn du die Festplatte im NAS behalten willst — als Teil eines Volumes, mit seinen Snapshots und seinem RAID —, ist das nicht dein Bildschirm: Das heißt ein Volume anlegen oder erweitern.

Wohin jede Festplatte steuert

Der Bildschirm Zustand sagt, was SMART sagt: „in Ordnung“ oder „fällt aus“. Dieses Urteil kommt viel zu spät, und es lohnt sich zu wissen, warum: Die Schwelle jedes Werts setzt der Hersteller, und er setzt sie dorthin, wo fast kein Spielraum mehr ist. Eine Festplatte kann achtzig verlagerte Sektoren und Hunderte korrigierter Lesevorgänge haben und weiterhin „in Ordnung“ sagen, weil die Schwelle bei mehreren Tausend liegt. Wenn sie endlich „fällt aus“ sagt, hat sie meist schon etwas mitgenommen.

Was einen Ausfall wirklich vorhersagt, ist nicht die Zahl: Es ist, dass die Zahl steigt.

Alle sechs Stunden hält das NAS von vier Zählern pro Festplatte ein Bild fest — verlagerte Sektoren, ausstehende Sektoren, nicht korrigierbare Sektoren und nicht korrigierte Lesevorgänge — und vergleicht. Wenn einer gestiegen ist, warnt es, auch wenn der absolute Wert lächerlich klein ist, und es nennt das Tempo: „drei Sektoren in zwanzig Tagen; in diesem Tempo wären es in etwa X Tagen 100“.

Die Festplatten werden über ihre Seriennummer verfolgt und nicht über /dev/sdX, das beim Neustart den Platz wechselt: vor der falschen Festplatte zu warnen ist schlimmer, als gar nicht zu warnen.

Das Kabel ist nicht die Festplatte

Es gibt einen fünften Zähler, die Übertragungsfehler (CRC), und der steigt wegen eines schlechten oder schlecht steckenden SATA-Kabels, nicht wegen der Festplatte. Fast alle verwechseln das, tauschen eine kerngesunde Festplatte und lassen das Problem im NAS.

Deshalb wird er getrennt und in aller Deutlichkeit gezeigt: Schalte das Gerät aus, steck dieses Kabel an beiden Enden neu an, und wenn er weiter steigt, tausch es. Es ist ein Kabel für drei Euro.

Netzwerkfestplatten (iSCSI)

Speicher → Netzwerkfestplatten.

Eine Festplatte des NAS, die ein anderes Gerät als eigene sieht: Es formatiert sie selbst mit seinem eigenen Dateisystem (NTFS, VMFS, ext4), und es nutzt sie immer nur ein Gerät auf einmal. Das ist es, was Windows Server, Proxmox und VMware verlangen.

Das ist keine Freigabe: Das NAS verleiht Blöcke und weiß nicht, was darin liegt. Um Dateien zwischen mehreren Personen zu teilen, nimm eine Freigabe.

• Die Festplatte ist eine Datei im Volume (<volume>/iscsi/<name>.img) und **belegt, was genutzt wird**, nicht vom ersten Tag an die volle Größe.
• Mit Passwort (CHAP) oder ohne. Wenn du eines setzt, muss es zwischen 12 und 16 Zeichen lang sein: Das ist es, was der Initiator von Windows annimmt, und es hier zu sagen erspart das „es verbindet nicht und sagt nicht warum“ auf der anderen Seite.
• Nur diese Geräte. Du kannst angeben, welche Geräte sie einbinden dürfen, eines pro Zeile. Leer heißt: jedes, das den Port erreicht. Das ist das zweite Schloss: Ein Passwort lässt sich weitersagen, ein Gerätename reist nicht.
• Eine Festplatte, die ein Gerät eingebunden hat, lässt sich nicht entfernen. Das gäbe keinen Fehler: Es würde beschädigen, was dieses Gerät gerade halb geschrieben hat. Aus demselben Grund lässt sich auch ihre Geräteliste nicht ändern, solange sie eingebunden ist: Trenn sie zuerst an dem Gerät, das sie nutzt.
• Das Panel führt keine eigene Liste: Es zeigt die Konfiguration, die das System beim Start wiederherstellt, also kann es nicht das eine sagen, während ein Server etwas anderes sieht.

Wo der Name eines Geräts steht

Jedes Gerät stellt sich mit einem langen Namen vor, der mit iqn. anfängt (der „Initiator“). Genau der wird unter Nur diese Geräte eingefügt, und er wird vom Gerät selbst kopiert:

Das sieht dann so aus: iqn.1991-05.com.microsoft:mein-pc. Er wird ganz kopiert, genau so, ohne Anführungszeichen.

Wie sich ein Windows verbindet

1. iSCSI-Initiator (kommt mit Windows) → füge die Adresse ein, die das Panel zeigt (<ip-des-nas>:3260) → Schnell verbinden.
2. Die Festplatte erscheint in der Datenträgerverwaltung als neue, nicht formatierte.
3. Initialisiere und formatiere sie wie jede andere Festplatte.

Die Geschwindigkeit der Festplatten messen

Unter Speicher liest „Geschwindigkeit messen“ jede Festplatte und schreibt auf jedes Volume, eines nach dem anderen, und speichert das Ergebnis neben jedem („180 MB/s am 8. Sept.“). Eine Festplatte, die weniger als die Hälfte vom letzten Mal misst, wird bernsteinfarben markiert: Das ist das Zeichen, dass sie ausfallen wird, bevor sie ausfällt. Die Prüfung bricht nach 60 Sekunden pro Festplatte ab und läuft nicht, solange ein Löschen oder ein Tausch einer Festplatte läuft.