Backup meines Servers

[Sascha Effert]

Hallo,

ich hab mir restic angesehen. Die Ähnlichkeiten zu borg kommen nicht
von ungefähr, Borg ist ein Fork von Restic. Da scheint es in der
Vergangenheit viele Probleme gegeben zu haben, weil nur sehr wenige
Maintainer schreibrechte auf den Master haben und sich Pull Request
dadurch über Wochen hingezogen haben. Das betraf anscheinend auch viele
Security fixes und andere Fehlerkorrekturen. Deshalb habe ich davon
abstand genommen.

Der Verlust durch sshfs kann so groß nicht sein, wenn ich sehe was da
über die Leitung geht. Ich schaffe es das Laufwerk mit knapp über 6
MByte/s zu beschreiben. Viel mehr läßt sich aus meinen 50 MBit/s nicht
rausholen. Beim zurückholen der Daten komme "nur" auf 14 MByte/s (1000
MBit/s downstream), aber damit kann ich leben. Dafür habe ich das
Gefühl, ein verlässliches Gesamtsystem zu haben.

Ich mache übrigends zusätzlich noch ein Backup auf eine lokale
Festplatte. Das habe ich bereits vorher gemacht. Dazu verwende ich aber
einfach rsync mit Hardlinks. An der Stelle ist es mir am wichtigsten,
dass ich ohne irgendwelche Tools auf das Backup zugreifen kann. Das
Backup bleibt bei mir auch bestehen, weil das meine einzige
Komplettsicherung ist. Zu strato sichere ich nur ca. 500 GB meiner 4 TB
im Server.

Ich habe die Sicherung heute noch etwas abgeändert, indem ich jedesmal
ein Snapshot meines Datenlaufwerks erstelle, von dem dann das Backup
gezogen wird. Hat zum einen den Vorteil, dass die Daten ro sind (was ja
schon die docker container für mich gelöst hatten), sorgt zum anderen
aber auch für mehr Konsistenz. Zumindest die ersten Backupläufe haben
ja schon ein paar Stunden in Anspruch genommen.

Meine docker images sichere ich übrigends nicht. Dafür betreibt docker
so eine schöne registry... :-)

Das Aufsetzen inklusive Scripte schreiben, die mir eine zuverlässige
Überwachung ermöglichen, hat mich jetzt doch insgesamt fast drei
komplette Arbeitstage gekostet... Naja, Corona sei Dank hab ich ja
endlich mal Zeit, mich um sowas zu kümmern...

tschau


Sascha

Am Donnerstag, den 09.04.2020, 17:47 +0200 schrieb Florian Lohoff:
> On Thu, Apr 09, 2020 at 08:44:34AM +0200, Sascha Effert wrote:
> > Hallo Florian,
> > 
> > vielen Dank für den Tipp. nach ein wenig hin und her bin ich Deinem
> > Rat
> > gefolgt. Ich verwende jetzt Borg Backup. Ich habe es in einem
> > docker
> > container auf meinem Server laufen, so kann ich den Zugriff auf
> > meine
> > Dateien auf ro einschränken (man weiß ja nie). Die Sicherung
> > erfolgt
> > mittels sshfs zu strato.
> 
> Dann solltest du dir im vergleich nochmal restic ansehen. sshfs ist
> meist ein echter performance killer. restic sollte direkt
> ssh können IIRC. Ansonsten scheint restic sehr borg ähnlich zu sein.
> 
> > * Speicherverbrauch: Ich hätte nicht gedacht, dass es ein
> > relevantes
> > Potential für Kompression und deduplikation bei mir gibt (der mit
> > Abstand größte Teil der Daten sind Fotos im jpg Format), dennoch
> > scheint da einiges zu gehen.
> 
> Ich bastel viel mit docker zeugs rum - nicht produktiv aber um meine
> Entwicklung zu kapseln. Alleine die Docker container haben ja 37 mal
> dieselber datei irgendwo liegen. Dedupliziert natürlich auf nix
> runter.
> 
> > * Inkrementelle Sicherung: Alway inkrementell schein wirklich zu
> > funktionieren. Ich habe nach der zweiten Sicherung einfach mal die
> > erste entfernt. War bein Problem.
> 
> Er guckt ja beim expire von backups nach welche objekte/blocks er
> noch braucht und löscht nur die die wirklich nicht mehr referenziert
> werden.
> 
> > Kurz und knapp: Cooles Zeug. Du hattest definitiv recht: Ich wollte
> > borgbackup. :-)
> 
> Restic scheint konzeptionell sehr ähnlich zu sein - hat nur mehr
> backends um das zeugs irgendwo abzulegen.
> 
> Konzeptionell würde borg unterstützen das mehrere clients/systeme
> parallel in DASSELBE repo schreiben. Deshalb haben die nicht so viele
> backends.
> 
> Flo