Hi,
ich würde im Nachgang an unseren Gitlab Crash gerne noch einmal das Thema Backups ansprechen. Ich weiß, dass Picard sich vor einiger Zeit in das Thema eingearbeitet hatte und es eine ganze Weile auch Backups gab. Allerdings muss es irgendwann ein Problem gegeben haben, das nicht gelöst werden konnte sodass uns am Wochenende keine Backups zur Verfügung standen.
Um das Thema noch einmal auf eine neue Grundlage zu stellen würde gerne folgenden Ansatz vorschlagen: * Mieten eines Storage-Systems bei Netcup mit 1,5TB. Dann können wir alle Server auf einem separaten System sichern und haben Platz für ca. 50 Backups á 30GB. Kosten ca. 190€/Jahr (https://www.netcup.de/bestellen/produkt.php? produkt=1514) * Nutzung des Puppet-Moduls für Rsnapshot um automatisches Backup-Deployment auf allen Servern zu ermöglichen (https://forge.puppet.com/tedivm/rsnapshot)
Gibt es weitere Ideen, lässt sich das günstiger realisieren und Pic möchten du oder jemand anderes das nochmal angehen?
Viele Grüße Clemens
Moin,
meine persönliche Meinung ist, dass wir das selber in unsere Backup VM ablegen können. Dafür Geld ausgeben halte ich für nicht notwendig.
Am 15. November 2016 13:11:26 MEZ, schrieb Clemens John via Admin admin@lists.ffnw.de:
Hi,
ich würde im Nachgang an unseren Gitlab Crash gerne noch einmal das Thema Backups ansprechen. Ich weiß, dass Picard sich vor einiger Zeit in das Thema eingearbeitet hatte und es eine ganze Weile auch Backups gab. Allerdings muss es irgendwann ein Problem gegeben haben, das nicht gelöst werden konnte sodass uns am Wochenende keine Backups zur Verfügung standen.
Um das Thema noch einmal auf eine neue Grundlage zu stellen würde gerne
folgenden Ansatz vorschlagen:
- Mieten eines Storage-Systems bei Netcup mit 1,5TB. Dann können wir
alle Server auf einem separaten System sichern und haben Platz für ca. 50 Backups á 30GB. Kosten ca. 190€/Jahr (https://www.netcup.de/bestellen/produkt.php? produkt=1514)
- Nutzung des Puppet-Moduls für Rsnapshot um automatisches
Backup-Deployment auf allen Servern zu ermöglichen (https://forge.puppet.com/tedivm/rsnapshot)
Gibt es weitere Ideen, lässt sich das günstiger realisieren und Pic möchten du oder jemand anderes das nochmal angehen?
Viele Grüße Clemens
Admin mailing list Admin@lists.ffnw.de https://lists.ffnw.de/mailman/listinfo/admin
Am 15.11.2016 um 13:15 schrieb Stefan via Admin:
Moin,
meine persönliche Meinung ist, dass wir das selber in unsere Backup VM ablegen können. Dafür Geld ausgeben halte ich für nicht notwendig.
minimalistischer Ansatz? Raspberry/BananaPi an irgendjemandes privaten DSL100k-Anschluss und an einigen Wochentagen morgens um 3 Uhr ne Stunde pullen lassen? Downstream ist zuhause ja da, Stromausfallsicherheit wohl hoch genug und dass zu Hause der Blitz genau in dem Moment reinknallt, wenn wir den Server versaut haben, dürfte unwahrscheinlich sein, oder? Läge kostenmäßig dann wohl bei einmalig 30€ + jährlich 5€. Das Zurückspielen sollte ja HOFFENTLICH nicht so oft vorkommen als dass uns der langsame Upstream stören sollte?
Viele Grüße, Eike
Hi,
auch ne gute Idee. Ich halte es auch nicht für sinnvoll da knapp 200E/Jahr für auszugeben.
Das Puppet Modul schaue ich mir später mal an, was man damit hinbekommt
Am 15. November 2016 13:49:01 MEZ, schrieb Eike Baran via Admin admin@lists.ffnw.de:
Am 15.11.2016 um 13:15 schrieb Stefan via Admin:
Moin,
meine persönliche Meinung ist, dass wir das selber in unsere Backup
VM
ablegen können. Dafür Geld ausgeben halte ich für nicht notwendig.
minimalistischer Ansatz? Raspberry/BananaPi an irgendjemandes privaten DSL100k-Anschluss und an einigen Wochentagen morgens um 3 Uhr ne Stunde pullen lassen? Downstream ist zuhause ja da, Stromausfallsicherheit wohl hoch genug und dass zu Hause der Blitz genau in dem Moment reinknallt, wenn wir den Server versaut haben, dürfte unwahrscheinlich sein, oder? Läge kostenmäßig dann wohl bei einmalig 30€ + jährlich 5€. Das Zurückspielen sollte ja HOFFENTLICH nicht so oft vorkommen als dass uns der langsame Upstream stören sollte?
Viele Grüße, Eike
Admin mailing list Admin@lists.ffnw.de https://lists.ffnw.de/mailman/listinfo/admin
On 11/15/16 14:07, Stefan via Admin wrote:
Hi,
auch ne gute Idee. Ich halte es auch nicht für sinnvoll da knapp 200E/Jahr für auszugeben.
Das Puppet Modul schaue ich mir später mal an, was man damit hinbekommt
Hab ne 100down/40up TK Leitung und könnte das noch mit auf meinen Server schieben.
Meine 4TB sind aber leite fast voll. Wir würde nur ein neue Platte fehlen dann kann ich die backups daruf einrichten.
vg Tarek
Jo, da haben wir 2TB Platten
Am 15. November 2016 14:40:45 MEZ, schrieb Bjoern Franke via Admin admin@lists.ffnw.de:
Moin,
On Di, 2016-11-15 at 13:15 +0100, Stefan via Admin wrote:
Moin,
meine persönliche Meinung ist, dass wir das selber in unsere Backup
VM
ablegen können. Dafür Geld ausgeben halte ich für nicht notwendig.
Die Hetzner-Kisten sollten doch dafür genug Platz haben?
Admin mailing list Admin@lists.ffnw.de https://lists.ffnw.de/mailman/listinfo/admin
In wie weit Backups bei Supernodes überhaupt sinnvoll sind muss man überlegen.
Solange die keine custom Configs haben, ist das ja quasi ein puppet plug and play.
Server wie srv01 und Co, sicher sehr sinnvoll.
Der minimalistische Ansatz gefällt mir, ist aber halt auch viel Spielerei. Wenn um 3 Uhr, unbedingt auch den automatischen Reconnect im Blick haben, damit das nicht kollidiert.
Statt kompletten Snapshots vielleicht nur definierte Verzeichnisse wie /etc usw.?
Am 15.11.2016 15:01 schrieb "Stefan via Admin" admin@lists.ffnw.de:
Jo, da haben wir 2TB Platten
Am 15. November 2016 14:40:45 MEZ, schrieb Bjoern Franke via Admin <
admin@lists.ffnw.de>:
Moin,
On Di, 2016-11-15 at 13:15 +0100, Stefan via Admin wrote:
Moin,
meine persönliche Meinung ist, dass wir das selber in unsere Backup VM ablegen können. Dafür Geld ausgeben halte ich für nicht notwendig.
Die Hetzner-Kisten sollten doch dafür genug Platz haben?
Admin mailing list Admin@lists.ffnw.de Admin@lists.ffnw.de https://lists.ffnw.de/mailman/listinfo/admin
https://lists.ffnw.de/mailman/listinfo/admin
-- vg Stefan
Admin mailing list Admin@lists.ffnw.de Admin@lists.ffnw.de https://lists.ffnw.de/mailman/listinfo/admin
Am Dienstag, 15. November 2016, 15:01:48 CET schrieb Stefan via Admin:
Jo, da haben wir 2TB Platten
Backup auf einer der Kisten bei Hetzner hört sich machbar an.
Private DSL-Lösungen würde ich ungerne weiter verfolgen. Ich habe am Wochenende sehr viel Zeit in einem völlig unnötigen Restore-Prozess verballert und will das nie wieder tun. Für die Zukunft wünsche ich mir eine Backup- Lösung, die so schnell, zuverlässig und robust gegenüber Murphys law ist, dass ich einen Informatik-Ersti auf Speed mit Root-Rechten an jeden unserer Server setzen könnte ohne mir sorgen machen zu müssen.
Bei der Hetzner-Kiste geht es ja wahrscheinlich um einen Dedicated, auf dem auch noch andere VMs von uns laufen. Wenn unser Informatik-Ersti die Hetzner- Kiste sterben lässt, haben wir kein Backup der VMs, die neben der Backup-VM auf der Kiste waren. Schaffen wir es, auf dem Dedicated zuverlässig nur "Scheißegal-VMs" abzulegen, denen unser Informatik-Ersti nichts anhaben kann? Was wäre mit privaten Schlüsseln der Fastd-Instanzen? Ich musste solche Schlüssel schon mal aus dem damals noch existierenden Backups rausholen. Müssen diese Schlüssel immer noch mit ins Backup oder sind die im Puppet hinterlegt?
Viele Grüße Clemens
P.S. nichts gegen Informatik-Ersties und keine Macht den Drogen ;)
Hey,
die fastd Keys werden aktuell noch nicht im Puppet gepflegt, steht aber auf der ToDo. Natürlich hab ich diese in einem Keepass (ja, das muss ich noch pushen) gesichert.
Es wäre sinnvoll dann Pfade wie /etc/, /var/ bei den Servern zu sichern. Die Supernodes können eh via Puppet binnen Minuten wiederhergestellt werden.
Am 15. November 2016 15:55:23 MEZ, schrieb Clemens John via Admin admin@lists.ffnw.de:
Am Dienstag, 15. November 2016, 15:01:48 CET schrieb Stefan via Admin:
Jo, da haben wir 2TB Platten
Backup auf einer der Kisten bei Hetzner hört sich machbar an.
Private DSL-Lösungen würde ich ungerne weiter verfolgen. Ich habe am Wochenende sehr viel Zeit in einem völlig unnötigen Restore-Prozess verballert und will das nie wieder tun. Für die Zukunft wünsche ich mir eine Backup- Lösung, die so schnell, zuverlässig und robust gegenüber Murphys law ist, dass ich einen Informatik-Ersti auf Speed mit Root-Rechten an jeden unserer Server setzen könnte ohne mir sorgen machen zu müssen.
Bei der Hetzner-Kiste geht es ja wahrscheinlich um einen Dedicated, auf dem auch noch andere VMs von uns laufen. Wenn unser Informatik-Ersti die Hetzner- Kiste sterben lässt, haben wir kein Backup der VMs, die neben der Backup-VM auf der Kiste waren. Schaffen wir es, auf dem Dedicated zuverlässig nur
"Scheißegal-VMs" abzulegen, denen unser Informatik-Ersti nichts anhaben kann? Was wäre mit privaten Schlüsseln der Fastd-Instanzen? Ich musste solche
Schlüssel schon mal aus dem damals noch existierenden Backups rausholen. Müssen diese Schlüssel immer noch mit ins Backup oder sind die im Puppet hinterlegt?
Viele Grüße Clemens
P.S. nichts gegen Informatik-Ersties und keine Macht den Drogen ;)
Admin mailing list Admin@lists.ffnw.de https://lists.ffnw.de/mailman/listinfo/admin
Am 15.11.2016 um 13:11 schrieb Clemens John via Admin:
Gibt es weitere Ideen, lässt sich das günstiger realisieren und Pic möchten du oder jemand anderes das nochmal angehen?
Ich kann es machen, aber auch Freifunkern die vorhandene rsnapshot Struktur erklären/übergeben. Oder mit Ihnen zusammen arbeiten.
Wo befindet sich im Moment der Backup Server? Habe ich Access per SSH? Wenn ja, wie. Ich habe von "swatch" keine E-Mail gesehen, Ist die Backup VM Offline?
Alle dinge wurden schon angesprochen. Au?er: + Backup Server Verschlüsseln + Backup vom Backup
Hi,
ich schaue mir mal Puppet Module an und teste damit ein wenig rum.
Wir schauen dann mal :)
Am 16. November 2016 19:46:03 MEZ, schrieb picard via Admin admin@lists.ffnw.de:
Am 15.11.2016 um 13:11 schrieb Clemens John via Admin:
Gibt es weitere Ideen, lässt sich das günstiger realisieren und Pic
möchten du
oder jemand anderes das nochmal angehen?
Ich kann es machen, aber auch Freifunkern die vorhandene rsnapshot Struktur erklären/übergeben. Oder mit Ihnen zusammen arbeiten.
Wo befindet sich im Moment der Backup Server? Habe ich Access per SSH? Wenn ja, wie. Ich habe von "swatch" keine E-Mail gesehen, Ist die Backup VM Offline?
Alle dinge wurden schon angesprochen. Au?er:
- Backup Server Verschlüsseln
- Backup vom Backup
-- Freifunk Gruß pic
Xmpp: picard@ffnw.de & picard@fr32k.de @ME https://wiki.nordwest.freifunk.net/picard
Admin mailing list Admin@lists.ffnw.de https://lists.ffnw.de/mailman/listinfo/admin
Moin,
Am 16.11.2016 um 21:21 schrieb Stefan via Admin:
Wir schauen dann mal :)
dann have phun. EOF
Hi,
kurzes Statusupdate von meiner Seite:
Ich habe mal mit den rsnapshot Puppet Plugins rumgespielt und da gibt es tatsächlich eins, was all unsere Anforderungen entspricht.
Ich habe nun testweise auf backup.ffnw.de die VM mal als "Snapshot-Server" eingerichtet und den ersten Client dort angebunden.
Sobald ich hier weitere Infos habe, sage ich Bescheid!
Danach können wir uns Gedanken über die Sicherung machen.
VG
Stefan
Am 17.11.2016 um 19:35 schrieb picard via Admin:
Moin,
Am 16.11.2016 um 21:21 schrieb Stefan via Admin:
Wir schauen dann mal :)
dann have phun. EOF
Admin mailing list Admin@lists.ffnw.de https://lists.ffnw.de/mailman/listinfo/admin
-
Bjoern Franke -
Clemens John -
Eike Baran -
Jan-Tarek Butt -
picard -
Simon Kurka -
Stefan