Clevere Dateien/Backup/Archiv-Strategie ?

[lügner]

Liebe Leuts
Ich bin ein 1-Mann-VFX-Studio in Zürich. Ich mache 3D Animationen, Compositing, Wasser und Feuer-Simulationen für Video und Film. Seit Eiszeiten schiebe ich ein Thema immer vor mich hin, nämlich das ausarbeiten einer cleveren Strategie, wann waqs wie und wo gespeichert ist, wann es gebackupt wird und wohin und wie das ganze nachher archiviert werden soll. Da ich hauptsächlich mit HD-Video und mit 2K-Filmdaten arbeite sind die Files ziemlich schnell ziemlich gross und mein kleines 5TB-Raid ist jetzt dann bald mal voll mit meinem Kram. Und irgendwie ist mal Zeit, die ganze Sache richtig anzupacken.

Meine Frage: Habt ihr ein paar schlaue Tips oder Links, was ein cleverer Workflow wäre wo speed, sicherheit und langfristige verfügbarkeit optimal ausbalanciert wären ? Und wie ich mein internes Rais50 mit 5TB, meinen (ultralahmen) Drobo mit 3TB und mein Synology NAS mit ca. 8TB clever integrieren könnte.

Ich oszilliere das wiklich zwischen Verzweiflung und Wahnsinn und wäre froh ein zwei Ansätze von Euch Profis zu bekommen ...
Gruss und Dank im voraus
lü.

...
...


Ich habe dieses Problem schon bei meiner VFX-Uni in Sydney mal gepostet ... aber nichts wirklich Fruchtbares rausbekommen, da die alle viel mehr Cash haben als ich ;-) Kann mir halt kein 50TB Fibre-San leisten ;-)

Hier mein eglischer Post, da hats noch ein zwei Details mehr drin zu meinem Problem ... falls das Hilft:

«For years I've been trying to work out a cool backup-routine for my little one-man-vfx-shop. The Jobs involving HD and 2K files grow and these same questions come up all the time:

- When to Backup (after a job is done? when a crucial stage is completed? Every Night?)
- What to Backup (System, Workfiles, Sound and Image-Libraries)
- How to Backup (automatically via software, manually, on LTOs on Harddisks)
- What, When and How to archive Jobs

Last term, Mike touched this issue in the BKG-classes ... but honestly: I just dont have the Cash for a Fibre-SAN and an LTO-Machine ...

I got 5.5 TB Raid-50 in my Workhorse-Machine (Xeon 8-Core) and a Drobo with about 3TB. Then I have several 200, 300 or 500 GB External USB Drives for exchange. Normally i have all the Files for a Job on my Local Raid50 including Libraries with Sound and Stock-Footage and such. I occasionally Copy crucial Project-Files for specific Jobs on External Drives for Safety (but without the Sourcefiles, cause there too big) but the Rest of my Raid is NOT BACKUPED (i try to sleep well by telling me: Yo dude, its a Raid50, if one Drive Fails - no problem). When a Job is finished, i copy the whole Folder with all (source)files over to the Drobo (which is awefully slow!) to make room for new Stuff. Since the Drobo will be filled in a few Months i really have to tackle this issue.

I thought about buying a 8TB Synology NAS an make automated Copies from my Raid50 over Night. (But isn't a fast Synology Raid waisted if its "only" there to hold a Copy of the Workvolume) And this way ... i still didnt solve the Archiving of my Stuff ... LTO is just too expensive for me @ the moment (cause id rather invest my cash into Gear that directly influences the finished Product - but i know this isnt a Clever way to think ...)

So I wonder how you handle your files. Or maybe you can give me a tip how to reorganize my workflow (wich isn't really an workflow, rather a patchwork unfortunately) »

 

[BlackGhost]

Hi,

reicht das bestehende RAID im Arbeitsrechner denn aus oder brauchst planst du hier auch ein Upgrade?
Wenn es dir dann nur um das Backup vom diesem RAID geht, würde ich ein externes USB3 oder eSATA Case nehmen .. eventuell auch zwei, die im Wechsel an den Rechner angeschlossen werden. Eines lagert dann extern z.B. bei der Bank oder guten Bekannten/Familie etc. Das ist dann aber reine Option und hängt ganz davon ab wie wertvoll die Daten für dich sind.

NAS macht eigentlich nur Sinn, wenn du von mehreren PCs auf deine Daten zugreifen musst.

 

[koaschten]

Der Hisn hat doch gerade so nen raid5 E-Sata/USB-3 case mit 4 Einschüben im Test. Vielleicht ist das was für dich: http://www.hardwareluxx.de/community/f51/sharkoon-5-raid-bay-esata-usb3-804428.html

Hardwareluxx - Preisvergleich

oder auch ein Lian Li EX-503, eSATA/USB 3.0 | Geizhals.at Deutschland

 

[lügner]

Also für das unmittelbare Arbeiten reicht mein internes Raid locker aus um auch 3-4 grosse Jobs parallel zu händeln. (Wo bei ich da ja noch ne neue Frage aufgetan hat, die ich hier mal gestellt habe: http://www.hardwareluxx.de/community/f15/ist-mein-raid-ordnung-804735.html)

Mein Plan wäre:
Jede Woche über Nacht von meinem Arbeits-Raid ein Backup auf mein NAS zu ziehen. Und wenn ein Job genug lange zurückliegt, dann kopiere ich den Job vom NAS per dort angetöpseltem USB-Dock auf eine nackte SATA-Disk, die ich dann ins Regal lege. Soweit der Plan, den ich jetzt ma ausgeknobelt habe.

Da hab ich aber einige Bedenken:
1. Muss ich wirklich immer wieder das GANZE Arbeits-Raid kopieren oder gibts da ne clevere Lösung nur jene Files zu kopieren, die sich verändert haben (ohne das durch den Watch-Modus solcher Software das Raid verlangsamt wird)

1b. Ist es nicht üble Platzverschwendung, auf einem schmucken und schnellen Synology-NAS Backupdaten zu lagern? Anstatt den Space für Arbeitsdaten zu nutzen (ist nur so ein diffuser Gedanke ;-)

2. Liegen auf meinem NAS viele Audio- und Bild-Libraries, die fürs ganze Netzwerk (auch für die Rendernodes) unter dem gleichen Pfad verfügbar sind. Diese Libraries sind zur Zeit NICHT gebackupt und nur durch das Raid-5 des NAS ein bisschen geschützt.

3. Ist eine Archivlösung auf Sata-HDs auch sicher, wenn sie dann einfach im Regal liegen? Ich hab da dann schon bissel Angst am Ende des Jobs alle Daten zu löschen ausser jene auf der Archiv-HD ... nach Murphys Law kommt der Kunde ein Jahr später genau auf den Job zurück, dessen Archiv-HD dann nicht mehr anspringt

4. Was habt ihr für Erfahrungen gemacht mit Raid-5 wie gross ist die Wahrschienlichkeit, dass gleich 2 Disks gleichzeitig im Raid flöten gehen und die Daten futsch sind?

5. Wie oft ist ein Backup in der Regel sinnvoll? Jeden Tag, jede Woche, jeden Monat? Klar, das grenzt an Wahrsagerei, aber vielleicht gibts da ne Fausregel.

Hej und danke für die Hilfe! Irgendwie hab ich das Gefühl, das ich insgesamt genug Speicherplatz habe, aber noch keine clevere Strategie um ihn zu nutzen ...

 

[BlackGhost]

Ein Backup sollte immer physisch getrennt vom System aufbewahrt werden.
Wenn du die Daten, die aktuell nicht mehr bearbeitet werden nur noch auf den Archiv HDDs hast, ist das kein richtiges Backup mehr weil die Ursprungsdaten ja gelöscht werden.

Hast du schon ein NAS im Hause?
Wird das z.Z. nur als Datenlager genutzt für fertige Projekte oder auch als "Arbeitsspeicher"?

Zu deinen Fragen:
1. ja klar gibt es intelligente Software, die immer nur das sichert was sich auch geändert hat. Man kann dafür ja einen Zeitplan erstellen (z.B. 1x am Tag)
1. das Synology kann man auch fürs Backup nutzen, so ein Teil kann aber noch viel mehr .. daher wäre das irgendwie Ressourcen Verschwendung.
2. RAID im NAS .. kein RAID in der Workstation?
3. Backup ist immer die Kopie eines bestehenden Datensatzes, ergo hat man dann die Daten doppelt verfügbar .. wenn einem diese Sicherheit nicht reicht erstellt man einfach noch eine dritte Kopie (2. Backup)
4. Wie groß ist immer relativ .. hatte diese Fall schon selbst und das war natürlich recht unangenehm .. ersetzt RAID bekanntlich kein Backup!
5. Wie oft kommt auf die Daten an .. werden diese jeden Tag verändert würde ich jeden Abend/Nacht ein autom. Backup fahren .. sonst ist min. ein Arbeitstag wieder verloren.


Ich würde es so lösen:
- RAID5 in Workstation
- externes USB3/eSATA Case mit dem gleichen Speicherplatz wie das RAID5 in der Workstation
- jede Nacht autom. Backup vom RAID auf das externe Case (oder nur ausgewählte Ordner wie fertige Projekte)
- je nach Budget zweites externes Case vorsehen und beide im Wochen-Rhytmus tauschen (eins in einem anderen Gebäude lagern)

 

[dekahedron]

Hi,

Nachdem was ich herauslese, muss ich sagen, dass du das alles sehr locker nimmst und herangehst, als wäre es ein Hobby. Backups sind in jedem Fall wichtiger als die Qualität deiner Projekte. Sollte mal ein Job weniger toll aussehen dann ist das zwar schade, hat aber keine Auswirkungen auf den aktuellen Job und kaum welche auf zukünftige Aufträge. Sollten Dir aber Projektdaten verloren gehn, ist das extremst übel. Du hast 3-4 Jobs gleichzeitig, find ich recht viel für nen einzelnen freelancer, ich komm auf maximal 2 gleichzeitig. Bei angenommenen 5000€ pro Job sind nicht nur die 20.000€ verloren, das sind dann fast noch peanuts. Dazu kommt ja, dass dich Auftraggeber zur Rechenschaft ziehen können, wg Nichterfüllung des Vetrages. Ich weiss nicht wie es in der Schweiz läuft, aber in DE hafte ich als Freiberufler mit meinem Privatvermögen.
Und das ist noch nicht mal alles, denn die Firmen dessen Projekte du in den Sand setzt, hast verständlicherweise als kunden für immer verloren und das spricht sich auch herum. Sollten Projektdaten aus 4 laufenden Jobs die Hufe hochreissen, kannst auch gleich ins ausland abwandern oder dich zum Gärtner umschulen lassen. Ich arbeite ebenfalls als Alleinunternehmer und Freiberufler im 3D Animationsbereich seit etwa 10 Jahren, also ich weiss da durchaus wovon ich rede. Backups entscheiden über deine berufliche Existenz.

Versuche das Ganze so schnell wie möglich so professionell wie möglich zu lösen. Und spare nicht an der falschen Stelle. Paar tausend € sind ein witz gegenüber dem oben beschriebenen Szenario. Verzichte nach Möglichkeit auf HomeUser-Consumer-Gerümpel als Hardware (Abgesehen mal von den Rendernodes, die sind ja nicht permanent missioncritical)

Bei mir ist es so eingerichtet:

Zentraler Fileserver, der auch die Lizenzen für die Workstations und Rendernodes verwaltet (Softimage, RoyalRender etc.). Sollte Serverhardware sein (ECC/Reg./FB memory) Es empfiehlt sich auch ein ServerOS.
Hat ein grosses Raid6 und macht automatisiert nächtliche Backups der laufenden Projekte mit SyncBackPro (mit 50€ sehr günstig und kann auch inkrementelle Backups, heisst nur die veränderten Daten werden gesichert. Kann auch Versionierung!). Dazu automatisierte, wöchentliche Backups der weniger wichtigen Daten. Diese Backups gehen allerdings auf einfache Platten, im selben Server. Das ist für mich ok, weil es nur der Problematik des versehentlichen Löschens übers Netzwerk dient. Schützt auch etwas, falls das raid mal komplett abrauchen sollte. Was oft auch bei Firmen vergessen wird: Man hat zwar zumeist das OS auf nem Raid1 gespiegelt, möglicherweise aber keine Images des aktuellen, funktionierenden Systems. Und ein fileserver neu auflegen mit allen lizenz-geschichten und freigaben dauert locker paar Tage...
Zusätzlich mach ich noch Backups auf DLT tape, leider nicht automatisiert. Diese dienen auch als Archivierung (Auf Festplatten kopieren und die in nen Schrank legen, ist keine gute Idee).
Auf der Workstation liegen mittlerweile null Daten mehr. Selbst emails und Opera-Bookmarks werden über den Filesrv gehändelt.

Alles über den filesrv laufen lassen hat allerdings den Nachteil, Compositing über "normales" gigabit ethernet macht nu echt kein Spass.
Vor allem nicht über ein RAID5/6. Selbst über ein raid50/60 wärs vermutlich über netzwerk recht lahm. Und ein fibrechannel-SAN is wieder was für den grossen geldbeutel. Löse ich so, dass finale Renderings/Layer nach Bedarf lokal auf SSDs der Workstation kopiert werden (Über SSDs compen ist ein Traum)

Zusammenfassend vllt folgende Anregungen:

Einen main fileserver (bis8 platten ist raid5 i.O, bei mehr platten raid6). Bzw das raid50 was du schon hast.
Automatisierte Backups auf einen backup-server oder ein primitives NAS.
Ein drittes Backup, das wirklich zuverlässig ist und nach möglichkeit woanders gelagert werden kann. (Bei Verwendung von Tapes ist es auch gleich eine Archiv-Lösung. LTO ist etwas kostspielig, DLT ist günstiger aber pro Tape nur 160-320 GB Kapazität bei DLT-V4)
Aus performancegründen, das compositing über lokale SSDs/HDDs machen. Kann man ja auch irgendwie automatisieren...
Bei Datenmengen von mehreren TBs die regelmässig gebackuppt werden sollen, scheiden Tapes dann aus Kostengründen eher aus.
Bleiben Festplatten, aber die sollten in Betrieb sein und nciht im Schrank lagern.

2te Möglichkeit, das Ganze andersherum:
Alle Daten liegen lokal auf der Workstation und werden automatisch gebackuppt auf einen backupserver. Ist etwas unprofessionell, ich habe Daten lieber auf einem dedizierten fileserver. Selbst wenn ich der einzige bin, der damit arbeitet. Verwaltungstechnisch hats Vorteile (Lizensierungen der Apps sind permanent im Netzwerk verfügbar) und die Workstation darf auch problemlos mal abrauchen oder auf die Schnelle neu installiert/ersetzt werden.

Sry für den langen text, ich könnt es stundenlang ausführen Ich mach hauptsächlich 3d und eher wenig compositing, daher brauch ich nicht permanent den hammer datendurchsatz (deswegen auch das raid6). Bei mir liegt der schwerpunkt auf verfügbarkeit, sicherheit und managebarkeit.

 

[lügner]

Hey vielen Dank für die Tips und an deka danke für die klaren Worte. Bin halt einfach nie dazugekommen und hatte wohl Glück, dass nie was passiert ist. Schätze mal, das ist der typische kreative Wirrkopfstyle - das Jobvolumen ist schneller gewachsen als das Verständnis für nen professionellen Umgang damit ... Nun bin ich aber schlauer und packe das Ding korrekt an ;-)

Ich werde wohl Deine zweite Version angehen:
Meine Fluid-Sims generieren eben ziemlich schnell heftige Daten, die je nach Auflösung rsp. Anzahl Partikel kein Spass mehr machen, wenn sie sich durch das Gigabit-Netz zwängen müssten. (von nem grossen SSD Raid träum ich daher schon sehr lange ;-) hab ne SSD zum Cachen, werde dort mal paar comp-Daten ablegen und den SSD-Comping-Traum kosten ;-)

Also:
Mein System sichere ich schon seit jeher per Clonezilla auf das interne Raid50. Systemrestores sind so ein Klacks. Nun bin ich gerade daran, meine ganzes interne Raid50 auf das Synology-NAS zu backupen (56 Stunden Halleluja) ... somit habe ich den gleichen Datensatz auf zwei verschiedenen redundanten Raids. Das wird dann automatisch und incremental jede Woche wiederholt, bei grösseren Jobs täglich. Nun werde ich wohl ne Erweiterung fürs NAS anschaffen, wo ich dann mein Archiv drauf anlege. Glaube so ist das ne runde Sache wenn auch nicht Super-Pro. Einziger Fehler ist wohl, dass ich kein örtlich getrenntes Backup habe ... aber damit kann man leben oder ?

 

[dekahedron]

Man kann nicht genug paranoia schieben, wenns um datensicherheit geht.

Cachefiles hatt ich vergessen. Die sind auch ne sache, was über netzwerk nicht so prickelnd ist. Im mom hab ich ebenfalls animationen mit CFDs und die erreichen 30 MB/frame und mehr. Probier echt mal SSDs bzw SSD-raids für sowas aus. Grosse pointcloud daten oder auch 1080p mit mehreren layern in realtime scrubben macht laune Man denkt man sässe anner Flame...

DLT wird von Quantum übrigens nicht mehr weiterentwickelt. Es gibt, glaub ich noch eine DLT-V5 version aber die wird sich wohl nicht durchsetzen, wenn DLTV4 schon nicht am markt angenommen wurde. Ich fahr mit DLT zwar ganz gut, aber auf lange sicht wird LTO da vermutlich die einzige alternative sein, bei tapes.
Es ist auch so, dass Bänder zwar proffesioneller sind und haltbarer und eigentlich noch immer die einzige Möglichkeit für echte Archivierung... aber archivierung bedeutet im medienbereich maximal 3 jahre...

 

[BlackGhost]

Ich würde Festplatten den Bändern bevorzugen .. sie sind deutlich preiswerter und bei "vernünftiger" Lagerung sehr lange lagerfähig.
Wie wäre es mit einem Wechselrahmen .. Platte rein, Backup laufen lassen und dann ab damit ins Archiv Regal oder zur Bank tragen und einschließen lassen.

Auch mal ein interessanter Artikel zum Thema:
Archivmedien im Wandel der Zeit

 

[lügner]

tja das mit den HDs war auch mal mein Plan ... habe ein SATA/USB Dock, wo ich nackte SATA-Platten reinstöpseln kann und draufkopieren. Aber die Datencracks von meiner VFX-Uni in Sydney meinten, das sei gar nicht gut, weil Drives, die im Regal liegen sowas von unsicher seien ... (aber das sind die selben Jungs, die auch Firmen wie Weta Digital beraten und das ist natürlich ne ganz andere Liga ... ;-)

Ursprünglich hatte ich folgenden Backup Plan:
http://www.sascharossier.com/TRANSFER/BACKUP_PLAN_110501.jpg

@deka ... ja wenn die ssds nicht so verdammt teuer wären ;-) aber das kommt ja auch immer mehr runter ... also ich fand nur schon den umstieg auf SSD als Systemdisk wie eine neue Welt ... und zum Cachen sit das auch dufte ... mal sehen, wann es genug Knete hat für ein SSD Raid ;-)

Aber gebau das isses ja: Ein LTO5 kostet um die 3000 und ein nettes SSD Raid auch etwa ... instinktiv würde ich die 3000 eher für das SSD Raid ausgeben, aber wie ich jetzt grad gelernt habe ;-) sollte ich wohl zuerst meine Backup-Arsch ins Trockenen bringen ... LTO und SSD-Raid wäre mir schon fast zu teuer ... man will sich ja bald ne RED Scarlet zutun ;-)

 

[BlackGhost]

Bitte das Bild gemäß den Forenregeln anpassen (max 900x900) oder einfach direkt verlinken.

Ansonsten sieht der Plan für mich erstmal ordentlich aus, bis auf das Archiv Backup auf nackte HDDs. Die würde ich dann doch lieber in ein Gehäuse packen.

Der Datenbestand auf dem NAS entspricht dann dem auf den Archiv HDDs oder sind die Daten auf den HDDs im Prinzip nur 1x vorhanden .. eben nur noch auf den HDDs selbst ?

 

[lügner]

(Bild ... ist ein direkter Link ... das Bild liegt auf meinem Server)

Tja das Stimmt. Fertige Projekte wären dann nur noch auf einer einzigen HDD gespeichert, wieder fein säuberlich in den Antistatischen Bag und ne VorratsBox eingepackt und aufm Regal gelagert (machte ich bis jetzt mit meinen Musikdaten ausm Tonstudio - hat immer gut geklappt ... aber die waren auch nicht soooo wichtig, wenn mal eine kaputt gegangen wäre, was noch nie passiert ist ... aber darauf kamma sich ned verlassen, ich weiss)

Drum eben die Erweiterung meines NAS mit einer Extension, dann wären die Archivdaten wenigstens durch Raid5 bzw Raid6 bissel geschützt

 

[BlackGhost]

Bilder direkt im Thread dargestellt dürfen max 900x900 Pixel groß sein.
Deins wird zwar autom. verkleinert, du musst da aber trotzdem Hand anlegen .. oder das Bild nur als Link in den Post implementieren.

 

[lügner]

Bilder direkt im Thread dargestellt dürfen max 900x900 Pixel groß sein.
Deins wird zwar autom. verkleinert, du musst da aber trotzdem Hand anlegen .. oder das Bild nur als Link in den Post implementieren.

ah ... okee ... ich nu wieder ;-)