Festplatten für Videoschnitt?

[DaReal]

Da is mich gerade mit dem Thema Videoschnitt anfreunde und schon die ersten probleme auftreten wollte ich mal in die Runde fragen, was da so gängig und brauchbar ist.

Habe derzeit eine System-SSD mit 80 GB (Postville) und zwei Datenplatten (WD15EADS + WD20EARS).


Da ich nun mit dem Videoschnitt ein erstes Video gemacht habe und mir dann vorhin Windows einen Festplattenfehler gemeldet hat, habe ich gleich mal mit HDTune nachgeschaut. Siehe da, die WD20EARS, welche die Rohdaten zu den Videos beherbergt hat bei RAW READ ERROR RATE einen Wert von 4802 und ist somit rot markiert. Da stellt sich nun die Frage, ob das mit dem Videoschnitt zusammenhängt, aber ich denke mal schon.

Config im Videoschnittprogramm ist derzeit:
Rohdaten liegen auf der WD20EARS
Cache liegt auf der WD15EADS
Output liegt auf der WD20EARS

Ich denke mal das ist so ganz sinnvoll, jedoch leidet die WD20EARS darunter wohl sehr.


Welche HDD(s) wären dann nun für ein vernünftiges Arbeiten empfehlenswert?
Ich denke mal generell spricht nichts gegen SSDs, jedoch Preis-Leistung sowie die voraussichtlich vielen Schreibvorgänge wirken sich da wohl eher negativ aus. Somit kommen SAS-Platten wohl eher in Frage oder 7200rpm SATA-Discs. RAID wäre sicherlich auch sinnvoll. Vllt. sollte man den ganzen Workflow über GBit-LAN auf nen Fileserver verlagern?

 

[Taderaz]

Puh... also ich würde nicht unbedingt den Videoschnitt für den defekt auf der Platte verantwortlich machen; Fakt ist einfach Platten sind auch nur Verbrauchsmaterial... imho hast du einfach Pech gehabt und eine Schlechte erwischt.
Ich hab einige EARS im Fileserver und bügel da sowohl regelmäßig komplette Backups weg als auch ISOs mit bis zu 50GB übers Netz rauf und runter. Bisher haben die sich nicht beschwert . Um die Datenrate dort auszureizen und da ich ein Backup habe, habe ich auf dem Fileserver die EARS im RAID0 laufen.

Ich würde an deiner Stelle für internes Kopieren auf die WD Black gehen (evtl. mal Benchmarks der aktuellen Platten durchgehen), da hast du gleich mal 5 Jahre Garantie. Diese dann im Raid0 sollten ordentlich Geschwindigkeit bringen wenn denn auch benötigt (?).
SSDs sehe ich nicht bei der Größe. Das würde doch sehr teuer werden.

Verstehe ich dich richtig, dass die Arbeitsreihenfolge so verläuft?
Rohdaten --Verarbeitung--> Cache --zurückschreiben--> Output

Oder dient der Cache nur als Zwischenpuffer?

SAS wäre auch eine Option, das gleiche Spiel jedoch, der Controller kostet schonmal + die Platten; das wird auch nicht billig.

Ahja bei 7200er und aufwärts sollten die Platten dann auch aktiv gekühlt werden. Insbesondere dann wenn sie relativ eng aufeinander sitzen... möglicherweise wurde es da auch schon deiner EARS etwas zu warm?

 

[Whistl0r]

Prinzipiell schließe ich mich da WickedClown an: Die Platte wird nicht kaputt gegangen sein, weil du dort Videos geschnitten hast.

Hast du die Platte vor Inbetriebnahme vollständig getestet? Nach meiner Erfahrung laufen Platten, die ich vorher getestet habe auch problemlos durch. Tritt hingegen ein Fehler auf, so wird mir die Platte ganz sicher Probleme machen (oftmals empfehlen die Hersteller-Tools ja dann die Sektor-Null Formatierung... aber 2-3 Wochen später beginnt es wieder). Diese sind nach meiner Erfahrung dann wirklich kaputt.

Allerdings, das soll auch angemerkt sein, gibt es speziell für den AV-Bereich optimierte Platten. Seagate wirbt in diesem Sektor massiv. Das ist auch nicht nur Werbung... die Hersteller können tatsächlich Optimierungen für Streaming vornehmen.

Was verstehst du eigentlich unter Videoschnitt? Schneidest du hin und wieder private Aufnahmen von Feiern ect. oder machst du das täglich und professionell?

Bei deinem GBit LAN wirst du über 80MB/s nicht rauskommen. Im professionellen Umfeld viel zulangsam. Alternativ kannst du natürlich in einen Nachbarraum eine spezielle Schnitt-Maschine hinstellen und dann per Remote-Desktop arbeiten - dagegen spricht natürlich nichts.

Somit würde ich zum RAID raten, denn du willst sicherlich Raten von mind. 300MB/s und besser erzielen...

Brauchst du nur temporären Speicherplatz oder sollen dort auch Videos lagern? Wenn es nur temporärer Speicher sein soll, kannst du tatsächlich zu SAS greifen. Die Platten sind noch einmal schneller. Aber grundsätzlich wirst du auch mit normalen SATA-Platten hinkommen...

 

[DaReal]

Ich sage es mal so: wenn ich da mal alle paar wochen ein paar Daten draufschiebe oder mal ein Download drauf läuft okay ...

Aber beim Videoschnitt wird auf die ganzen Videostreams teils parallel zugegriffen ...

Das Programm (AVS Video Editor) haut sich die Videofiles in den Cache sobald man die zum Projekt hinzufügt. Das dauert halt, da mein Rohmaterial recht unglücklich gewählt ist ... ( Battlefiled BC2 ingame capture in 1080p @ 60 fps !! -> 3,90 GB pro ca. 50 Sekunden)
Quasi kannst du die Medienbibliothek mit Videostream vollknallen, da passiert nix, Zieht man die auf die Videospur des projekts beginnt das programm den Strema zu cachen -> damit es sich dann flüssiger arbeitet denke ich mal (wird vllt. intelligent geschrieben, dass es kaum bis keine Fragmentation auf der HDD gibt). Im Output landet dann der fertige Film am Ende.

Also haut der Workflow an sich schon optimal hin mMn.

WD20EARS (Rohdaten) -> WD15EADS (Cache) -> WD20EARS (Output)


An SAS-Platten habe ich auch gedacht und schon im Forum geguckt nach Platten und Controller.


Aktiv gekühlt werden alle HDDs bei mir seit über 10 Jahren
Die WD20EARS hatte zum Zeitpunkt der Fehlermeldung 36°C, also mMn. im Rahmen (für Betrieb unter Last).

 

[Taderaz]

hrhr naja solange man keine Spiegeleier drauf braten kann...

Hmm wenn ich das richtig sehe wird die EARS am meißten belastet. Dort finden deiner Aussage nach bei der Planung des Projektes je nach Quelle mehrere parallele Zugriffe statt... gut die können imho nur so schnell statt finden wie die EADS in der Lage ist sie zu schreiben.
Interessant wäre noch ob am Ende wenn der output statt findet nur auf den Cache zugegriffen wird oder auch noch auf die Ursprungsquelle.

Also wenn du etwas austauschen willst müßtest du beide Platten gegen etwas Schnelleres austauschen; die EADS könnte man immer noch als Ziel/Output Platte verwenden. Bei vielen parallelen Zugriffen auf die EARS könnte es evtl. auch Sinn machen auf SAS zu gehen wegen der Zugriffszeiten. Trotzdem sei angemerkt, dass evtl. ein kleiner 2t PC das besser entzerren kann als teures Equipment in deinem Hauptrechner insofern finde ich den Vorschlag von Whistl0r bzgl. der Schnittmaschine sehr gut. (ich praktiziere ähnliches beim encoden und habe mir hierfür einen recht preiswerten 4 Kern AMD PC hingestellt... da muß dann auch nicht unbedingt das teuerste oder schnellste drin sein weil es relativ egal ist obs dann 2 oder 3 Stunden dauert)

 

[Whistl0r]

Der Begriff "Cache" ist in diesem Zusammenhang falsch. Ich würde eher "temporäres Verzeichnis" sagen, wo das Programm die getrennten (demux) Streams ablegt.

Und nein: Das kann nicht die Ausfallursache sein.

Zu den Temperaturen: Konstante Temperaturen sind wichtig. Egal ob konstant kalt oder relativ warm - Schwankungen sind das Problem.

Gut, professionell machst du das also offenbar nicht - eher Hobby. Bleibt die Frage, wieviel Geld du dafür opfern willst. SAS-Platten sind Enterprise-Platten und die kosten gut Geld. Dein Array (RAID 0, kein dauerhaftes Storage!) sollte mindestens aus 3, besser 4 und mehr bestehen... da bist du schnell bei 1500-2000€ mit Controller.

Ich persönlich würde da eher auf ein RAID bestehend aus normalen Hitachis 7K3000-Platten setzen. Dann kann es schon RAID 6 oder 10 werden, d.h. auch als Storage dienen).

Wie gesagt: Du wirst mit der Nutzung die Platte nicht kaputt gemacht haben. WickedClown formulierte es sehr treffend: Wenn die Platte eben am Limit ist, ist sie am Limit, dann wird halt alles langsamer. Mehr nicht.

Mittels RAID würdest du nun halt mehrere Platten zusammenschalten, wodurch du 300MB/s und mehr schaffen würdest. Also reiner Speedvorteil.

Wenn du bislang mit der Zeit hingekommen bist würde es wohl auch reichen, einfach eine neue Platte zu kaufen - also ohne RAID.

 

[DaReal]

Ich gehe schon davon aus, dass die Platte vom Videoschnitt in Mitleidenschaft gerissen wurde. Wenn man mal drauf zu greift und Daten draufspielt okay, aber stundenlang random Zugriff ist Gift, auch wenn die Platte davon erstmal nur langsamer wird, weil die nicht schneller kann, es geht trotzdem auf die Gesundheit. Sonst gäbe es ja keinen Unterschied zwischen 24/7 Raid-Platten und den normalen Datengräbern.


Nicht destotrotz habe ich mal im Marktplatz etwas geschaut nach den Raptoren/Velociraptoren ...

Was ist nun eigentlich sinnvoller?
Getrennte Platten für Daten, Cache und Output (slso ich sage mal maximal zwei getrennte, schnelle HDDs) oder ist ein RAID0 besser (dann auch zum effektiven Vergleich aus zwei Festplatten)?

 

[Taderaz]

Die Frage ob drei Platten bei dem verwendeten Programm besser sind ist nicht eindeutig geklärt; evtl. sind sie nur so schnell wie zwei Platten. Im Zweifel ausprobieren.
Die 24/7 sind nur auf Dauerbetrieb ausgelegt, die Desktopmodelle dagegen mehr auf höhere Ein/Ausschaltzyklen was wiederum die Serverplatten (SAS) nicht so mögen.
Unterschiede ja, Zugriffszeit und natürlich noch Datenraten.

Ich würde getrennte Platten einem (einzigen) Raid0 vorziehen. Bei 2 Raid0 bestünde die Möglichkeit zwischen diesen hin und her zu schreiben/kopieren was natürlich, zumindest bei großen Dateien (also nicht viele Kleine) was bringen wird. Die Zugriffszeit verbessert sich jedoch nicht weshalb es bei vielen kleinen dateien nichts oder kaum was bringen würde.

Die Raptoren sind schon etwas älter und können wenn überhaupt gerade noch mit den Zugriffszeiten trumpfen; die Größen sind idR auch nicht eben üppig weshalb man dort schon fast SSDs näher anschauen könnte.

 

[Whistl0r]

Ich gehe schon davon aus, dass die Platte vom Videoschnitt in Mitleidenschaft gerissen wurde. Wenn man mal drauf zu greift und Daten draufspielt okay, aber stundenlang random Zugriff ist Gift, auch wenn die Platte davon erstmal nur langsamer wird, weil die nicht schneller kann, es geht trotzdem auf die Gesundheit. Sonst gäbe es ja keinen Unterschied zwischen 24/7 Raid-Platten und den normalen Datengräbern.

Nein, davon darf eine Platte nicht kaputt gehen. Überlege doch einmal, was das im Umkehrschluss bedeuten würde. Auch kommen WDs imho mit 5j Garantie... du hast die Platte imho nicht einmal 1j, d.h. selbst wenn man annehmen würde, du würdest die Platte zustark belasten... verteilt auf 5j muss das mal eine zeitlang möglich sein. D.h. wenn dir die Platte nach 2-3j intensivster Nutzung abraucht...

Hinzukommt halt auch, dass ein Sektoren-Defekt keine Folge intensiver Nutzung sein kann. Bei der parallelen Nutzung würde also eher der Lesekopf vor Ermüdung abfallen, weil er ständig an verschiedenen Orten schreiben/lesen muss.

Zum Abschluss noch: Man muss Platten in folgende Kategorien einteilen,

• Normale Platten (ohne besondere Freigabe)
• 24/7 Platten (Dauerbetrieb)
• 24/7 RAID Festplatten

Bei einer 24/7 RAID Festplatte, diese kostet in der Regel knapp das doppelte gegenüber ihrem vergleichbaren Modell der "normalen" Platte, ist die automatische Fehlerkorrektur im Laufwerk deaktiviert, weil dies Aufgabe des Controllers ist.

Inwieweit dann jede normale Platte tatsächlich schlechter bzw. eine für den Dauereinsatz freigegebene Platte besser gebaut ist, kann ich dir nicht sagen. In meinen Augen sind das größtenteils nur Labels.

Insofern also abschließend noch einmal: Eine Festplatte sollte es verkraften permanent im vom Hersteller eingeräumten Lebenszeitraum (nicht MBFT, für mich ist die gewährte Garantie hier der bessere Indikator) genutzt zu werden.
Kann die Platte das nicht, weil bspw. der Controller irgendwann Bits verschluckt, dann ist das ein Qualitätsmangel.
Treten defekte Sektoren auf, liegt ein Defekt vor, sehr wahrscheinlich war die Platte dann bereits ab Lieferung beschädigt (siehe mein erstes Posting: Ich hatte noch nie eine Platte, die meinen Eingangstest bestanden hatte und im Laufe der Zeit bei sachgemäßen Umgang dann an defekten Sektoren verstorben ist).

Was ist nun eigentlich sinnvoller?
Getrennte Platten für Daten, Cache und Output (slso ich sage mal maximal zwei getrennte, schnelle HDDs) oder ist ein RAID0 besser (dann auch zum effektiven Vergleich aus zwei Festplatten)?

Bei einem RAID0 werden die Platten zusammen geschaltet. Bei zwei identischen Platten wäre das Array dann maximal doppelt so schnell wie eine Platte. Bei drei Platten dann 3x so schnell...

Durch die parallele Nutzung steigt die Anzahl möglicher IOPs.

Sofern du nun sicher sein würdest, dass jede Platte in Ruhe sequentiell arbeiten kann und du mit der Performance einer Platte zufrieden bist, hätte ein RAID0 also keine Vorteil. In allen anderen Fällen schon.

Ich würde getrennte Platten einem (einzigen) Raid0 vorziehen. Bei 2 Raid0 bestünde die Möglichkeit zwischen diesen hin und her zu schreiben/kopieren was natürlich, zumindest bei großen Dateien (also nicht viele Kleine) was bringen wird. Die Zugriffszeit verbessert sich jedoch nicht weshalb es bei vielen kleinen dateien nichts oder kaum was bringen würde.

Die Zugriffszeit ist egal, sobald die Daten einmal fließen.

Ansonsten sprichst du aber einen wichtigen Punkt an: Wenn das Array sowohl Quelle als auch Ziel ist, wird es natürlich nicht die volle Geschwindigkeit entfalten können - logisch. Wenn du also eine 10GB Datei auf einem RAID0-Array bestehend aus zwei Platten auf selbiges Array kopierst, wird der Vorgang genau so lange brauchen, als würdest du von Platte A auf Platte B kopieren.

Sobald das Array aber aus mehr als zwei Platten besteht, liegt das RAID wieder vorne. Daher meinte ich ja auch gleich, dass es nur Sinn macht, bei mindestens 3 Platten...

Die WD6000HLHX halte ich für einen adäquaten Mittelweg zwischen SATA und SAS-Platten. Die Teile sind explizit für den Dauerbetrieb freigegeben und kommen mit 5j Garantie. Auch ist das Modell keinesfalls veraltet.

 

[DaReal]

Wie ein Raid funktioniert ist mir klar

Ist halt die Frage bzw. ist es mir eigentlich schon selbst klar, dass zwei Platten (eine Quelle -> eine Ziel) in der Theorie schneller sein sollten als ein Array aus den gleichen Platten im Raid 0 ...

So kann das Videoschnittprogramm nämlich die seq. Rate ausnutzen, was im RAID zum Problem führt, da von den Platten gleichzeitig gelesen und auch wieder drauf geschrieben wird. Somit dürfte der Durchsatz auf deutlich unter die Hälte der reinen seq. Rate sinken, womit zwei Einzelplatten schneller wären.