Komprimierung der Quelldaten der Droge

Vorsicht! Der folgende Text ist teilweise ziemlich technisch. Er handelt von Codecs, Komprimierung und Datenraten!

Bei wikipedia steht unter http://de.wikipedia.org/wiki/Open-Source-Film
"5. Es sollte möglich sein, den Film mit Hilfe der Quellen zu remontieren oder zu reproduzieren."

Im Zuge der Veröffentlichung meines Remixes wollte ich daher gern die Veröffentlichung aller Quellen in die Hand nehmen. Ich fand es wichtig, dass jeder Interessent einigermaßen unkompliziert an die Rohdaten heran kommt. 
Während meiner langen Beschäftigung mit dem Film habe ich von Stefan diverses Material erhalten. Ich erinnere mich noch an lustige Wochen des Downloads auf meiner damaligen 1 Mbit/s-Leitung und eine Festplatten-Veschickung aus der Schweiz, wo wir noch die Sorge hatten, dass vielleicht der Zoll die neue Festplatte einbehält.
So hat sich nun über die Zeit hier ca. 1 Terabyte an Daten angesammelt, sowohl Audio als auch Video. Ca. 5300 Original-Videodateien vom Dreh im bekannten avi-Container, in der bestmöglichen Auflösung von 2005 (1280x720), komprimiert mit dem hochqualitativen Schnittcodec Cineform (cfhd). Und Audio halt meist unkomprimierte wav-Dateien.

Was macht man jetzt? 1 Terabyte komplett irgendwo hochladen?

Wikipedia schränkt da ein:
"4. Die Quellen müssen mit Free/Open-Source-Software uneingeschränkt ansehbar und editierbar sein. Ist dies nicht der Fall, so muss gewährleistet sein, dass sie mit Free/Open-Source-Software in solch ein Format konvertiert werden können. Das Gleiche muss auch auf den Film selbst zutreffen."

Cineform ist aber proprietär, auch wenn man jetzt kostenlos den Decoder beim neuen Besitzer GoPro downloaden kann. 
Außerdem schränkt die reine Datenmenge dieses Codecs die kostenlose Verbreitung ein, weil immer noch nicht jeder Interessent 1 Terabyte in absehbarer Zeit downloaden kann und wir im Gegenzug auch keine praktikable Möglichkeit gefunden haben, eine solche Menge kostenlos irgendwo hochzuladen.

Also suchte und experimentierte ich etwas herum, nahm den derzeit weit verbreitetsten und extrem effizienten Codec h.264, der zwar verlustbehaftet komprimiert, also das Bildmaterial in gewisser Weise verschlechtert, aber die Dateigrößen um den Faktor 5-30 mal gegenüber Cineform verkleinert, je nach Datenrate.
(Anmerkung: Ich weiß natürlich, es gibt webm und theora als wirklich freie Codecs, aber die komprimieren nach Tests von Fachexperten schlechter und brauchen länger beim Encodieren.)

Es galt also, eine Datenrate zu finden, welche die Dateien wesentlich kleiner macht, bei der man aber eine theoretische Verschlechterung nicht mehr wahrnehmen kann. Das Testen begann.
Ich setzte die Datenrate mal höher, mal tiefer, verglich Original und Kopie und landete bei einer ziemlich hohen, aber eben nicht absurd hohen Datenrate von 5,5 MB/s, wo ich keinen Unterschied mehr erkennen konnte. Das wäre dann eine Verkleinerung ca. um den Faktor 10. 
O.k. Das sollte es sein. Und verpackt wird das Ganze mit Hilfe der freien Software Staxrip in den Open-Source-Container mkv (Den kennen einige vielleicht vom letzten illegalen Filmdownload). Der enthaltene Encoder x.264 leistet dabei gut Dienste und ist durchaus z.B. dem kommerziellen Mainconcept-Encoder ebenbürtig.

Für die wav-Dateien fand ich den open-source-codec flac, der sogar lossless, ohne jeden Verlust komprimiert, und gerade bei Dateien von Mehrkanalspuren, die wir hier häufig haben, Anteile ohne Klang-Inhalt auf 0 herunter rechnet. Und zum Beispiel die bekannte freie Software Audacity kann gleich ganze Ordner mit wavs in flacs umwandeln.
Sehr gut. Das Komprimieren konnte beginnen.

Es wurden in Beschlag genommen der Laptop meiner Frau, der Rechner der Schwiegermutter sowie 2 eigene Rechner, die 3 Tage lang ununterbrochen ächzten und stöhnten. Das wäre natürlich mit einem neuen Core-i7 wesentlich schneller gegangen, geschweige denn mit Cluster-Rechensystemen wie bei Filmfirmen.
Aber, man nimmt halt, was man zu Hause hat, und wenn es 4 Jahre alte Dualkern-Rechner sind. Und falls mir irgendwann mal 5 oder 10 Terrabyte zum umkodieren über den Weg laufen, denke ich über neue Rechner nach. Versprochen.

Das Ergebnis: Aus 1 Terabyte wurden 120 Gigabyte. Ohne Qualitätseinbuße.
Wie diese immer noch beachtliche Menge jetzt veröffentlicht werden kann, davon handeln weitere Blog-Einträge.

Was ich beim nächsten Mal noch beachten sollte: Nicht mit Grippe und Brummschädel an die Sache herangehen. Dann lösche ich vielleicht nicht wieder aus Versehen den kompletten Ausgabeordner und muss noch mal alles rechnen :(