Usenet

War ja klar, alter Fuchs

Hatte jetzt bloß ein paar kaputte Sachen... und wunderte mich, ob ich mir doch noch woanders einen Block holen/ausleihen sollte (so rein aus wissenschaftlichen Gründen, für's Testen... wobei Ausleihen fast flachfällt, weil eh alle Eweka/Highwinds haben).

 

Verstehe nur Bahnhof, aber hat mein Interesse geweckt mal mich reinzulesen

 

Das Usenet ist so aufgebaut, dass Unternehmen Backbones betreiben, im Falle von Omicron sogar mehrere. Jede Backbone ist eine eigene Serverfarm, ggf. sogar ein eigenes Rechenzentrum. Auf den Festplatten dort liegen dann die Inhalte des Usenets.
Das besondere am Usenet im Vergleich zum WWW ist, dass die Backbones sich untereinander austauschen: also das was bei einer Backbone hochgeladen (bzw. spricht man "fachsprachlich" von gepostet) wurde, wird auch an die anderen Backbones weitergegeben. Dadurch wird erreicht, dass per se alle Backbones die gleichen Daten erhalten und das sogar relativ zeitgleich.

Wer dann aus dem Usenet etwas runterladen will macht das, indem er sich einen Zugang zu einer Backbone kauft. Den Zugang bietet dir dann der sog Usenet-Provider. Der kauft große Mengen Kontingente beim Backbone-Betreiber ein. Man kann einen Provider vergleichen mit einem Supermarkt: das Glas Nutella kaufst du ja auch nicht direkt bei Ferrero, sondern in einem Einzelhandelsgeschäft. Manche Provider haben auch Reseller: die wiederum wären (um beim Beispiel Supermarkt zu bleiben) am ehesten mit einem Kiosk vergleichbar. Vielleicht passt aber besser "selbständiger Handelsvertreter" - also die Reseller kaufen entweder Kontingente beim Provider oder erhalten eine Provision.

Der größte Unterschied zwischen den Backbones ist die Retention: das ist im Endeffekt die Haltedauer. Einige Highwinds-Backbones (das Unternehmen Highwinds hat, wie du in der Usenet Tree-Grafik weiter oben siehst, sogar mehrere Backbones) haben über 5600 Tage. Das bedeutet: alles, was in den letzten 5600 Tagen ins Usenet hochgeladen wurde, hat Highwinds gespeichert. Es sei denn, es ist eine Abuse-Meldung eingegangen (idR weil ein Copyright-Inhaber einen Upload gelöscht haben wollte) - dann wird der betreffende Upload ("fachsprachlich" Posting genannt) halt gelöscht. Dieser Fall trifft im Usenet nur sehr selten auf. Bei Sharehostern wie Rapidgator wird viel, viel mehr gelöscht. Der Grund liegt, mutmaße ich, vor allem am Nischendasein, den das Usenet führt. Dadurch, dass es im Gegensatz zu Rapidgator nicht über das WWW zugänglich ist (bzw. nur über Umwege), werden Rechteinhaber nur höchst selten darauf aufmerksam. (Siehe Yaknars Screenshot, dass 98 % der angefragten Artikel gefunden werden) Die fehlenden 2 % werden mit Sicherheit auch größtenteils verlorengegangene Artikel sein. Ich schätze, dass <0,5 % der angefragten Artikel nicht gefunden wurden, weil sie abused wurden. Artikel wiederum sind einfach nur "Splitterteile" von Dateien: denn wenn eine Datei ins Usenet geladen wird, wird sie dabei aufgeteilt in ganz viele kleine Teile, die sog. Artikel. Eine 100 MB große rar-Datei z.B. wird dann oft in tausende Artikel geteilt, alle nur ein paar KB groß. Ich glaube, ein Artikel darf maximal 2 MB groß sein, sonst wird er (abhängig vom Usenet-Provider, bei dem der Uploader hochlädt) abgewiesen.

Aus dem Grund dass Artikel teilweise "verloren" gehen gibt es bei den meisten Uploads auch die Wiederherstellungsinformationen (par2-Dateien). Dank paritätischer Berechnung kann dein Computer (unter großer Prozessorauslastung) verlorengegangene Artikel "errechnen". Das geht aber nur bis zu einem bestimmten Grad und sabnzbd bzw nzbget würden auch eine Warnmeldung zeigen, 1. wenn Artikel nicht gefunden wurden UND 2. wenn es zu viele sind, um das Archiv zu rekonstruieren.

 

Vielen Dank für diesen Beitrag. Jetzt habe ich etwas besser das Usenet verstanden!

 

Ich danke dir auch PSC für diese Erklärungen.

Weisst du vielleicht auch, warum die Usenet Provider in der Lage sind solch gigantische Mengen an Daten zu speichern? Speicherplatz ist nicht umsonst, und die hochgeladenen Daten pro Tag sind riesig.

Habe gehört einige Usenet Provide erhöhen die Retention auch immer weiter, was heissen würde neu hochgeladene Datein werden gar nicht mehr gelöscht. Filehoster dagegen löschen inaktive Dateien oft schon nach wenigen Tage/Wochen/Monaten.

Usenet kann man zwar im Gegensatz zu (den meisten) Filehostern nicht umsonst nutzen, aber kann die eher geringe Gebühr tatsächlich so viel Server Storage finanzieren?

 

Achso dass Usenet auch Inaktivitätslöschungen durchführt hab ich nicht gewusst. Ich hatte es fast noch nie das ein File zuviele fehlende Artikel hatte, selbst bei Nischensachen über 8 Jahre alt, mit nur wenigen "grabs" bei der NBZ Seite. Vielleicht werden nur Files gelöscht die (fast) gar keine Downloads haben, z.B <1 pro Jahr. Bei Filehostern ist ja meistens spätestens bei <1 pro Monat Schluss ausser der Uploader zahlt.

 

Ich weiß nicht, ob es allumfassende Statistiken einiger Betreiber gibt, aber mit ein bisschen Interpolation der Daten über Cubic Splines dürften das wohl etwas mehr als 400 PiB (!) sein bei 5600 Tagen Retention, vorausgesetzt, wir gehen davon aus, dass es in die Vergangenheit zurückgehend auch immer weniger wird, was täglich hochgeladen wurde und momentan eben der Trend eher steigend ist, wobei monatlich ja auch über 15 PiB dazu kommen. Ist aber auch eine Schätzung, die keine Löschungen berücksichtigt. Trotzdem... Das muss man erst mal als Serverfarm hinstellen und bereitstellen, selbst wenn es nur die Hälfte wäre!

 

Ist auch nur mal rein mathematisch interpoliert. Da ist so viel Unbekanntes dabei
Außerdem gibt es mittlerweile ja auch Festplatten mit mehr als 20 TB

Aber die Usenet-Betreiber werden sich über die angekündigten 512 TB-SSDs freuen

 

Omicron (Highwinds Media) schreibt schon seit 2018 (einfach in der Wayback Machine schauen) das sie 250+ PB speichern auf ihrer Webseite.

 

Wo/wann? Hatte jetzt August/April geschaut aber dergleichen nicht finden können...
https://web.archive.org/web/20180328101250/http://www.highwinds-media.com/

 

Genau. Seit November 2018 steht es dort mindestens. Das sollte heute deutlich höher liegen, wenn man bedenkt, dass diese Zahl schon einige Jahre alt ist und der Feed jedes Jahr gewachsen ist.

 

Es gab heute ein kleines Update der Karte. Um die Fragen zu Beantworten: Omicron (HW), Base IP und Eweka sind eigene Backbones, welche allerdings sich das gleiche Netzwerk teilen und im gleichen Rechenzentrum untergebracht sind. Sie gehören alle zu Omicron Media. Base IP hat eine deutlich schlechtere Retention als die anderen beiden operiert allerdings wie Eweka als niederländische Firma und folgt daher der NTD Takedown Prozedur. Einfach mal testen, meiner Erfahrung nach ist die Retention sogar noch etwas schlechter als bei Usenet.Farm und es gibt quasi nur ganz neue Uploads. Eweka und Omicron haben sehr ähnliche Retention (zumindest Omicron US/NL, die Anbieter wie SunnyUsenet & PureUsenet haben beschränkte Retention). Insgesamt hat Eweka am meisten und es gibt einige Uploads nur dort und bei keinem anderen Anbieter. Omicron hat allerdings auch einige (weniger) "exklusive" Uploads verfügbar.

Giganews und NetNews gehören ähnlich wie bei Omicron Media beide zu Powerhouse Management, sind allerdings auch getrennte Backbones mit teilweise geteiltem Netzwerk. NetNews hat allerdings auch Server in Australien, an der Westküste in den USA und in der Niederlande. Bei Giganews gibt es nur US East und Deutschland (Limburg, OVH).

 

Natürlich gibt es keine Beweise, man muss ihnen da schon glauben oder eben auch nicht. Mir wurde gesagt das alle Daten 3x gespeichert werden. Es kann gut sein das Storage unter den Backbones geteilt ist und der Zugriff je nach Backbone beschränkt. Ändert trotzdem nichts an dem Fakt das es einiges nur bei Eweka oder nur bei Omicron gibt.

Ob einige Server von Anbietern nur einen Cache haben oder alle Daten lässt sich auch nur vermuten aber ist auch nicht unwahrscheinlich. Im Ende ist aber auch das recht egal solange man als User gute Geschwindigkeiten erreicht imho.

 

Davon gehe ich auch aus. Fällt eine Platte in NL aus, wird sie wiederhergestellt aus dem "Backup", das in den Staaten liegt (doof wäre nur, wenn genau beide Platten kaputtgingen )

Aber: Man darf nicht vergessen dass zumindest Eweka mal ein eigenständiger Betreiber war mit eigenem Backbone. Es kann sein, dass Omicron das Backbone nicht aufgelöst hat, nachdem sie Eweka gekauft haben. Das Gleiche kann ich mir auch bei Base IP vorstellen, denn ich meine, auch die wären ein eigenständiges Backbone gewesen, gehören aber seit einigen Jahren zu Omicron.

Zur Inaktivitätslöschung: die gab es nie, denn der Unterschied zum Hoster ist immer gewesen, dass im Usenet festgelegte Aufbewahrungsfristen gelten, die der Backbone-Betreiber festlegt. Aufgrund der explodierten Feed Size (ungefähr seit der Corona-Pandemie) werden kleine Usenet-Backbones aber vor Herausforderungen gestellt, gerade weil zB die Kryptowährung Chia zusätzlich noch die Festplattenpreise in die Höhe trieb. Ich gehe davon aus, dass (auch abhängig vom Backbone-Betreiber) eine "kurze" Zeitspanne von zB 30 Tagen alles von einem Backbone-Betreiber aufbewahrt wird und dann ein Algorithmus entscheidet, was behalten wird und was nicht. Das Meiste was mittlerweile ins Usenet hochgeladen wird, ist Datenmüll.

Die Finanzierung der Backbones erfolgt so: Usenet-Provider bezahlen die Uploader nicht. Das ist für einen Filehoster im WWW jedoch der höchste Kostentreiber. Ich schätze, 90 % ihres Profits geben Filehoster an ihre Uploader weiter. Die einzigen Provisionen im Usenet werden (und das auch nur für Affiliate-Teilnehmer, falls der Usenet-Provider überhaupt Affiliate anbietet) für tatsächliche Käufe eines Usenet-Zugangs gezahlt. Und davon profitieren nicht die Uploader, sondern meist die jeweilige Plattform, auf der sie ihre Uploads dann zugänglich machen (im Regelfall also in Usenet-Boards und Usenet-Indexern).
Die Kommerzialisierung der Piracy, die von Rapidshare damals "erfunden" wurde und Szenegrößen wie Netload.in, MEGAUPLOAD und uploaded.to nach sich zog, ist der einzige Grund, wieso Uploader auf Filehoster setzen. Durch den höheren Monatsbeitrag bei Filehostern finanziert man halt auf Umwegen auch die Uploader. Im Usenet gibt es so etwas nicht (und gab es auch vor dem Rapidshare-Geschäftsmodell nie) - die Uploader tuns sozusagen aus "Nächstenliebe"; sie sind selbst noch mit unkommerziellen Filesharing/Piracy groß geworden.

Ich denke auch, dass der klassische "Uploader" mittlerweile eine Ausnahme ist. Die meisten Usenet-Foren bzw -Indexer setzen auf automatisiertes Posting. Das läuft so: wer ein Release veröffentlicht (im Regelfall sind es Releasegroups wie zB EXQUiSiT und nur selten Einzelpersonen, die dann im Regelfall "iND" an den Releasetitel anhängen) macht das z.B über P2P-Netzwerke oder steht mit Personen der Piracyscene in Kontakt. Letztendlich landen die meisten Releases früher oder später auf sogenannten Dumps (engl für Lager/Depot).

Wer schon mal dank einer Suchfunktion in einem Piracy-Board zB einen Film mit zig Releases von verschiedensten Groups gesehen hat, wird früher oder später den Unterschied feststellen: die jeweiligen Encoding-Parameter stellen meist den "Wiedererkennungswert". Encoding-Parameter nenne ich die Qualitätseinstellungen des Release. Manche Releasegroups veröffentlichen eine komplette DVD oder BluRay (zu erkennen daran dass im Releasetitel COMPLETE steht bzw UNTOUCHED). Andere legen Wert auf eine kleine Dateigröße (Spielfilm bei EXQUiSiT hat roundabout 5GB). Andere sagen sich wohl, eine UNTOUCHED-BluRay (häufig als ISO damit der Anwender sie selbst wieder auf BluRay-Rohlinge brennen kann) beherbergt viel zu viel Datenmüll (zumal physische Datenträger für einzelne Filme heutzutage so gut wie keine Rolle mehr spielen dürften) und nutzen Komprimierungsverfahren wie zB x264 oder x265, um bei gleichbleibender visueller Qualität eine zB von 80GB geschrumpfte BluRay effektiv auf 20GB zu bringen (zB HDC und HDS sind dafür bekannt). Handelt sich dann im Regelfall um eine mkv-Datei. Bekanntestes Komprimierungsverfahren bei Audio ist übrigens MP3 (kennt, denke ich mal, so ziemlich jeder)...

Bevor ich es vergesse zu erklären, was Dumps sind: es sind einfach Server mit einer Vielzahl an Festplatten, die sozusagen eine zentrale Sammelstelle für die Uploader darstellt. Soll heißen: der Betreiber eines Dumps sorgt dafür, dass neue Releases ihren Weg auf den Dump finden (zB weil er Kontakt zu gewissen Releasegroups hat oder über Kontaktpersonen aber das meiste dürfte er einfach aus P2P-Netzwerken geliefert bekommen). Uploader mit einem Zugang zu einem solchen Dump laden die Releasedateien dann runter. Die Dateien sind meist in relativ kleine Archive gepackt (zB 100 MB-Parts, mit Dateiformaten wie r01 r02). Ein Uploader, der seinen "Job" vor allem aus Überzeugung macht erkennt man daran, dass er das "Original"-Archiv nach dem Download entpackt und anschließend mit seinen Merkmalen neu packt (z.B. 1GB-Parts mit seinem Archivpasswort, Dateiformat dann idR part001.rar usw). Ein Uploader, der seinen "Job" aus finanziellen Gründen macht, würde sich die Mühe mit dem Entpacken nicht machen sondern die bestehenden Original-Archivparts runterladen und direkt wieder zu einem Filehoster hochladen. Und dann gibt es noch so ein Mittelding, was ich auch schon oft im Usenet hatte: der Uploader erstellt zwar ein RAR-Archiv, füllt dieses aber mit den Original-Archivparts (die sind dann sozusagen doppelt verpackt, sodass man als Downloader (auch Leecher genannt) zwei Mal entpacken muss).

Tja, und da so ein Dump (der Zugriff auf so ein Dump erfolgt nicht über http:// sondern meist über ftp://) automatisiert läuft, sind die großen Uploader ebenfalls auf den Zug der Automatisierung gesprungen: die haben also ein Programm entwickelt, das bestimmte Quellen wie eben einen oder mehrere Dumps "überwacht", neue Releases gleich runterlädt und dann mit den zuvor festgelegten Einstellungen auf ebenfalls festgelegte Ziele (zB Rapidgator und Ddownload) hochlädt. Auch einprogrammiert: der Forenbeitrag, der weitere Informationen aus maschinenlesbaren Quellen (wie der Internet Movie Database IMDb) abruft (z.B. wird oft ein Klappentext in den Forenbeitrag eingefügt).

Man sieht: ein Forum im Usenet braucht zwingend eigene Server, über die die Postings vollautomatisiert erledigt werden. Uploader, die so eine Arbeit ohne Gegenleistung erledigen, gibt es heutzutage so gut wie keine mehr (einzige Ausnahme sind wirklich die Uploader, die das aus "sozialen" Gründen machen bzw als Hobby die im Eigentum befindlichen BluRays oder auch Musikalben anbieten). Die Finanzierung dieser Foren erfolgt meist durch freiwillige Spenden der Mitglieder. Das Hosting eines Forums ist für wenige € im Monat zu haben, das Teure ist halt der Unterhalt eines automatischen Upload-Bots, denn der braucht einen leistungsfähigen Server mit großer Bandbreite. Der Zugang zu den Dumps übrigens ist "non-public". Prinzipiell kann zwar jeder einen Zugang (mind. 15 € mtl) kaufen, aber ohne die richtigen Leute zu kennen, kommt man gar nicht erst an einen Zugang. Auch wenn es im Usenet einige Kommerzialisierungsversuche gab (zB der Usenet-Provider SSL-News, der beim ehemaligen Forum "Town" stark beworben wurde, teilweise wurde gesagt, dass Uploads nur über SSL-News verfügbar sein, obwohl Exklusivvereinbarungen im Usenet als "No-Go" gelten, denn das wesentlichste Merkmal des Usenets ist nun mal der untereinander stattfindende Datenaustausch) gehörte wohl den Forenbetreibern. Town.ag hieß das Board meines Wissens und war so ziemlich das größte im deutschsprachigen Raum. Aber: Geld hinterlässt Spuren und die Ermittler sind den Betreibern wohl auf die Schliche gekommen. Mit dem "Follow the money" haben die Ermittler ja schon zig Filehoster hochnehmen lassen.

Eine Quintessenz: das Usenet ist, so würde ich es bezeichnen, genossenschaftlich organisiert. Die Beibehaltung der Synchronisierung unter allen Backbones gehört wohl zum guten Ton, auch wenn die einzelnen Backbones gewinnorientiert handeln. Genau aus dem Grund wird die Monopolbildung von Highwinds bzw dem Investor Omicron wird daher schon seit Jahren von vielen "alten Hasen" sehr kritisch gesehen. Omicron ist der mit Abstand größte Anbieter und hat daher auch die größte Marktmacht. Dass der Eigentümer von gleich mehreren Backbones mit jeweils auch der längsten Retention (und für viele ist diese, die bis August 2008 reicht nun mal ausschlaggebend) seine Monopolstellung nutzt, und die Synchronisierung mit seinen kleineren Konkurrenten bepreist oder gar ganz beendet wird, so resultiere ich, immer wahrscheinlicher.

Der Grund liegt vor allem in der enormen Kostensteigerung, die aus der Vervielfachung der Feed Size in nur wenigen Jahren resultiert (475 TiB/Tag, in TB umgerechnet: 522). Usenet Newsgroup Feed Size - NewsDemon Usenet Newsgroup Access
Das Usenet spielte ursprünglich als Diskussionsplattform eine Rolle, seit Aufkommen von Foren im WWW wird es de facto nur noch für den Austausch von Daten und nicht mehr für den Austausch von Texten genutzt. Die Daten sind zwar öffentlich, allerdings mutmaße ich, dass wohl sehr viele das Usenet mittlerweile als kostenlose Backup-Möglichkeit nutzen. Obwohl alle Daten von jedermann heruntergeladen werden können, scheinen einige Füchse ihre Backups einfach verschlüsselt hochzuladen. Ich rate zumindest bei persönlichem Daten (zB Zeugnisse oder Abschlüsse) dringend von einem Backup ins Usenet ab, egal wie stark die Verschlüsselung heutzutage ist; man weiß nicht was in 10 Jahren digital alles möglich werden wird, geschweige denn von 20 oder sogar noch mehr Jahren.

Da das Daten-Auslagern ins Usenet schon seit einigen Jahren Überhand genommen zu haben scheint und die Backbone-Betreiber keinen Vorteil sondern nur höhere Kosten tragen müssen, wird mit Sicherheit vieles von einem Algorithmus wieder gelöscht. Das würde ich dann aber eher als Spamfilter werten und nicht als Inaktivitätslöschung. Aufbewahrt wird (natürlich wird das nicht öffentlich geäußert durch die Betreiber) nur das, was auch tatsächlich von anderen wieder heruntergeladen wird. Ob nur ein einziger DL erforderlich ist, damit der Algorithmus entscheidet, dass es sich nicht um Spam handelt, wäre mal interessant für mich zu wissen Wenn der Algorithmus nämlich zu einem späteren Zeitpunkt noch mal überprüfen soll, ob es sich für den Backbone-Betreiber lohnt, eine Datei zu behalten, würde ich es dann doch als Form der Inaktivitätslöschung ansehen, denn effektiv gesehen entscheidet der Algorithmus dann ja nur zwischen "Löschen" und "Löschfrist verlängern".

 

Ja, die bekommen sicherlich nichts (welcher Indexer hat denn überhaupt noch Uploader? Gerade bei Indexern ist es doch von Anfang an darauf ausgelegt, dass der Index aus den Releaseuploads vollautomatisch gefüllt wird).
Bei BoerseBZ und TO haben die Uploader auch nichts vom Board abbekommen, im Gegensatz zum Usenet aber etwas vom Hoster. Die Preise für einen Usenet-Zugang sind zu gering, als dass sie noch Marge für Uploader über hätten. Man muss bedenken: wer selbst nicht auf Automatisierung setzt sondern als "kleiner Uploader" alles per Hand macht bzw gemacht hat, wird dort nicht mehr als ein Taschengeld verdienen können.

Aber wie schon gesagt: mit SSL-News gab es auf Board-Ebene einen eigenen Usenet-Provider. Ob dann auch Uploader auf TOWN damals beteiligt wurden (außer es wurde über ihren Ref-Link ein Zugang bei SSL-News gekauft) mag ich bezweifeln, viel mehr gehe ich davon aus, dass sich die Betreiber von Town alles in die Taschen gesteckt haben.