1. HIGHWAY ist ein Forum und Multihoster. Unsere Plattform steht nur ausgewählten und überprüften Nutzern zur Verfügung.
    zur Zeit sind die Registrierungen geöffnet und man kann sich über das Anmeldeformular bewerben. Die Bearbeitungszeit beträgt je nach Dienstauslastung zwischen einigen Tagen und mehreren Wochen.

HW P2P Torrenting bei High-Way

Dieses Thema im Forum "Tutorials" wurde erstellt von 3way, 30 November 2018.

?

Hast Du schon Torrents benutzt?

  1. Nee, noch nie...

  2. Ja, ganz früher mal...

  3. Ja, benutze ich aktuell.

  4. Du Doof, ich habe kein Wort verstanden.

Eine Auswahl mehrerer Antworten ist erlaubt.
Das Ergebnis kann erst nach Abgabe einer Stimme betrachtet werden.
  1. 3way

    3way Vollzeit-OS-Ausprobierer Premium Trusted User Beta-Tester

    Registriert seit:
    14 Juli 2015
    Beiträge:
    1.920
    Zustimmungen:
    2.876
    Hi :hi:

    Ich hatte mir schon seit längerem vorgenommen, ein Tutorial für die geniale Torrent-Funktion bei High-Way zu schreiben... Jetzt ist es soweit :fearscream:

    Ich werde es in drei Teile gliedern:
    1. Übersicht - Was sind Torrents (erstes Posting)?
    2. Benutzung - Wie geht das bei High-Way?
    3. Expert - Welche Tricks gibt es?

    Übersicht - Was sind Torrents

    Downloaden war schon immer der große Hit im Internet - erst Bilder, dann MP3 und Spiele, dann Videos, jetzt auch in 4k und in Größen jenseits von 100GB. Was wäre die Welt ohne Linux-Images oder Katzenbilder? :giggle:

    Obligatorisch möchte ich erst einmal anmerken: :wait: Benutze es nicht für illegales Zeugs! Zumindest nicht, ohne sich der Konsequenzen bewußt zu werden ;) Und weil sich irgendjemand eh nicht dran hält, mache ich einfach weiter...

    Problem: Man/frau will eine Datei, und diese läßt sich per OCH oder Usenet einfach runterladen. Im einfachsten Fall ist das zB eine einzelne Datei, an einem Stück. Geht mit Torrents natürlich auch:

    Jemand nimmt eine Datei und erstellt zu dieser einen Torrent, dh am Ende kommt eine Datei raus, die auf ".torrent" endet. Was ist das?

    Diese Torrent-Datei enthält 3 wesentlich Infos:
    1. Namen der Dateien (und Verzeichnisse)
    2. und deren Hashes (Prüfsumme)
    3. Tracker (wo kriege ich das?)
    Damit lassen sich u.a. komplette Betriebssysteme downloaden, und zB für Debian kriegt man/frau das hier:
    https://cdimage.debian.org/debian-cd/current/amd64/bt-cd/

    Diese Torrent-Datei kann man sich ansehen zB bei
    http://torrenteditor.com/

    Sieht so aus:
    Screenshot_2018-11-29 Torrent Editor.png
    Dieser Torrent hat eine eindeutige Nummer, den Hash (eine Prüfsumme, die aus den Daten gebildet wird). Er hat einen Tracker, der Computer an dieser Adresse bringt alle Leute zusammen, die diese Datei haben wollen (er sagt, wer sonst die Datei haben will). Und die eigentliche(n) Datei(en), sprich Dateiname(n).

    Es gibt auch eine Offline-Version (Danke Trebunitor).
    Ein nettes CMD-Tool, welches ermöglicht aus .torrent dateien die Dateiennamen und Verzeichnisse übersichtlich auszugeben. Ist ein reines Offline-Tool
    https://sourceforge.net/projects/torrentcheck/
    https://netcologne.dl.sourceforge.net/project/torrentcheck/readme.txt
    Beispielaufruf:
    Code:
    > torrentcheck -t archive.torrent

    Mit einem speziellen Programm für Torrents, dem Torrent-Client läßt sich nun diese Datei downloaden:
    1. Der Client fragt beim Server/Tracker nach dem Hash (also eigentlich den gewünschten Daten).
    2. Der Tracker antwortet mit den Adressen aller anderen Computer, die diese Daten vorhalten (oder zumindest auch haben wollen).
    3. Der Client verbindet sich mit diesen anderen Computern.
    Da steht aber noch mehr, hier kommen nun ein paar Begriffe dazu:
    • alle diese anderen Computer heißen Peers - genauer:
      • Seeder: Alle, die es komplett haben
      • Leecher: Alle, die downloaden
    Eine wichtige Sache habe ich noch nicht erwähnt - Divide et conquere: Die Datei(en) werden wiederrum in kleinere Teile oder Chunks (oder Pieces) geteilt. Zum Beispiel kann eine Datei in hundert Chunks aufgeteilt werden. Ein Peer hat Chunk 1, ein anderer hat Chunk 13-20, ein anderer hat alle außer Chunk 100, und einer hat alle. Jetzt schickt jeder jedem anderen genau das, was noch fehlt, sieht ungefähr so aus:

    [​IMG]

    :eek: Kompliziert? Nerven behalten, aus der eigenen Sicht sieht es graphisch schöner aus:

    [​IMG]

    Das oben ist der eigene Schwarm: Ungefähr die Hälfte hat alles und die anderen zumindest etwas, aber jeder schickt das was er hat (man selbst auch!). Das schöne daran ist, daß es sehr dezentral läuft und man nicht auf einzelne Server wie bei OCH oder Usenet angewiesen ist. Das ist das Prinzip von P2P - Peer to Peer!

    Das war's fast schon, aber natürlich geht's weiter - das weitere will per Stichwörtern erklären:
    • Ratio: Es gibt natürlich "schwarze" Schafe - nicht jede/r gibt so viel zurück, wie er/sie bekommen hat. Das heißt Ratio und idealerweise ist das mindestens eins zu eins - ers wird so viel hochgeladen wie runtergeladen. Die Nettiquette gibt aber eher vor etwas mehr zu geben als zu nehmen.
    • Tracker:
      • Public: Hier kann jede/r - gilt für zB mein Beispiel oben, das legendäre Pirate Bay und viele andere (siehe diese wunderbare Liste von testerstaron, unter Torrrents)
      • Private: Hier kommt nicht jede/r rein - nur wer nett ist, gut aussieht, Geld oder die richtige Gesinnung hat, darf hier mitmachen. Aber dafür gibt es formidable Sammlungen :p
      • DHT - Distributed Hash Table: Noch so eine Cleverheit aus dem Torrentland - statt einem oder mehreren Trackern (die ja nun auch zentral sind) lassen sich die anderen Peers mit den gewünschten Dateien über den Hash finden (quasi eine globale Anfrage "Hey, wer hat Infos zu diesem Hash?). Läßt sich als Sonderform für Public einordnen.
      • First Seeder: Wenn dieses Konstrukt aus Hashes, Peers und Seedern läuft ist alles gut, aber i-wer muß ja mal anfangen (sprich Hash erstellen und die initialen Daten liefern), das macht der erste, der First Seeder. Dafür gibt es einen speziellen Modus und so werden die Chunks ganz geschickt nur einmal komplett verteilt, dh jeder Peer bekommt einen Teil und sorgt für die Weiterverteilung. Der First Seeder kontrolliert dann auch, wie gut die Sachen weiterverteilt worden sind (wer nicht weiterverteilt, kriegt nix mehr).
    Das wäre es fast schon, aber ich will noch kurz aus der Vergangenheit erzählen: Diese Technik um Daten zu verteilen ist von der Idee her schon ziemlich geil, weil es sehr dezentral läuft und damit ziemlich unkaputtbar ist. In Deutschland/Europa haben es um die Jahrtausendwende sehr viele Leute benutzt, und selbst die EU hatte Projekte, um so zB Video zu verteilen. Andererseits fühlten sich viele "Rechteinhaber" um ihre Tantiemen betrogen und wurden aktiv: Denn wer downloadet, der uploadet auch, und darüber wurden die Teilnehmer (aka Peers) dann zivilrechtlich belangt, nachdem genügend Parlamentäre zu entsprechenden Gesetzesänderungen gekauft überzeugt wurden. Abertausende von Torrentern wurden seitdem abgemahnt.

    Abhilfe naht... im nächsten Posting :cool::p:D

    PS: Fragen und Korrekturen sind natürlich willkommen - ich werde mich bemühen, das unterzubringen :)

    Edit: Kleine Änderungen...
     
    Zuletzt bearbeitet: 13 März 2019
    Yaknar, Backfisch, spritty1300 und 12 anderen gefällt das.
  2. 3way

    3way Vollzeit-OS-Ausprobierer Premium Trusted User Beta-Tester

    Registriert seit:
    14 Juli 2015
    Beiträge:
    1.920
    Zustimmungen:
    2.876
    Um den Inhalt eines Torrents zu bekommen, braucht es also eines Torrent-Clients. Da gibt es die Klassiker Bittorrent oder Vuze, aber:

    ACHTUNG :wait: FINGER WEG VON CLIENTS!

    Einfach aus dem Grunde, daß bei jeder Teilnahme auch hochgeladen wird, und Provider geben dann auf Anfrage die Benutzer preis. Dann gibt es eine Abmahnung - das nächste Weihnachten dürfte um einen 4stelligen Betrag ärmer ausfallen.

    Lösung: Man benutzt einen zuverlässigen VPN, der den Datenverkehr übernimmt und einen nicht verpetzt. Und genau das macht High-Way für einen schon ganz automatisch. Zusätzlich bleibt fungiert HW als permanente 24/7 Seedbox, während der eigene Rechner ausbleibt :party: Und das alles sogar recht einfach :hearteyecat:


    Benutzung - Wie geht das bei High-Way?


    thw.png
    Im Center gibt es den Reiter "Torrent" und darüber gibt es gleich drei Wege, um...
    den Torrent hinzuzufügen:
    1. die .torrent-Datei (ganz links)
    2. den Link zur .torrent-Datei (rechts oben) - HW lädt dann die eigentliche .torrent-Datei runter
    3. Magnet-Link - jeder Torrent hat ja diese eindeutige Nummer, den Hash. Ein Magnet-Link enthält den Hash und noch eine paar Tracker-Adressen. Der Rest (Datei-Infos, -größe) kommt dann bei Kontakt zu einem Peer von alleine nach.
    Was nehmen? Egal! :D Ist eher eine Frage des Geschmacks. Hier führen (fast) immer alle Wege zum Ziel, aber der Magnet-Link sieht natürlich alt aus, wenn er keine Peers findet - dann steht da nur die Hash-Nummer (und nicht einmal der Name).

    Wo bekommt man/frau das her? Da hilft natürlich die wunderbare Liste von testerstaron
    https://high-way.me/threads/stuff-sites.130/

    Okay! Jetzt heißt es abwarten... und zugucken, wie der Torrent seine Phasen durchläuft:
    1. Gestoppt: es wird der nötige Speicher reserviert (und bei Magnetlinks nach Peers gesucht, um überhaupt zu wissen, wieviel reserviert werden muß)
    2. Downloaden: es werden Daten mit anderen Peers ausgetauscht und der Torrent wächst (siehe auch vierte Spalte "Fertig zu %")
    3. Seeden: Der Torrent ist zu 100% fertig (und kann auch runtergeladen werden!), aber wir haben das Ratio (zur Zeit 1.5) noch nicht erreicht.
    4. Gestoppt: Das Seeding-Limit wurde erreicht (oder es hat 2 Tage lang kein anderer Peer angefragt).
    5. Archiviert: Das vorherige "Gestoppt" dauert meist nicht lang (nur ein paar Stunden), dann wird der Torrent archiviert und vor allem der Torrent-Slot freigegeben, dh es können wieder neue eingefügt werden.

    Fertig! :cool::hearteyecat::party: Viel Spaß beim Downloaden!

    Aktuelle, kleine Torrents mit vielen Seeds/Peers sind häufig innerhalb von 10min fertig. Große und ältere können auch mal 2 Wochen brauchen (weil zB der einzige Seeder nur am Wochenende Zeit hat).

    Regeln:
    siehe erstes Posting von Yaknar

    (Platzhalter - hier kommt noch eine Erklärung der Tabelle hin)

    Fazit:
    • Im Vergleich zu Usenet ist das Handling einfacher: Es muß nicht erst das NZB und ggf. Paßwort gefunden werden)
    • unkaputtbar: Ein Hoster kann von der Bildfläche verschwinden, aber durch die dezentrale Natur der Torrents können diese noch Jahre später aktiv sein (selbst wenn die ursprüngliche Quelle schon lange verschwunden ist).
    • 33%: Ein Hoster will Geld für die Accounts, das macht es teuer. Torrents brauchen das nicht, so läßt sich bei HW die dreifache Menge runterladen.
     
    Zuletzt bearbeitet: 17 April 2019 um 11:48 Uhr
    Backfisch, spritty1300, Titanic und 9 anderen gefällt das.
  3. 3way

    3way Vollzeit-OS-Ausprobierer Premium Trusted User Beta-Tester

    Registriert seit:
    14 Juli 2015
    Beiträge:
    1.920
    Zustimmungen:
    2.876
    Welche Tricks gibt es?

    Es gibt noch ein paar Infos, die sind fast nicht nötig... bis man/frau sie selber erlebt und sich wundert:
    • Zombies
      Ein Torrent wird nicht fertig! Klar, einige Peers können nur abends, andere nur am Wochenende, andere vielleicht nur einmal im Monat. Obendrein rotieren einige Seeder ihre Torrents. Wie lange drinlassen? Nach 2 vollen Wochenenden wird's peinlich, nach einem Monat aber wird es kritisch - ist eine persönliche Abwägung: Gibt es das gewünschte anderswo (zB Re-Release, Usenet, OCH)? Braucht man den Slot? Hatte selbst einige, die drei Monate (!) brauchten - bloß ein Auge draufhalten, daß es nicht unendlich halbfertiges seedet. Trotzdem: Unser Torrent-Client bleibt am Ball wie eine Zecke >:)
    • Interface kaputt
      Es läßt sich im Center nichts hinzufügen, Downloaden endet in 404, die Zahlen ändern sich stundenlang nicht. Das sollte im Support-Thread
      Probleme mit dem Torrentdownload gemeldet werden.
    • 99% - Torrent schafft die 100% nicht
      Es kann sein, daß ein Torrent schön läuft, immer Peers und ein gutes Ratio hat und trotzdem kommt er nicht auf 100% sondern nur 99%. Dann gibt es wohl "Bonusmaterial" in dem Torrent, daß keiner haben will (ja: Links, NFOs, Sample, Bilder lassen sich auch deselektieren). Das gewünschte File ist aber meistens komplett und okay.
      Filme lassen sich testen mit
      Code:
      ffmpeg -v error -i FILENAME.mp4 -f null - 2>test.log
      https://unix.stackexchange.com/questions/269342/how-to-check-if-a-video-is-completely-downloaded
    Wie versprochen gibt es noch einige Tricks:
     
    Zuletzt bearbeitet: 13 April 2019
    Backfisch, spritty1300, Titanic und 8 anderen gefällt das.
  4. maanteel

    maanteel Premium Trusted User Beta-Tester

    Registriert seit:
    22 März 2015
    Beiträge:
    854
    Zustimmungen:
    1.239
    3way - was ich schon immer wissen wollte!

    Grossartig, gut gemacht, vielen Dank!
     
  5. Mydgard

    Mydgard Premium Trusted User Beta-Tester

    Registriert seit:
    21 März 2015
    Beiträge:
    2.450
    Zustimmungen:
    2.421
    Guthaben:
    488.453MB
    3way da hast Du Dir ja viel Mühe gegeben! Super so, aber einen wichtigen Punkt speziell zu High-Way hast Du imho vergessen:

    Nämlich das man z.B. ein 100 GB Torrent adden kann (wären 33 GB Berechnung), aber wenn man von den 100 GB nur 30 GB herunterlädt, werden einem auch nur 10 GB Volumen abgezogen. Grade z.B. bei Porno Siterips kann sich so etwas lohnen. Bei normalen Filmen natürlich eher nicht.
     
  6. 3way

    3way Vollzeit-OS-Ausprobierer Premium Trusted User Beta-Tester

    Registriert seit:
    14 Juli 2015
    Beiträge:
    1.920
    Zustimmungen:
    2.876
    Welch' Ironie, dabei wollte ich Dich (und Deine vielen guten Tuts) in noch einer speziellen Danksagung erwähnen:D Danke :hearteyecat:
    Sollte anfangs gar nicht so groß werden, aber beim schriftlichen Brainstorming (und regelmäßigem Torrenting) kam immer mehr dazu. Und jetzt sehe ich noch meine vielen Typos und Ungereimtheiten - Fun Fact: Je nach Device sieht man andere Fehler :D
    Ja, stimmt - werde ich noch reinmogeln, danke! BTW, nicht nur bei Pr0n, auch Serien haben häufiger mal eine kaputte Folge, die dann ausgetauscht werden will.
     
    spritty1300, Mydgard, HHFrosch und 3 anderen gefällt das.
  7. Aiden

    Aiden Usenet Supporter Administrativer Support Premium Trusted User

    Registriert seit:
    18 März 2015
    Beiträge:
    1.812
    Zustimmungen:
    2.278
    Klasse 3way ! Super Tutorial und Erklärung zum Thema Torrenting. Ich war mal so frei und habe den Thread oben zu den anderen Tutorials angepinnt (ist ja mittlerweile schon eine beachtliche Summe geworden :clap:)
     
  8. testerstaron

    testerstaron Premium Trusted User Beta-Tester

    Registriert seit:
    17 März 2015
    Beiträge:
    2.307
    Zustimmungen:
    2.648
    Wie macht er das bzw braucht er dazu ein Programm?

    Mit Tracker meinst du wieder die Puplic und Private Tracker, oder? Nur für was steht jetzt im Magnet Link der Tracker zb. https://www.speedtorrent.com/ wenn es dort zuwenig seeder gibt und das ganze dann zb. über https://rarbg.to gedownloadet wird ?
     
    Aiden gefällt das.
  9. 3way

    3way Vollzeit-OS-Ausprobierer Premium Trusted User Beta-Tester

    Registriert seit:
    14 Juli 2015
    Beiträge:
    1.920
    Zustimmungen:
    2.876
    Einen Torrent erstellen läßt sich mit dem Client (zumindest Bittorrent und Vuze) - die nudeln dann alle Daten durch (eine Datei oder ein Verzeichnis), berechnen den Hash und spucken dann das .torrent-File raus. Dabei lassen sich noch ein paar Sachen einstellen, zB Adressen von Trackern, Public oder Private, DHT an/aus, und die Anzahl der Pieces.

    Die .torrent-Datei lädt man dann bei einer der vielen Seiten hoch, damit andere sie benutzen können. Jetzt bedarf es nur noch mindestens eines Seeders.

    Natürlich könnte man auch so mit einem Freund größere Dateien tauschen (am besten vorher verschlüsseln).

    Guter Punkt! Hätte ich anders beschreiben sollen: Gemäß ihrem Namen tracken sie und zwar alle Rechner, die den Torrent wollen - so finden die vielen Peers erst zueinander.

    Bei privaten Trackern kommt dann keine Antwort, wenn man nicht Mitglied ist.

    Wenn der Tracker nicht läuft, dann ist natürlich Essig :oops: Zur Abhilfe werden dann gleich mehrere Tracker-Adressen im Torrent eingefügt. Und/oder: Das dezentrale DHT benutzt - dann sucht man per Hash nach anderen Peers und fungiert gleich selbst als Tracker.

    Die eigentlichen Daten (zB Film) kommen aber nur von anderen Peers - ein Tracker ist "lediglich" Vermittlungsstelle.

    Ach, mir fällt gerade auf: Den Hash kann man sich als Torrent-ID vorstellen (um die vielen, vielen Torrents voneinander zu unterscheiden).
     
  10. testerstaron

    testerstaron Premium Trusted User Beta-Tester

    Registriert seit:
    17 März 2015
    Beiträge:
    2.307
    Zustimmungen:
    2.648
    Also kann man sich den Private Tracker wie einen Server vorstellen? Und dieser Server wird mit Werbung bezahlt?

    Nur wie kann der Private Tracker auf meine Festplatte zugreifen -> sprich Leeder und Seeder
    Wenn ich zb. Vuze am PC drauf habe, dann kann doch jeder auf meine Daten/Hash zugreifen.
    Das ganze ist irgendwie kompliziert. :D
     
    3way und Aiden gefällt das.