1. HIGHWAY ist ein Forum und Multihoster.
    Unsere Plattform steht nur überprüften Nutzern zur Verfügung.
    Zur Zeit sind die Registrierungen geöffnet. Die Prüfung einer Registrierung beträgt wenige Stunden.
    Die Prüfung ist notwendig, da sich auf unserer Seite aktuell gut hundert Forenspammer pro Tag registrieren wollen.

HW MOCH Client-Einrichtung JDownloader 2

Dieses Thema im Forum "Tutorials" wurde erstellt von maanteel, 8 Juli 2015.

  1. goldjunge491

    goldjunge491 Premium

    Registriert seit:
    4 August 2023
    Beiträge:
    4
    Zustimmungen:
    1
    Free:
    350 MB
    okay
    also der verlinkte thread in Post #243. führt zu einer Account Rules file der gefühlt genauso alt ist wie der von mir erwähnte.


    Okay interessant, aber bestimmt könnte man das als Anbieter auch Scripten das die Datei immer selbst erstellt wird und die Grund Settings liefert.
     
    pspzockerscene gefällt das.
  2. pspzockerscene

    pspzockerscene Offizieller JD-Entwickler Premium Trusted User Beta-Tester

    Registriert seit:
    31 März 2015
    Beiträge:
    650
    Zustimmungen:
    1.386
    Free:
    154.628 MB
    Sicherlich - die Möglichkeiten sind grenzenlos.

    Auf lange Sicht wäre das Ziel aber, es "richtig" zu machen.
    Dies wäre wie folgt:
    JD lädt, sofern ein Account verfügbar ist, standardmäßig nur über diesen und niemals im Free-Modus.

    Wir haben interne Tickets dazu, aber wann dies umgesetzt wird, bleibt unklar.
    Bis dahin müssen die User Verwendungsregeln anlegen, um das Springen in de Freemodus zu vermeiden.
     
    goldjunge491 gefällt das.
  3. 3way

    3way Vollzeit-OS-Ausprobierer Premium Trusted User Beta-Tester

    Registriert seit:
    14 Juli 2015
    Beiträge:
    4.603
    Zustimmungen:
    6.927
  4. Valxiron

    Valxiron Premium Serious User

    Registriert seit:
    10 Juni 2023
    Beiträge:
    54
    Zustimmungen:
    20
    Der Link zu einem spezifischen Post im JDownloader Board scheint mir sowieso falsch. Hier wäre eigentlich der richtige Thread: https://board.jdownloader.org/showthread.php?t=54725
    Und dort steht auch explizit "Please do not spread these installers over the internet. If you want to link them, please link to this post. Thanks."
     
    pspzockerscene gefällt das.
  5. 3way

    3way Vollzeit-OS-Ausprobierer Premium Trusted User Beta-Tester

    Registriert seit:
    14 Juli 2015
    Beiträge:
    4.603
    Zustimmungen:
    6.927
  6. pspzockerscene

    pspzockerscene Offizieller JD-Entwickler Premium Trusted User Beta-Tester

    Registriert seit:
    31 März 2015
    Beiträge:
    650
    Zustimmungen:
    1.386
    Free:
    154.628 MB
    Die Adware ist eine unserer Einnahmequellen daher bevorzugen wir keine direkten Verlinkungen.
    Letztendlich obliegt es euch, welchen Installer ihr bevorzugt.
     
    maanteel gefällt das.
  7. maanteel

    maanteel Premium Trusted User Beta-Tester

    Registriert seit:
    22 März 2015
    Beiträge:
    1.031
    Zustimmungen:
    1.670
    Free:
    553.048 MB
    3way gefällt das.
  8. pspzockerscene

    pspzockerscene Offizieller JD-Entwickler Premium Trusted User Beta-Tester

    Registriert seit:
    31 März 2015
    Beiträge:
    650
    Zustimmungen:
    1.386
    Free:
    154.628 MB
    Klar. Ich hätte eh nicht gemeckert ;)
     
    3way gefällt das.
  9. pspzockerscene

    pspzockerscene Offizieller JD-Entwickler Premium Trusted User Beta-Tester

    Registriert seit:
    31 März 2015
    Beiträge:
    650
    Zustimmungen:
    1.386
    Free:
    154.628 MB
    Sers,
    in einem Motivationsschub habe ich in letzter Zeit einige Änderungen am CORE von JDownloader vorgenommen.
    Es sind größtenteils Änderungen unter der Haube, die man nicht direkt sieht, aber Feedback dazu wäre dennoch interessant.
    Ich habe mich dazu entschlossen, nach dem Release größerer Änderungen einen Changelog zu veröffentlichen.
    Diesen findet ihr hier:
    https://board.jdownloader.org/showthread.php?t=94447

    Es gibt den Changelog ausschließlich auf Englisch.
    Wer bei Änderungen benachrichtigt werden möchte, kann den besagten Thread abonnieren.

    Noch ist der Changelog leer.
     
  10. Valxiron

    Valxiron Premium Serious User

    Registriert seit:
    10 Juni 2023
    Beiträge:
    54
    Zustimmungen:
    20
    Sind diese Änderungen schon ausgerollt worden? Ich habe nämlich plötzlich das Problem, dass ich keine Links aus dem Highway Center zu meinem (headless) JDownloader mehr hinzufügen kann. Egal ob ich einen Highway Link (von https://usenet.dwld.link) über das MyJDownloader Browser Addon oder direkt im My JDownloader Web UI über den Button "Links hinzufügen" hinzufüge, der Link taucht dann nie im Linksammler auf.

    Eventuell liegt es auch an den Wartungsarbeiten bei Highway heute. Allerdings kann ich die selben Links über den Browser ganz normal herunterladen.
     
  11. pspzockerscene

    pspzockerscene Offizieller JD-Entwickler Premium Trusted User Beta-Tester

    Registriert seit:
    31 März 2015
    Beiträge:
    650
    Zustimmungen:
    1.386
    Free:
    154.628 MB
    Nein siehe Update-FAQ.

    Jo evtl. war die HW API down, aber die Webseite nicht.
     
  12. Yaknar

    Yaknar Administrativer Support Premium

    Registriert seit:
    5 März 2015
    Beiträge:
    4.403
    Zustimmungen:
    8.675
    Free:
    864.023 MB
    Die Hoster API war durchgehend erreichbar, aber wie ich auch bei den Wartungsarbeiten angekündigt hatte, standen Torrent und Usenet Webdownloader nicht zur Verfügung, und daher gingen explizit auch die Downloads nicht.
     
    pspzockerscene gefällt das.
  13. Valxiron

    Valxiron Premium Serious User

    Registriert seit:
    10 Juni 2023
    Beiträge:
    54
    Zustimmungen:
    20
    Heute funktioniert es wieder, danke.
     
  14. pspzockerscene

    pspzockerscene Offizieller JD-Entwickler Premium Trusted User Beta-Tester

    Registriert seit:
    31 März 2015
    Beiträge:
    650
    Zustimmungen:
    1.386
    Free:
    154.628 MB
    Yaknar
    Nette Statusseite hast du da!
    Magst du die HW API als eigenen Punkt hinzufügen oder an der entsprechenden Stelle erwähnen, zu welchem Punkt die API gehört?
     
    3way gefällt das.
  15. Yaknar

    Yaknar Administrativer Support Premium

    Registriert seit:
    5 März 2015
    Beiträge:
    4.403
    Zustimmungen:
    8.675
    Free:
    864.023 MB
    Aktuell wäre es Forum (und eine Abhängigkeit zur Server 15 und Server 30, je nach Hoster und Konfiguration.)
    Wollte sie aber sowieso auslagern und dann bekommt sie ihre eigene Überwachung.
     
    3way und pspzockerscene gefällt das.
  16. Valxiron

    Valxiron Premium Serious User

    Registriert seit:
    10 Juni 2023
    Beiträge:
    54
    Zustimmungen:
    20
    Mir ist da etwas aufgefallen:
    Anwendungsfall 1:
    Ich füge einen Download im JDownloader ein, der aus mehreren Parts besteht. Und ich füge auch mehrere Mirrors ein (ein Paket pro Mirror).

    Wenn ich mich richtig erinnere, erkennt der JDownloader normalerweise, dass die einzelnen Parts von mehreren Mirrors die selben Dateien sind und lädt sie nur 1x herunter. Wenn es aber ein Hoster ist, der bei Highway zuerst auf die Highway Server geladen wird (mit der Meldung "(x / y MB) Please wait z Sek" im JDownloader), dann startet der JDownloader den Highway-Download für alle Mirrors.
    Ich weiß nicht, ob mir dieser Traffic dann schon angerechnet wird. Aber selbst wenn nicht ist das eine unnötige Belastung der Highway-Server, oder?

    Möglicherweise ist der Fall schwer zu erkennen bzw. zu behandeln. Aber mir ist noch ein zweiter Fall aufgefallen, der eindeutig sein sollte:
    Anwendungsfall 2:
    Ich füge einen Download im JDownloader ein, der aus mehreren Parts besteht. Ich füge auch nur einen Mirror ein, also jede Datei nur 1x. Der Download startet, ein paar Dateien werden auch fertig heruntergeladen. Aber nicht alle (z.B. weil der Hoster dann plötzlich Fehler hat). Ich füge nun einen Mirror für die Downloads hinzu.

    Auch hier ist es jetzt so, dass der JDownloader den Download auf die Highway-Server für alle Parts startet. Sogar für jene, die lokal bereits fertig heruntergeladen sind. Erst wenn der eigentliche lokale Download starten würde, erscheint die Meldung, dass die Datei bereits existiert.

    Kann man das optimieren?
     
  17. Yaknar

    Yaknar Administrativer Support Premium

    Registriert seit:
    5 März 2015
    Beiträge:
    4.403
    Zustimmungen:
    8.675
    Free:
    864.023 MB
    Korrekt und aktuell wird das auch nicht so gut erkennt, da es nicht so richtig gut von verschiedenen Dateien unter demselben Namen unterschieden werden kann. Das ist ein Todo, was ich beheben möchte aber noch nicht so recht weiß wie.
    Und die Hoster leider nur selten einen Hash oder die exakte Größe der Datei liefern, daran könnte man das Prüfen.

    Angerechnet wird er erst beim eigentlichen Download, nur auf dein Tägliches Limit wird er als Requested angerechnet.

    Für den zweiten Fall würde die Datei auf unserer Seite nicht neu heruntergeladen wenn sie zuerst von irgendeinem Hoster geladen wird, danach wird SHA256 und MD5 Hash erstellt als zweites von Rapidgator, dort kann man über die Seite/API den MD5 Hash bekommen und dieser wird dann abgeglichen und die bereits heruntergeladene Datei verwendet.
     
    3way gefällt das.
  18. Valxiron

    Valxiron Premium Serious User

    Registriert seit:
    10 Juni 2023
    Beiträge:
    54
    Zustimmungen:
    20
    Gut zu wissen, danke!

    Beim zweiten Download hat der JDownloader auch wieder die "(x / y MB) please wait" Meldung angezeigt. Wenn die Datei bei euch nicht neu geladen werden würde, würde ich das doch nicht sehen, oder?
    Ich habe allerdings auch nicht Rapidgator verwendet. Der initiale Download war von Katfile. Der zweite dann von DDownload.
     
  19. Yaknar

    Yaknar Administrativer Support Premium

    Registriert seit:
    5 März 2015
    Beiträge:
    4.403
    Zustimmungen:
    8.675
    Free:
    864.023 MB
    Das ist korrekt, geht hat auch einzig in der einen Konstellation mit Datei schon im Cache und dann als zweiter Versucht über RG.
     
  20. Valxiron

    Valxiron Premium Serious User

    Registriert seit:
    10 Juni 2023
    Beiträge:
    54
    Zustimmungen:
    20
    Ok, dachte ich mir eh, dass die Highway Server es da schwer haben das zu optimieren.
    Aber der JDownloader selbst müsste es doch können. Zumindest im zweiten Fall.
     
    pspzockerscene gefällt das.
  21. pspzockerscene

    pspzockerscene Offizieller JD-Entwickler Premium Trusted User Beta-Tester

    Registriert seit:
    31 März 2015
    Beiträge:
    650
    Zustimmungen:
    1.386
    Free:
    154.628 MB
    Erster Fall:
    Jein das kommt drauf an, wie das HW Plugin konfiguriert ist:
    Mit Slot blockierendem Handling sollte das eher weniger passieren es sei denn das Cache Handling läuft bei vielen Files komplett durch und ein Download kommt trotzdem nicht zustande.

    Mit dem nicht-slot-blockierenden Handling ist jeder erneute "Prüfung" wie ein fehlgeschlagener Downloadversuch -> Es wird ggf. der serverseitige Download aller Mirrors getriggert, da das JD Downloadsystem nur sinngemäß sieht "Mirror 1 geht jetzt gerade nicht -> Versuche Mirror 2 usw usw".
    JD wurde niemals mit solchen serverseitigen Downloads im Hinterkopf gebaut daher gibt es dafür kein Spezial-Handling und dies wird vermutlich niemals kommen.
    Was du tun kannst, um doppelte serverseitige Downloads zu vermeiden:
    - manuell oder per Packagizer Regel die Parts bestimmter Hoster deaktivieren (= Dateien werden als ausgegraut dargestellt in JD), sodass du sie manuell aktivieren musst, wenn dir auffällt, dass Mirror XY nicht geladen werden konnte.
    - oder: Immer nur einen Mirror hinzufügen.
    - und/oder wenn du Zeit hast: gleichzeitige Downloads in JD runterschrauben und das slot-blockierende Handling verwenden

    Zum zweiten Fall:
    Tatsächlich ist das was du möchtest möglich.
    Hintergrunderklärung:
    Es gibt "starke/vertrauenswürdige" und "schwache" Dateimerkmale (Dateigröße, Dateiname usw).
    Das Mirror Handling und auch das "Die Datei existiert bereits" Handling möchten bestimmte, möglichst starke Merkmale haben um möglichst zuverlässig entscheiden zu können, was ein Mirror ist bzw. ob eine Datei bereits existiert.
    Vereinfacht ausgedrückt wird der finale "sichere" Dateiname in vielen Fällen erst gesetzt, wenn der Download _wirklich_ gestartet wird.
    Dies passiert im Falle von HW ggf. erst nach dem Cache Handling.

    Hier kommen aber auch wieder mehrere Faktoren zusammen:
    Hat der originale Filehoster eine API?
    Setzt das Plugin des originalen Filehosters die "finalen" also vertrauenswürdigen Dateinamen/Größen oder nicht?
    Beispiel schwache Dateigröße: 1,3MB
    Beispiel starke also genaue Dateigröße: 24475 bytes
    Habe ich einen starken Dateinamen und die byte-genaue Dateigröße zweier Items mit demselben Dateinamen, kann ich mir auch ohne CRC Hash ziemlich sicher sein, dass es Mirrors sind.
    Stellt der Quellhoster einen CRC-Hash zur Verfügung?
    CRC Hash verfügbar = bester Fall, denn dann können Mirrors/Duplikate komplett unabhängig von Dateigröße- und Name ermittelt werden (gesetzt dem Fall, dass der Hash korrekt ist, wovon wir ausgehen).
    Welche Infos gegeben sind und ob die beim Linkcheck gesetzten Dateinamen schon die finalen / vertrauenswürdigen sind, variiert von Plugin zu Plugin.

    Beispiel für ein Plugin, das starke Dateimerkmale bekommt und setzt: drive.google.com
    Beispiel für ein Plugin, das lediglich schwache Dateimerkmale bekommt und setzt: rapidgator.net
    TL;DR
    Um dafür zu sorgen, dass JD für die "Existiert die Datei bereits" Prüfung auch schwache Dateinamen erlaubt und den Check somit ggf. vor Downloadstart ausführen kann, musst du folgende Einstellung anpassen:

    Einstellungen -> Profieinstellungen -> GeneralSettings.allowunsafefilenameforfileexistscheck -> Aktivieren
    Solange der Name der Datei auf deiner Platte und der Dateiname in JD gleich sind (Groß-Kleinschreibung wird ignoriert) wird das funktionieren.
    Für die Erkennung von Mirrors gibt es separate Einstellungen! Dafür in den Einstellungen suchen nach "mirror detection".
    Ich rate davon ab, die Mirror Einstellungen zu ändern!

    Ein Blick in die mögliche Zukunft (gilt auch für Fall 1):
    Verfügbarkeitscheck über Multihoster (sofern dieser das unterstützt):
    Der Multihoster kennt die starken Merkmale ggf. bereits vorher und kann sie JDownloader mitteilen, welcher dann mit dem derzeitigen Handling bereits zuverlässiger arbeiten würde.
    Auch hier gilt: So einfach ist das nicht und wie soll JD das handhaben - wem soll JD an dieser Stelle mehr vertrauen? Dem Multihoster oder dem original Filehoster?
    Beispiele um zu verdeutlichen, warum die Umsetzung komplizierter ist als gedacht:
    Multihoster sagt die Datei sei offline, aber original Plugin meint sie wäre online -> Wem vertrauen?
    Multihoster gibt einen anderen Hash vor als der Originalhoster, aber dies würde bedeuten, dass der User eine andere Datei bekommt als original erwartet und im schlimmsten Fall z.B. der Entpackvorgang scheitern wird -> Wem vertrauen?

    Der Linkcheck wird ausgeführt. Der User hat mehrere Multihoster Accounts eingetragen. Alle dieser Multihoster unterstützen das Feature "Linkcheck per Multihoster" -> Über welchen soll der Linkcheck passieren?
    Nur original Plugin? Ein Multihoster? Alle Multihoster? Original Plugin + alle Multihoster?
    Welchen Linkcheck-Ergebnis soll vertraut werden?
    Zum Linkcheck-Zeitpunkt ist noch völlig unklar, über welchen Hoster der Download am Ende passieren wird.
    EDIT

    Nachtrag speziell zu Rapidgator: Früher hat RG einen CRC Hash zur Verfügung gestellt. Mittlerweile tun sie dies nicht mehr.
     
    Zuletzt bearbeitet: 16 Dezember 2023
  22. Valxiron

    Valxiron Premium Serious User

    Registriert seit:
    10 Juni 2023
    Beiträge:
    54
    Zustimmungen:
    20
    Wie immer ist es natürlich komplexer als zuerst gedacht :)

    Aber das:
    ist genau das, was ich mir für Fall 2 erwartet habe. Danke!
     
  23. pspzockerscene

    pspzockerscene Offizieller JD-Entwickler Premium Trusted User Beta-Tester

    Registriert seit:
    31 März 2015
    Beiträge:
    650
    Zustimmungen:
    1.386
    Free:
    154.628 MB
    Ja^^
    Ich habe nicht immer Zeit / Lust, so eine Wall of Text zu schreiben, aber du schienst bisher auch an Hintergrundinformationen interessiert zu sein daher hier absichtlich die lange Antwort ansonsten einfach direkt zum TL;DR springen.

    By the way:
    Das Linkcheck über Multihoster Feature würden bisher von allen unterstützten Multihostern 2-3 per API anbieten.
     
    Valxiron gefällt das.
  24. Yaknar

    Yaknar Administrativer Support Premium

    Registriert seit:
    5 März 2015
    Beiträge:
    4.403
    Zustimmungen:
    8.675
    Free:
    864.023 MB
    Stimmt, jetzt gibt es die gar nicht mehr. War bis vor einiger Zeit noch immer ein MD5 Hash vorhanden.
    Ah, aber über die API wird der MD5 Hash noch weiterhin ausgegeben.

    Ja, und genau dasselbe Problem mit der Mirror Erkennung haben wird auch und sehen vor dem Download auch meist nur die schwachen Merkmale.
     
    pspzockerscene gefällt das.
  25. pspzockerscene

    pspzockerscene Offizieller JD-Entwickler Premium Trusted User Beta-Tester

    Registriert seit:
    31 März 2015
    Beiträge:
    650
    Zustimmungen:
    1.386
    Free:
    154.628 MB
    Öh schick da gerne ein paar Infos per PN.
    Bei uns ist dieser Teil der RG API ("file/info?token=...") auskommentiert mit dem Vermerk, dass der API Aufruf kaputt ist.
    Für den Filecheck per API muss man eingeloggt sein, ist das korrekt?