Neu: Usenet Downloader!

Ich habe das ganze jetzt mal ein wenig beobachtet. In der Accountverwaltung steht bei high-way 4,66GiB/4,66GiB Traffic zur Verfügung. Wenn ich etwas runterlade, dann veringert sich der Wert auch. In mehr oder weniger regelmäßigen Abständen wird dieser Wert dann wieder auf die vollen 4,66GiB zurück gesetzt. Es kommt aber öfters vor, dass der Wert auf 0 geht. Dann wird auch nicht mehr runter geladen wegen fehlendem Traffic. Es kommt zu "unbekannter Fehler" und es läuft ein 60min Timer runter. Irgendwann aktualisiert sich das ganze dann wieder und es wird wieder runtergeladen. Umgehen kann ich das Problem, indem ich manuell regelmäßig auf "Aktualisieren" klicke. Dann springt es immer sofort auf 4,66GiB/4,66GiB Traffic. Schöner wäre natürlich, wenn es sich automatisch regelmäßiger Aktualisieren würde.

 

Accounts werden standardmäßig alle 30 Minuten aktualisiert.

Das ist soweit auch korrekt.

Bitte poste einen debug-Log davon:
https://support.jdownloader.org/Kno...ew/47/0/how-to-create-and-upload-session-logs
"Unbekannter Fehler" hat vermutlich nichts mit deinem Problem zu tun.

Oder du schreibst dir ein EventScripter Script um das zu automatisieren - ist natürlich keine "richtige Lösung":
https://board.jdownloader.org/showthread.php?t=70525
https://support.jdownloader.org/Knowledgebase/Article/View/what-is-the-event-scripter

Folgende Vermutungen wie es zu dem Problem kommen könnte:
- HW berechnet unterschiedliche Hoster unterschiedlich und JD erfasst das nicht korrekt -> Wäre ein Bug, den man fixen sollte
- Du kaufst alle paar Minuten neue HW Trafficpakete, aber der Account wird nur alle 30 Minuten geprüft -> Unwahrscheinlich und dieses Problem hättest du derzeit bei fast allen JD Hosterplugins
- HW erstattet dir aus irgendeinem Grund Traffic, den JD jedoch zwischen Download und dem nächsten Accountcheck schonmal abzieht -> Müsste man herausfinden, warum

Mögliche Lösungsansätze
- Die obigen Punkte prüfen
- Die HW API könnte auch ein interval zurückgeben, in dem die Accounts geprüft werden sollen und somit selbst bestimmen, wie oft HW Accounts geprüft werden
- Eine Einstellungsmöglichkeit für das Interval ins JD Plugin einbauen -> Halte ich für unnötig, da es das Problem auch nur "workarounded"

Wir sind hier eigentlich im falschen Thread Deusericius dein und mein Post sollten in diesen Thread.

 

gibt es eine Größenbeschränkung für nzb Files?

 

Wenn ich einen Usenet (oder auch Torrent) Download über die Highway Server machen will, dann funktioniert das ja folgendermaßen:

1. NZB Datei (oder Torrent/Magnet für Torrents) im Highway Center hinzufügen.
2. Warten, bis der Download auf die Highway-Server fertig ist.
3. Download auf den lokalen PC starten.

Gibt es einen Weg um Schritt 2 zu vermeiden bzw. zu automatisieren? Könnte ich z.B. den Downloadlink irgendwie so schon zu JDownloader hinzufügen, dass JDownloader mit dem Download wartet, bis der Download auf die Highway-Server fertig ist?
Wenn ich das jetzt versuche, sieht JDownloader entweder keine Dateien im Link (wenn der Download noch nicht begonnen hat), oder sieht den unvollständigen Download (z.B. einen Teil der RAR-Dateien, aber nicht alle).

Oder noch besser, kann ich alle 3 Schritte irgendwie kombinieren, indem ich den Usenet (oder Torrent) Download direkt über JDownloader so starten kann, dass JDownloader selbst alle 3 Schritte macht?

Es geht mir hier explizit um den Weg, wo der Usenet-Download zuerst auf die Highway-Server ausgeführt wird - deshalb auch der Vergleich mit Torrents. Ich möchte kein lokales Newsreader-Programm verwenden (und daher auch nicht die Usenet-Download-Funktion von JDownloader)!

 

Anmerkung, um Missverständnisse zu vermeiden: Mit Torrents geht das nicht!

 

Ich weiß, deshalb habe ich geschrieben, dass ich keinen Usenet-Client lokal ausführen möchte - egal ob der im JDownloader integrierte oder als separates Programm. Der Download soll als HTTP-Download von den Highway-Servern laufen.

Und für Torrents geht das ja sowieso nicht. Deshalb wäre eine Lösung, die sowohl für Usenet als auch für Torrents funktioniert, toll.

 

Achso, eine All-in-One-Go-Macht-Alle-Happy-Browser-Extension?

Ich glaube da, war mal was:
https://high-way.me/threads/highway-firefox-und-chrome-addon.1571/

 

Kannst du mir das bitte erklären? In dem Thread steht, dass die Browser-Extension für OCH-Downloads gedacht ist. Hier geht es aber um Usenet (und Torrent).
Wie kann eine Browser-Extension meine 3 oben beschriebenen Schritte ersetzen?

 

Hast recht, vergiss es: Kann sie nicht, war nur der Versuch einer Idee Oder kriegt das wer in dem Addon noch unter?

DAV syncen geht ja auch nicht wirklich, sonst kriegste ja ZIP und RAW... und das ist ein generelles Problem.

 

Darf ich fragen, was dagegen spricht?

 

Soweit ich das in diversen Threads hier im Board gelesen habe, ist die Usenet Integration im JDownloader wohl nicht so gut wie bei einem darauf spezialisierten Newsreader? Ein weiteres Downloader-Programm will ich aber auch nicht - vor allem weil ich den JDownloader ausschließlich remote (über My JDownloader) steuere.

Hauptsächlich aber, weil ich gerne eine einheitliche Lösung für Usenet und Torrent hätte.

 

Der Download beginnt doch gleich, da braucht man nicht warten. Zumindest bei mir ist es so.(einfach NZB Datei in JD2 einfügen )

Edit: oder meinst du einen NAS? Sowas habe ich nicht und kann daher nicht "mitreden".

 

Wenn du eine NZB Datei direkt über den JDownloader herunterlädst, ist das technisch etwas ganz anderes als "normale" Downloads von OCH oder vom Highway Server. (Deshalb kannst du auch mit einem normalen Browser keine Usenet-Downloads machen.)

Ich will hier wirklich keine Grundsatzdiskussion lostreten... Können wir bitte einfach annehmen, ich hätte die Frage im Torrent-Thread gestellt?

 

Kannst Du einfach mal genau beschreiben, bevor Du und andere (ich inklusive) falsche Folgeanahmen treffen?

Bisher glaubte ich, Du willst HW irgendwas zuwerfen (UNet und Torrent) und möchtest das dann auf Deinen eigenen Speicher geschoben haben?

Das ist ja völlig legitim. Nur bezweifle ich, das läuft ohne Code auf Deinem eigenem Rechner... Im Augenblick klingen Deine letzten Posts wie "Ich möchte baden, ohne nass zu werden... aber ich bin mir nicht sicher" (ohne es böse zu meinen).

 

Ich möchte genau das weiterhin machen, was ich jetzt schon mache. Siehe die 3 Schritte, die ich in Post #80 beschrieben habe. Nur dass das etwas mehr "automatisch" gehen soll.

Z.B. könnte ich mir vorstellen, dass folgendes technisch möglich wäre:

1. Ich füge eine NZB-Datei (oder Torrent-Datei/Magnet-Link) im Highway Center (https://high-way.me/pages/center/) hinzu.
   
2. Ich füge sofort - also ohne warten zu müssen, bis der Download von Schritt 1 abgeschlossen ist - den Downloadlink vom Highway-Center im JDownloader ein.
3. JDownloader wartet selbstständig, bis der Download auf die Highway-Sever fertig ist, und startet dann erst den eigentlichen Download auf mein Gerät.

Etwas ähnliches kann der JDownloader ja schon bei OCH-Downloads, siehe HIGHWAY Cache - Darum startet der Download nicht sofort (Server Error 503)
Und wenn ich mir die Postman Doku der HIGHWAY API ansehe, müsste das auch schon möglich sein, weil die API den Status dieser Downloads liefert. pspzockerscene wie siehst du das?

Schritt 1 könnte man auch noch vereinfachen, aber dafür gibt es bereits einen eigenen Thread: Browser Add-On für NZB-/Magnet-Links

 

Kann man so sagen, ja.
Ich hatte nur sporadisch vom Usenet geladen und für mich reichte JD da aus.
Ich muss halt auch dazusagen, dass ich noch nie einen Newsreader verwendet habe daher habe ich keinen Vergleich.

Das siehst du falsch. Es gibt keinen API Endpoint dafür.

Wenn ich das richtig sehe würdest du gerne weiterhin torrent/magnet Links übers Center hinzufügen, aber am liebsten hättest du gerne, dass JD diese [neuen] Einträge automatisch lädt?
Technisch wäre das sicherlich möglich:
1. Yaknar baut einen simplen API Endpoint, mit dem man den alle Items vom "Center" finden kann.
Am besten hier noch einen Parameter erlauben a la "max_date" oder "max_time" mit dem man bestimmen kann, wie weit maximal in die Vergangenheit geschaut wird, sodass man wahlkweise "nur neue Items" crawlen kann.
2. Du schreibst dir einen Crawljob fürs JD Folder Watch Addon und sorgst mit einem externen Script dafür, dass dieses alle X Zeit erneut ausgeführt wird.
Das Script fügt z.B. folgenden Link hinzu:
https://high-way.me/pages/center/
oder
https://high-way.me/pages/center/?max_time=86400
EDIT
Alternativ sowas wie "_only_new=true" nur dann müsste man der API sagen können, welche Items man schon "gesehen" oder geladen hat.

Endergebnis:
1. Du fügst einen beliebigen Download dem Center hinzu.
2. Sobald fertig, lädt dein headless JD diesen vollautomatisch.

Das hört sich etwas frickelig an, aber sobald man das 1x eingerichtet hat, würde es im Dauerbetrieb vollautomatisch laufen und HW könnte die Config/Crawljob einfach im Forum verlinken bzw. Tutorials ergänzen.

Ähnlich machen es derzeit User, die z.B. alle X Zeit alle neuen Videos eines youtube Channels automatisch mit JD herunterladen möchten.

 

Geht das nicht mit den /torrent.php bzw. /usenet.php Endpoints? Laut den Example Responses liefern die doch die Links zu allen Usenet/Torrents inkl. Status im Center zurück.

Das wäre natürlich noch automatischer, danke für den Tipp. Da ich aber auf 2 verschiedene JDownloader Instanzen herunterladen möchte, wäre es für mich hilfreicher, wenn der JDownloader die "Warte auf Center-Download fertig" funktion hätte.

 

Ja! Ich bin dumm - hab nur den Forenpost gelesen und den Link zur Postman Doku übersehen.

Da kann ich wieder nicht ganz folgen.
Was ich anbieten könnte wäre, dass ich ein Crawler Plugin schreibe, das auf folgende Links lauscht:
https://high-way.me/download.php?page=usenet#usenet
und:
https://high-way.me/download.php?page=usenet#torrent

JD würde dann einfach immer alle Items hinzufügen, die zum Prüfzeitpunkt fertig sind.
Du müsstest aber noch immer diese Links alle X Zeit zu JD hinzufügen, um den Crawler zu triggern (also ggf. per Crawljob).
Da es in der API Response schon ein Feld "date_added" gibt, wäre auch die von mir beschriebene Funktionalität, per Parameter nur alle Items der letzten X Zeit zu laden möglich also z.B.:
https://high-way.me/download.php?page=usenet#usenet?max_time=86400
--> Alle Items, die in den letzten 24 Stunden hinzugefügt wurden crawlen, alle anderen ignorieren.
EDIT

Ich sehe gerade, dass HW maximal 25 Usenet Items und maximal 175 Torrent Items [in der Warteschlange] erlaubt.
Da es nur so wenige sind, könnte ich die bereits gecrawlten Items auch einfach cachen so wäre eine "nur neue Items crawlen" Funktionalität einfach möglich.

 

Das klingt super für einen Anwendungsfall, wo man alle Dateien auf ein Gerät herunterladen möchte. Ich habe aber 2 JDownloader Instanzen (an verschiedenen Standorten) laufen, und füge über das My JDownloader Browser Plugin die Downloads zu jeweils der einen oder der anderen Instanz hinzu.
Je nachdem, wie einfach man so einen Crawljob deaktivieren und wieder aktivieren könnte, würde das vielleicht für mich auch passen.

Was ich mir zuerst gedacht habe, würde gar keinen Crawler brauchen. Die Idee war, dass ich einen Link zu einem spezifischen Center-Download, der noch nicht fertig ist (also einen Link in der Form https://usenet.dwld.link/dlu/xyz/), weiterhin manuell zum JDownloader hinzufüge. Der JDownloader würde dann über die Highway APIs prüfen, ob der Download überhaupt schon fertig ist. Falls das nicht der Fall ist, würde JDownloader die Datei (genau genommen den Ordner, weil der JDownloader weiß da ja noch gar nicht, welche Dateien im Ordner sein werden) pausieren/blockieren und z.B. 1x pro Minute wieder den Status prüfen. Und erst wenn der Download laut Highway API fertig ist, würde der Download im JDownloader "wirklich" starten.
Wäre so etwas im JDownloader überhaupt möglich?

 

Du müsstest den Crawljob dann übers Webinterface oder direkt über die API deaktivieren (je nach dem wie du das am Ende einrichtest) -> Wird definitiv nicht komfortabel zu aktivieren/deaktivieren

Möglich ist alles, aber _by_design_ geht das in JD nicht, da Ordner zu mehreren Dateien führen [können] und unsere Crawler Plugins dafür zuständig sind.
Crawler laufen jedoch nur 1x dann durch, wenn man einen entsprechenden Link einfügt und Hosterplugins kümmern sich dann um die einzelnen Items -> Es gibt keine Plugins, die zur Laufzeit bzw. beim Drücken auf den Start Button in Ordner o.ä. schauen und dann mehr Links hinzufügen.

Was ich jetzt erstmal gemacht habe:
Crawler Plugin geschrieben für:
https://high-way.me/pages/usenet/
und:
https://high-way.me/pages/torrent/
EDIT nun auch auf:
https://high-way.me/pages/center/

Wenn man einen der Links in JD einfügt passiert folgendes:
Alle torrent und/oder usenet Items mit einem "Prozent" Feld mit Wert "100" werden hinzugefügt.

Der "Status" wird derzeit noch ignoriert so habe ich in meinen Tests z.B. ein Usenet Item mit Prozent von "100", aber Status "failed" - hier fehlten wohl Dateien.
Diesbezüglich schreibe ich Yaknar nochmal separat an, da mir noch ein paar Kleinigkeiten aufgefallen sind.

 

Danke! Ich werde mir das mit dem Crawljob bei Gelegenheit mal anschauen. Wenn man den über die API relativ einfach aktivieren/deaktivieren kann, schreibe ich mir vielleicht ein kleines Command Line Tool dafür.

Bezüglich ignorieren des "Status": Ich hatte letztens einen Usenet-Download, der 100% angezeigt hat, aber im Status "Extracting" war. Falls so ein Ordner unvollständig entpackte Dateien und/oder sowohl entpackte Dateien als auch das ursprüngliche Archiv enthält, könnte da etwas falsch bzw. doppelt heruntergeladen werden.

Schade, dass die Plugins nicht zur Laufzeit Links hinzufügen können. Ich hätte zwar noch Ideen, wie man meinen Wunsch trotzdem umsetzen könnte, aber das würde wohl auch eine Erweiterung bei Highway erfordern.

 

Die Idee wäre, dass das Highway-Center für jeden Usenet/Torrent Download (egal ob noch laufend oder schon fertig) einen Link zu einer ZIP-Datei anbietet. Der Link würde sich so verhalten wie ein OCH-Download, der über den Highway-Cache laufen muss, damit der JDownloader bei Bedarf wartet und später automatisch wieder versucht.

Das würde zusätzlich erfordern, dass jeder Usenet/Torrent-Ordner auch als ZIP-Datei verfügbar ist - damit der JDownloader immer nur genau eine Datei sieht. Möglicherweise muss man dafür aber gar nicht wirklich eine ZIP-Datei am Server erstellen. Vielleicht kann der Highway-Server auch den Inhalt des Ordners on-the-fly als unkomprimiertes ZIP liefern.