Domain offline Checker

pspzockerscene · 23 April 2023

Sers!
Es geht hier um ein Script / Tools, um den offline/onlinestatus von Domains zuverlässig prüfen zu können.
Man denkt evtl. erstmal, dies wäre einfach Spoiler: Ist es nicht.

Der User martin1134 hat ein Python Script dafür geschrieben woraufhin ich angemerkt habe, dass dies als Prüfung nicht ausreicht.

Ein solches Tool dürfte nicht nur für den Quellthread nützlich sein sondern auch für JDownloader und viele andere Projekte.
Warum eine "Domainprüfung" nicht so einfach ist und was es noch zu prüfen gibt, habe ich dann ausformuliert - ich zitiere mich mal selbst, damit die Informationen in diesem Thread stehen:

Zitat 1:
Zitat von pspzockerscene: ↑
martin1134
Ich will das ja absolut nicht schlechtreden, aber eine richtige "Domain ist online" Prüfung ist noch viel viel komplexer.
Wäre es so einfach, hätten wir auch schon lange wieder was
Hier mal nur ein paar Denkanstöße:
- Erkennung geparkter Domains
- Status ungleich 200 bedeutet nicht offline:
--> Kann auch gut sein, dass dein Script Cloudflare reinrennt -> Fehler 403 + "Server" header = "cloudflare" (andere Responsecodes möglich). Cloudflare wird manchmal auch für rate-limiting eingesetzt (dann mit Responsecode 429)
--> Beispiel Cloudflare GEO-block: slmaxed.com
--> Beispiel Cloudflare "normal": nhentai.net
--> Es gibt nicht nur Cloudflare sondern auch viele ähnliche Anbieter z.B. DDos-Guard. Beispiel: pastefg.hermietkreeft.site
[Alle Beispiele sollten in Cloudflare/DDoS-Guard rennen, muss aber nicht zwangsläufig bei jedem passieren.]
- Manche Webseiten GEO-blockieren bestimmte IPs dann kommt ebenfalls ein Status != 200 Beispiel: uloz.to
- Was heute offline ist, kann morgen wieder online sein (es sei denn die Domain ist nicht vergeben) -> So oder so müsste man potentiell offline Einträge also speichern und nach X Tagen nochmal prüfen, bevor man etwas endgültig als offline ansieht
- Manche Webseiten erlauben nut http und kein https. Andere haben unterschiedliche Dienste auf der "http Version" und "https Version" laufen. Dies ist zwar ein edge case, da die meisten mittlerweile https erlauben, aber schadet nicht, dies zu prüfen. Beispiel Webseite, die nur auf http läuft [https rennt in Timeout]: achtung porn pornbimbo.com
--> Beispiel https nicht unterstützt und es gibt unterschiedliche Webseiten per http und https: spicyfile.com
--> Beispiel https nicht unterstützt (Zertifikatsfehler): sharebit-upload.com
- Manche Webseiten haben mehrere Domains, aber nur eine davon ist futsch Beispiel [eher relevant für JD also für diesen Thread]:
Code:
    public static List<String[]> getPluginDomains() {
        final List<String[]> ret = new ArrayList<String[]>();
        // each entry in List<String[]> will result in one PluginForDecrypt, Plugin.getHost() will return String[0]->main domain
        ret.add(new String[] { "goldesel.bz", "goldesel.sx", "goldesel.to", "saugen.to", "laden.to", "blockbuster.to" });
        return ret;
    }

    protected List<String> getDeadDomains() {
        return Arrays.asList(new String[] { "saugen.to", "laden.to", "blockbuster.to" });
    }
Ich will damit sagen eine möglichst zuverlässige offline-Erkennung ist nicht mal eben in 5 Minuten geschrieben
Klicke in dieses Feld, um es in vollständiger Größe anzuzeigen.
Zitat 2:
Zitat von pspzockerscene: ↑
Abgesehen von allem was in meinem Post steht, kann man zusätzliche Marker setzen.
Das kann die Erkennung noch besser machen.

Beispiel (basierend auf meinem letzten Beispiel unten mit goldesel):
Du weißt, dass die "goldesel" Webseite bestimmte HTML Schnipsel enthält also kannst du auf diese prüfen.
Nehmen wir mal random zwei Stellen raus:
Code:
/rar_todo/rar_todo.html
Zweites:
Code:
/img/sperre.jpg
Wir nennen sowas intern "Marker". Mit Markern kannst du prüfen, ob die Webseite die ist, die du erwartest.

Nun kann man genauere Tests ausführen, wenn man möchte.
Dafür sagt man in den Stammdaten "Eintrag 'goldesel' hat die Domains 1,2,3".
Dein Script geht dann alle Domains durch und nachdem alle anderen Sonderfälle geprüft wurden schau es "ist das wirklich goldesel", indem es schaut, ob die Marker alle oder teilweise existieren.
(Natürlich können sich Webseiten jederzeit ändern, aber die Marker zu haben kann trotzdem sehr nützlich sein.)

Ich habe meinen letzten Post zusätzlich erweitert.
Klicke in dieses Feld, um es in vollständiger Größe anzuzeigen.

martin1134 · 23 April 2023

Ich war mal so frei und habe für mich selbst schon mal eine GitHub Repo erstellt. Ich habe auch alles nochmal auf englisch angepasst, um auch die internationale Audienz mit abzudecken

pspzockerscene · 23 April 2023

Hab dir meinen github Username per PN geschickt bitte um Schreibrechte

3way · 23 April 2023

Die zwei würde ich noch beisteuern:
https://www.isitdownrightnow.com/
https://www.websitenotworking.com/

pspzockerscene · 24 April 2023

Ich möchte nicht zu viel versprechen, aber ich habe bisher nichts gefunden, das das kann, was das Script später können sollte
Wir melden uns dann, wenns eine erste funktionierende Version gibt.

Anmelden oder registrieren

Domain offline Checker

pspzockerscene Offizieller JD-Entwickler Premium Trusted User Beta-Tester

martin1134 Serious User

pspzockerscene Offizieller JD-Entwickler Premium Trusted User Beta-Tester

3way Vollzeit-OS-Ausprobierer Premium Trusted User Beta-Tester

pspzockerscene Offizieller JD-Entwickler Premium Trusted User Beta-Tester