Skip to content

Miroirs shadow libs : contrôler le contenu, pas seulement le code HTTP (Sci-Hub sans DNS, libgen en page nginx) #4

Description

@roomi-fields

Suivi de l'issue #1, volet laissé de côté à la fusion de la PR #2 (qui portait sur le navigateur visible et la garde de dépendances).

Constat de terrain

  • Sci-Hub : plus aucun enregistrement DNS sur .se/.st/.ru/.wf (vérifié via 1.1.1.1, 8.8.8.8 et Tor). La source scihub_optin échoue systématiquement et consomme une tentative par ref.
  • libgen.gl / libgen.la / libgen.li : servent une page « Welcome to nginx » — y compris via Tor, ce n'est donc pas un filtrage local. lib/shadow/mirrors.py les considère pourtant vivants, puisque le tracker open-slum les mesure depuis Houston et ne regarde que le code HTTP.

Piste

Un miroir qui répond 200 avec une page d'accueil de serveur web n'est pas un miroir vivant. Un contrôle de contenu à la sélection — présence d'un marqueur attendu dans la page — rendrait la liste fiable, là où le code HTTP seul ne dit rien.

Deux questions ouvertes :

  1. Sonder une fois par session et mettre en cache, ou se fier au tracker et ne vérifier qu'au premier échec ?
  2. Que faire de scihub_optin tant qu'aucun miroir ne répond : désactivation par défaut, ou sonde unique en début de session qui retire la source de la cascade ?

Sans réponse à la 2, chaque passe perd une tentative par ref sur une source morte.

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions