Votre fichier de proxys est un vivier, pas une table de routage Requests

Convertissez une entrée authentifiée d'une liste de proxys en un point de sortie choisi, sans utiliser les adresses de proxy comme clés de routage de destination.

Choisissez un proxy dans le fichier, puis construisez la table de routes pour la requête vers le site. Un vivier de points de sortie candidats n'est pas en soi un dictionnaire de routage de Requests.

  1. Analysez l'entrée selon un format défini. Une ligne informelle IP:port:user:password est ambiguë lorsque les adresses IPv6 ou les identifiants contiennent des deux-points. Pour un hôte IPv4, un port numérique et un nom d'utilisateur sans deux-points, un découpage limité peut laisser le reste du texte comme mot de passe. Utilisez des champs structurés distincts quand ces restrictions ne conviennent pas.
  2. Choisissez le point de sortie pour cette opération. Conservez son protocole réel et encodez les composantes des identifiants lors de la construction de son URL. Gardez cette valeur porteuse de secret hors des journaux habituels.
  3. Associez les schémas de destination à cette URL choisie. Pour un proxy HTTP choisi, la table peut être la suivante :
routes = {
    'http': selected_proxy_url,
    'https': selected_proxy_url,
}

Les clés http et https sélectionnent des schémas de destination. Une clé comme http://203.0.113.10 sélectionne en revanche les requêtes vers cet hôte de destination précis ; elle n'étiquette pas le proxy à cette adresse. Utiliser chaque IP de proxy comme clé peut laisser un site sans rapport privé de la route prévue.

Analysez le vivier une fois, choisissez un point de sortie et créez la correspondance pour l'appel du client. Garder ces étapes distinctes vous permet de changer la politique de sélection sans changer ce que signifient les clés de routage de Requests.

Articles similaires