Il tuo file di proxy è un pool, non una tabella di routing di Requests

Converti una voce autenticata di un elenco di proxy in un endpoint selezionato senza usare gli indirizzi dei proxy come chiavi di routing della destinazione.

Seleziona un proxy dal file, poi costruisci la mappa delle rotte per la richiesta al sito. Un pool di endpoint candidati non è di per sé un dizionario di routing di Requests.

  1. Analizza la voce secondo un formato definito. Una riga informale IP:port:user:password è ambigua quando gli indirizzi IPv6 o le credenziali contengono i due punti. Per un host IPv4, una porta numerica e un nome utente senza due punti, una suddivisione limitata può lasciare il resto del testo come password. Usa campi strutturati separati quando questi vincoli non si adattano.
  2. Scegli l'endpoint per questa operazione. Conserva il suo protocollo reale e codifica i componenti delle credenziali quando costruisci il suo URL. Tieni quel valore che contiene un segreto fuori dai log abituali.
  3. Mappa gli schemi di destinazione su quell'URL selezionato. Per un proxy HTTP selezionato, la mappa può essere questa:
routes = {
    'http': selected_proxy_url,
    'https': selected_proxy_url,
}

Le chiavi http e https selezionano gli schemi di destinazione. Una chiave come http://203.0.113.10 seleziona invece le richieste verso esattamente quell'host di destinazione; non etichetta il proxy a quell'indirizzo. Usare ogni IP del proxy come chiave può lasciare un sito non correlato senza la rotta prevista.

Analizza il pool una volta, seleziona un endpoint e crea la mappatura per la chiamata del client. Tenere separati questi passaggi ti permette di cambiare la politica di selezione senza cambiare cosa significano le chiavi di routing di Requests.

Articoli correlati