Un proxy para unha consulta en Scrapy shell

Dentro de Scrapy shell, constrúe a solicitude que queres que faga o descargador:

from scrapy import Request

fetch(Request(
    "https://www.example.com/",
    meta={"proxy": "http://proxy.example:8080"},
))
response.status

HttpProxyMiddleware le o valor de proxy dos metadatos dese Request. Debe estar habilitado na configuración do middleware de descarga activo. A variable response posterior pertence a esta consulta. Para esta URL pública, escolle un enderezo HTTP sen autenticación da lista de proxies HTTP se se permiten intermediarios públicos, e despois coloca a súa URL nos metadatos de proxy desa solicitude.

Iniciar o shell desde o proxecto de Scrapy permítelle cargar a configuración dese proxecto. Iso escolle middleware e outros axustes; non escolle por si mesmo un punto final de proxy concreto. Os metadatos da solicitude anteriores proporcionan esa elección directamente.

Para un proxy que usa credenciais Basic, Scrapy documenta a información de usuario na URL do proxy. Codifica os caracteres reservados nos compoñentes da conta antes de construíla. Non é necesario engadir unha cabeceira Authorization do sitio web para esa conta.

Scrapy tamén pode descubrir proxies a partir das súas variables de ambiente compatibles. Os metadatos de proxy explícitos dunha solicitude teñen prioridade. Para unha solicitude deliberadamente directa, un valor de proxy None desactiva a selección baseada no ambiente dese middleware para a solicitude.