Прокси за едно извличане в Scrapy shell

Използвайте метаданните за прокси на Request в Scrapy shell и прегледайте отговора от тази конфигурирана заявка.

В Scrapy shell създайте заявката, която искате изтеглячът да изпълни:

from scrapy import Request

fetch(Request(
    "https://www.example.com/",
    meta={"proxy": "http://proxy.example:8080"},
))
response.status

HttpProxyMiddleware чете стойността на проксито от метаданните на този Request. Той трябва да бъде активиран в конфигурацията на активния междинен софтуер на изтегляча. Променливата response след това принадлежи на това извличане. За този публичен URL изберете HTTP адрес без удостоверяване от списъка с HTTP проксита, ако публичните посредници са разрешени, след което поставете неговия URL в метаданните за прокси на заявката.

Стартирането на shell от проекта Scrapy му позволява да зареди конфигурацията на този проект. Това избира междинен софтуер и други настройки; то само по себе си не избира конкретна крайна точка на прокси. Метаданните на заявката по-горе предоставят този избор директно.

За прокси с Basic идентификационни данни Scrapy документира потребителската информация в URL адреса на проксито. Кодирайте запазените символи в компонентите на акаунта, преди да го създадете. Не е необходимо да добавяте заглавка Authorization на уебсайта за този акаунт.

Scrapy може също да открива проксита от поддържаните от него променливи на средата. Явните метаданни за прокси на заявката имат приоритет. За умишлено директна заявка стойност на проксито None деактивира избора на този междинен софтуер, базиран на средата, за заявката.

Подобни статии