Հարցումով պրոքսիներ Scrapy-ի HTTP պրոքսի միջնորդաշերտով

Scrapy-ի HTTP պրոքսի միջնորդաշերտը պրոքսին կարդում է հարցման մետատվյալներից՝

yield scrapy.Request(
    'https://example.com/',
    callback=self.parse,
    meta={'proxy': 'http://203.0.113.10:8080'},
)

Փոխարինեք փաստաթղթերի վերջնակետը և թողեք միջնորդաշերտը միացված։ HTTP պրոքսիների ցանկը այս հարցման URL-ի համար առաջարկում է հանրային թեկնածուներ։ Սա ընտրում է հարցման ուղին. պրոքսիների լողավազանը պահանջում է առանձին ընտրության տրամաբանություն։

Նույնականացումը հետևում է ընտրված վերջնակետին

Ներկառուցված միջնորդաշերտը կառավարում է իր աջակցվող պրոքսի URL-ով և համապատասխան լիազորման վերնագրով տրամադրված հավատարմագրերը։ Փախցրեք URL-ի վերապահված նշանները և խուսափեք այդ URL-ի մատյանագրումից։

Առանձին միջնորդաշերտը չպետք է պահպանի Basic վերնագիր նախորդ պրոքսի համար վերջնակետը փոխելուց հետո։ Թող մեկ շերտը միասին կառավարի ուղին և դրա հավատարմագրերը։

Ընտրության կարգը և լռելյայն արժեքները

Եթե անհատական ներբեռնման միջնորդաշերտն ընտրում է պրոքսին, գործարկեք այն նախքան ներկառուցված պրոքսի միջնորդաշերտը կմշակի հարցումը։ Ստուգեք տեղադրված թողարկման կարգը և API-ն. հնացած scrapy.contrib ներմուծումները պատկանում են ավելի հին թողարկումներին։

Գործընթացի միջավայրը կարող է նաև սխեմայով պայմանավորված լռելյայն արժեքներ տրամադրել։ Միտումնավոր ուղիղ հարցման համար օգտագործեք proxy մետատվյալների փաստաթղթավորված հատուկ վարքը. բացակայող բանալին պարտադիր չէ, որ նշանակի ուղիղ հասանելիություն։

Ստուգեք իրական արդյունքը։ 407-ը վերաբերում է պրոքսի նույնականացմանը, մինչդեռ կայքի արագության սահմանափակումը կամ հասանելիության մերժումը կարող են գալ այն բանից հետո, երբ ուղին ճիշտ աշխատեր։