Scrapy slapukų stiklainis priklauso sesijai, o ne automatiškai tarpinei

Pasirinkite aiškų slapukų stiklainio tapatumą, kai keli proksio darbo srautai dalijasi vienu voru, ir perduokite tą tapatumą tolesniems užklausoms.

Proksio pakeitimas automatiškai nekeičia vorų slapukų. Tai gali būti naudinga vienai tęsiamai sesijai ir netikėta, kai keli nepriklausomi seansai dalijasi tuo pačiu voru.

Scrapy slapukų tarpinis sluoksnis palaiko atskirus stiklainius, parenkamus pagal užklausos cookiejar metaduomenis. Suteikite tam raktui tapatumą, kurį iš tikrųjų ketinate išsaugoti:

yield scrapy.Request(
    'https://example.com/start',
    meta={'proxy': selected_proxy, 'cookiejar': 'workflow-17'},
)

Galinis taškas ir stiklainio raktas yra nepriklausomi pasirinkimai. Neautentifikuotas viešas nuskaitymas savo pasirinktą HTTP galinį tašką gali paimti iš HTTP proksių sąrašo ten, kur tas maršrutas leidžiamas; darbo srautas vis tiek valdo stiklainio raktą. Tolesnė užklausa, kuri turi likti šioje sesijoje, reikalauja to paties stiklainio rakto; metaduomenys automatiškai neprilimpa prie kiekvienos jūsų kuriamos naujos užklausos. Perduokite konkrečius laukus, kurių reikia darbo srautui, o ne aklai kopijuokite visus tarpinio sluoksnio metaduomenis.

Proksio adreso naudojimas stiklainio raktu tėra viena politika

Ta gudrybė grupuoja būseną pagal galinį tašką. Ji nebūtinai grupuoja ją pagal asmenį, paskyrą ar viešą išėjimą. Vienas tiekėjo galinis taškas gali rotuoti išėjimus, o kelios paskyros gali naudoti tą patį galinį tašką.

Autorizuotam darbo srautui, kuriam reikia stabilios būsenos, atskirai užrašykite paskyros/sesijos identifikatorių, stiklainio identifikatorių ir pasirinktą maršrutą. Jei nuspręsite maršrutą pakeisti įpusėjus, nuspręskite ir kas turėtų nutikti programos sesijai.

Atskiri stiklainiai neleidžia atsitiktinai bendrinti slapukų tarp jūsų apibrėžtų grupių. Jie nežada, kad paskirties vieta negalės susieti dviejų užklausų per paskyrą ar kitus programos duomenis.

Jei pakeitus IP adresus netinkamas puslapis išlieka, prieš ištrindami visus slapukus ar pakeisdami visą proksių telkinį patikrinkite, kuris stiklainis išsiuntė užklausą. Išsaugota būsena gali puikiai paaiškinti puslapį.

Susiję straipsniai