Scrapy-kökukrukka tilheyrir lotu, ekki sjálfkrafa proxy

Að skipta um proxy skiptir ekki sjálfkrafa um kökur köngulóarinnar. Það getur verið gagnlegt fyrir eina lotu sem heldur áfram og kemur á óvart þegar margar óháðar lotur deila sömu könguló.

Kökumiðlara Scrapy styður aðskildar krukkur sem valdar eru með cookiejar lýsigögnum beiðnarinnar. Gefðu þeim lykli auðkennið sem þú ætlar í raun að varðveita:

yield scrapy.Request(
    'https://example.com/start',
    meta={'proxy': selected_proxy, 'cookiejar': 'workflow-17'},
)

Endapunkturinn og krukkuútslætturinn eru óháðar ákvarðanir. Óstaðfest opinbert skrið getur tekið valinn HTTP-endapunkt sinn af HTTP-proxylistanum þar sem sú leið er leyfð; vinnuflæðið á samt krukkuútslættinn. Næsta beiðni sem á að vera í þessari lotu þarf sama krukkuútslætt; lýsigögnin festast ekki sjálfkrafa við hverja nýja beiðni sem þú býrð til. Berðu áfram þau tilteknu svæði sem vinnuflæðið krefst í stað þess að afrita öll miðlaralýsigögn blint.

Að nota proxy-vistfangið sem krukkuútslætt er aðeins ein stefna

Sú stytting flokkar stöðu eftir endapunkti. Hún flokkar hana ekki endilega eftir manneskju, reikningi eða opinberri útgöngu. Einn endapunktur þjónustuveitanda getur snúið útgöngum og margir reikningar geta notað sama endapunkt.

Fyrir heimilað vinnuflæði sem þarf stöðuga stöðu skaltu skrá auðkenni reiknings/lotu, auðkenni krukkunnar og valda leið sérstaklega. Ef þú ákveður að skipta um leið á miðri leið skaltu einnig ákveða hvað eigi að verða um lotu forritsins.

Aðskildar krukkur koma í veg fyrir að kökur deilist óvart milli hópanna sem þú skilgreindir. Þær lofa því ekki að áfangastaður geti ekki tengt tvær beiðnir í gegnum reikning eða önnur forritsgögn.

Ef röng síða helst eftir að IP-tölum er skipt skaltu skoða hvaða krukka sendi beiðnina áður en þú eyðir öllum kökum eða skiptir um allt proxysafnið. Varðveitta staðan getur útskýrt síðuna mjög vel.