Scrapyjeva tegla kolačića pripada sesiji, a ne automatski proxyju

Promjena proxyja ne mijenja automatski paukovе kolačiće. To može biti korisno za jednu trajnu sesiju, a iznenađujuće kada više neovisnih sesija dijeli istog pauka.

Scrapyjev middleware za kolačiće podržava odvojene tegle koje se biraju metapodacima cookiejar zahtjeva. Dajte tom ključu identitet koji doista namjeravate sačuvati:

yield scrapy.Request(
    'https://example.com/start',
    meta={'proxy': selected_proxy, 'cookiejar': 'workflow-17'},
)

Krajnja točka i ključ tegle neovisni su izbori. Neautentificirano javno puzanje može svoju odabranu HTTP krajnju točku uzeti s popisa HTTP proxyja gdje je ta ruta dopuštena; radni tok ipak posjeduje ključ tegle. Sljedeći zahtjev koji treba ostati u ovoj sesiji treba isti ključ tegle; metapodaci se ne lijepe automatski na svaki novi zahtjev koji napravite. Prenosite konkretna polja koja radni tok zahtijeva umjesto da slijepo kopirate sve metapodatke middlewarea.

Korištenje adrese proxyja kao ključa tegle samo je jedna politika

Ta prečica grupira stanje po krajnjoj točki. Ne grupira ga nužno po osobi, računu ili javnom izlazu. Jedna krajnja točka pružatelja može rotirati izlaze, a više računa može koristiti istu krajnju točku.

Za ovlašteni radni tok kojem je potrebno stabilno stanje, zabilježite odvojeno identifikator računa/sesije, identifikator tegle i odabranu rutu. Ako odlučite promijeniti rutu na pola puta, odlučite i što se treba dogoditi sa sesijom aplikacije.

Odvojene tegle sprječavaju slučajno dijeljenje kolačića između grupa koje ste definirali. One ne obećavaju da odredište ne može povezati dva zahtjeva preko računa ili drugih podataka aplikacije.

Ako pogrešna stranica ostane i nakon promjene IP adresa, provjerite koja je tegla poslala zahtjev prije nego što izbrišete sve kolačiće ili zamijenite cijeli bazen proxyja. Sačuvano stanje može sasvim dobro objasniti stranicu.