Scrapy tegla kolačića pripada sesiji, a ne automatski proxyju
Izaberite jasan identitet tegle kolačića kada više proxy tokova rada deli jednog pauka i prenesite taj identitet na naredne zahteve.
Promena proxyja ne menja automatski paukovе kolačiće. To može biti korisno za jednu trajnu sesiju, a iznenađujuće kada više nezavisnih sesija deli istog pauka.
Scrapyjev middleware za kolačiće podržava odvojene tegle koje se biraju metapodacima cookiejar zahteva. Dajte tom ključu identitet koji zaista nameravate da sačuvate:
yield scrapy.Request(
'https://example.com/start',
meta={'proxy': selected_proxy, 'cookiejar': 'workflow-17'},
)Krajnja tačka i ključ tegle su nezavisni izbori. Neautentifikovano javno puzanje može svoju izabranu HTTP krajnju tačku uzeti sa liste HTTP proxyja gde je ta ruta dozvoljena; tok rada i dalje poseduje ključ tegle. Naredni zahtev koji treba da ostane u ovoj sesiji treba isti ključ tegle; metapodaci se ne lepe automatski na svaki novi zahtev koji napravite. Prenosite konkretna polja koja tok rada zahteva umesto da slepo kopirate sve metapodatke middlewarea.
Korišćenje adrese proxyja kao ključa tegle samo je jedna politika
Ta prečica grupiše stanje po krajnjoj tački. Ne grupiše ga nužno po osobi, nalogu ili javnom izlazu. Jedna krajnja tačka provajdera može da rotira izlaze, a više naloga može da koristi istu krajnju tačku.
Za ovlašćeni tok rada kome je potrebno stabilno stanje, zabeležite odvojeno identifikator naloga/sesije, identifikator tegle i izabranu rutu. Ako odlučite da promenite rutu na pola puta, odlučite i šta treba da se dogodi sa sesijom aplikacije.
Odvojene tegle sprečavaju slučajno deljenje kolačića između grupa koje ste definisali. One ne obećavaju da odredište ne može da poveže dva zahteva preko naloga ili drugih podataka aplikacije.
Ako pogrešna stranica ostane i posle promene IP adresa, proverite koja je tegla poslala zahtev pre nego što izbrišete sve kolačiće ili zamenite ceo bazen proxyja. Sačuvano stanje može sasvim dobro da objasni stranicu.