La gerra de galetes de Scrapy pertany a una sessió, no automàticament a un proxy
Trieu una identitat explícita de gerra de galetes quan diversos fluxos amb proxy comparteixen una aranya i porteu aquesta identitat a les peticions següents.
Canviar el proxy no canvia automàticament les galetes de l’aranya. Això pot ser útil per a una sessió que continua i sorprenent quan diverses sessions independents comparteixen l’aranya.
El middleware de galetes de Scrapy admet gerres separades seleccionades per les metadades cookiejar de la petició. Doneu a aquesta clau la identitat que realment voleu conservar:
yield scrapy.Request(
'https://example.com/start',
meta={'proxy': selected_proxy, 'cookiejar': 'workflow-17'},
)El punt final i la clau de la gerra són decisions independents. Un rastreig públic no autenticat pot agafar el seu punt final HTTP triat de la llista de proxys HTTP on aquesta ruta està permesa; el flux de treball continua sent l’amo de la clau de la gerra. Una petició següent que ha de romandre en aquesta sessió necessita la mateixa clau de gerra; les metadades no s’enganxen automàticament a cada petició nova que creeu. Propagueu els camps concrets que requereix el flux de treball en lloc de copiar a cegues totes les metadades del middleware.
Fer servir l’adreça del proxy com a clau de la gerra només és una política
Aquest drecera agrupa l’estat per punt final. No l’agrupa necessàriament per persona, compte o sortida pública. Un punt final de proveïdor pot rotar sortides, i diversos comptes poden utilitzar el mateix punt final.
Per a un flux de treball autoritzat que necessita estat estable, anoteu per separat l’identificador de compte/sessió, l’identificador de gerra i la ruta triada. Si decidiu canviar la ruta a mig camí, decidiu també què ha de passar amb la sessió de l’aplicació.
Les gerres separades eviten compartir galetes accidentalment entre els grups que heu definit. No prometen que una destinació no pugui relacionar dues peticions mitjançant un compte o altres dades de l’aplicació.
Si la pàgina incorrecta persisteix després de canviar les IP, inspeccioneu quina gerra va enviar la petició abans d’esborrar totes les galetes o substituir tot el conjunt de proxys. L’estat retingut pot explicar la pàgina perfectament.