Jar ya vidakuzi ya Scrapy ni ya kipindi, si ya proksi kiotomatiki

Chagua utambulisho wazi wa jar ya vidakuzi wakati michakato kadhaa ya proksi inashiriki buibui mmoja, na upeleke utambulisho huo kwa maombi yanayofuata.

Kubadilisha proksi hakubadilishi vidakuzi vya buibui kiotomatiki. Hilo linaweza kuwa na manufaa kwa kipindi kimoja kinachoendelea na kushangaza wakati vipindi kadhaa huru vinashiriki buibui yuleyule.

Programu ya kati ya vidakuzi ya Scrapy inaunga mkono jara tofauti zinazochaguliwa na metadata cookiejar ya ombi. Ipe ufunguo huo utambulisho unaokusudia kuhifadhi kweli:

yield scrapy.Request(
    'https://example.com/start',
    meta={'proxy': selected_proxy, 'cookiejar': 'workflow-17'},
)

Ncha ya mwisho na ufunguo wa jar ni chaguo huru. Upekuzi wa umma usiothibitishwa unaweza kuchukua ncha yake ya HTTP iliyochaguliwa kutoka orodha ya proksi za HTTP mahali ambapo njia hiyo inaruhusiwa; mtiririko wa kazi bado unamiliki ufunguo wa jar. Ombi linalofuata ambalo linapaswa kubaki katika kipindi hiki linahitaji ufunguo uleule wa jar; metadata haishikamani kiotomatiki na kila ombi jipya unalounda. Sambaza sehemu mahususi zinazohitajika na mtiririko wa kazi badala ya kunakili metadata zote za programu ya kati kwa upofu.

Kutumia anwani ya proksi kama ufunguo wa jar ni sera moja tu

Njia hiyo ya mkato huweka hali katika makundi kwa ncha ya mwisho. Haiweki kwa lazima kwa mtu, akaunti au tokeo la umma. Ncha moja ya mtoa huduma inaweza kuzungusha matokeo, na akaunti kadhaa zinaweza kutumia ncha moja.

Kwa mtiririko wa kazi ulioidhinishwa unaohitaji hali thabiti, rekodi kwa nyakati tofauti kitambulisho cha akaunti/kipindi, kitambulisho cha jar na njia iliyochaguliwa. Ukiamua kubadilisha njia katikati, amua pia nini kifanyike kwa kipindi cha programu.

Jara tofauti huzuia kushiriki vidakuzi kwa bahati mbaya kati ya makundi uliyofafanua. Haziahidi kwamba lengo haliwezi kuhusisha maombi mawili kupitia akaunti au data nyingine ya programu.

Ikiwa ukurasa usiofaa unaendelea baada ya kubadilisha IP, chunguza ni jar gani iliyotuma ombi kabla ya kufuta vidakuzi vyote au kubadilisha bwawa lote la proksi. Hali iliyohifadhiwa inaweza kueleza ukurasa vizuri kabisa.

Makala zinazohusiana