Scrapy AutoThrottle tro proxy: slotan is dàil

Gu bunaiteach, bidh Scrapy a' sònrachadh slotan luchdaich-sìos a rèir àrainn URL an iarrtais. Cha chuireadh proxy HTTP ri iarrtas an URL sin na ainm òstair a' phroxy. Mar sin faodaidh iarrtais gu làraichean eadar-dhealaichte slotan eadar-dhealaichte a chumail fhad 's a tha iad a' roinn aon eadar-mheadhanair.

Bidh AutoThrottle ag atharrachadh dàil gach slot a rèir na dàil luchdaich-sìos a chaidh fhaicinn. Tha a' chrìoch cho-ghnìomhach àbhaisteach gach àrainn agus an dàil luchdaich-sìos as lugha fhathast an sàs.

Thoir sùil air a' bhuidheannachadh mus atharraich thu an algairim

Faodaidh middleware gnàthaichte request.meta["download_slot"] a shònrachadh, a' dol thairis air an taghadh slot àbhaisteach. Bidh cuid de leudachain proxy a' cleachdadh am buidheannachadh fhèin. Thoir sùil air na roghainnean sin ma tha coltas gu bheil làraichean neo-cheangailte a' roinn aon chuingiche.

Air an làimh eile, ma thèid slot eadar-dhealaichte a shònrachadh do gach proxy, faodaidh grunn phroxy conaltradh ris an aon targaid aig an aon àm. Dh'fhaodadh sin crìoch air feadh na làraich a bhriseadh a bu chòir don chraoladair urram a thoirt dhi. Tagh iuchair an t-slot a rèir na goireis a tha ga dìon.

Tha an dàil a' gabhail a-steach na slighe a chleachd thu

Bidh Scrapy a' tomhas dàil bho chur an iarrtais gu bhith a' faighinn ceann-fhaclan HTTP. Faodaidh iarrtas a thèid a ghiùlan tro proxy dàil ciudha is cur-air-adhartais an eadar-mheadhanair a ghabhail a-steach san amharc sin. Chan fhaigh AutoThrottle ùine ghiollachd air leth bhon tùs a-mhàin.

Chan urrainn do mheudachadh co-ghnìomhach an tomhas sin a dhèanamh air an làrach a leithlis. Cùm modhalachd an targaid agus comas a' phroxy mar chrìochan air leth nuair a tha an dà chuid cudromach. Dh'fhaodadh gum feum proxy co-roinnte buidseat co-ghnìomhach a bharrachd thar slotan nan targaid, fhad 's a chumas gach targaid a phoileasaidh reata fhèin.