Co-shìnteachd proxy Scrapy thar iomadh àrainn
Cleachd crìoch co-shìnteachd uile-choitcheann an luchdaiche nuair a bhios iomadh àrainn targaid a' caitheamh an aon chuota proxy, agus cunnt na crawlers eile a tha a' roinn a' chunntais sin.
Ma chleachdas gach ceann-uidhe aon chunntas proxy, faodar cead nan iarrtasan co-aontach aig a' chunntas sin a chaitheamh thar nan ceann-uidhe sin uile. Chan eil crìoch airson gach àrainn na h-aonar a' cur an cèill a' bhuidseit cho-roinnte sin.
Airson chunntas beachdail a cheadaicheas 20 iarrtas co-aontach aig a' char as motha, fàg beagan fànais agus suidhich crìoch uile-choitcheann luchdaiche a' chrawler:
CONCURRENT_REQUESTS = 16Is sgaradh dealbhach a tha seo, chan e luach a thathar a' moladh dhan a h-uile solaraiche. Tha Scrapy a' mìneachadh CONCURRENT_REQUESTS mar an àireamh as motha de dh'iarrtasan co-aontach aig an luchdaiche. Faodaidh smachdan gach àrainn an co-shìnteachd a lùghdachadh nas fhaide; chan eil iad a' dol an àite na crìche uile-choitcheann.
Cuir crawlers eile sa chunntas. Faodaidh dà chrawler neo-eisimeileach le 16 iarrtas ceadaichte an urra a dhol thairis air cead co-roinnte de 20 còmhla. Roinn am buidseat a dh'aona ghnothaich no cuir crìoch cho-roinnte an gnìomh far a bheil na clianta sin a' tighinn còmhla.
Dearbha cuideachd dè a tha an solaraiche a' cunntadh. Tha iarrtasan HTTP, ceanglaichean TCP fosgailte, tunailean gnìomhach agus iarrtasan san diog nan meudan eadar-dhealaichte. Faodaidh ceanglaichean maireannach agus iomadachadh an cuid chunntasan a sgaradh. Mar sin chan eil suidheachadh co-shìnteachd iarrtasan na chrìoch iomlan air ceanglaichean no air ìre.
Cùm astar na làraich targaid mar chuingealachadh air leth. Faodaidh co-shìnteachd nas ìsle no dàil luchdaidh a bhith freagarrach fhathast airson aon cheann-uidhe eadhon nuair a tha comas gun chleachdadh aig a' chunntas proxy.