Thoir do gach proxy aiohttp a bhuidseat co-ùine fhèin

Cuir crìoch air obair a tha a' dol air adhart airson gach proxy taghte fhad 's a chumas crìochan poll-cheangail aiohttp agus glanadh fhreagairtean.

Faodaidh poll proxy ceann-uidhe a bhith ann le comasan glè eadar-dhealaichte. Chan eil leigeil le 50 obrachadh air feadh na h-aplacaid a' cur casg air 49 dhiubh an aon phroxy a thaghadh.

Ma tha am poileasaidh “4 obrachadh air a bheil feitheamh aig a' char as motha tro gach proxy taghte”, cuir am poileasaidh sin an cèill gu dìreach. Cùm semafor airson gach dearbh-aithne proxy, agus faigh e timcheall na h-obrach a chaitheas comas a' phroxy.

limits = {proxy: asyncio.Semaphore(4) for proxy in proxy_urls}

async def fetch(session, proxy, url):
    async with limits[proxy]:
        async with session.get(url, proxy=proxy) as response:
            return await response.read()

Tha an sgeidse seo a' gabhail ris gu bheil asyncio air a thoirt a-steach agus gu bheil URLan a' phroxy air a dhearbhadh. Airson iarrtasan poblach air slighe proxy poblach ceadaichte, bheir an liosta proxy HTTP tagraichean airson URLan proxy aiohttp. Bu chòir do fhìor-aplacaid a h-ùine-iarrtais fhèin a shuidheachadh agus co-dhùnadh dè an uiread de dhàta freagairt a dh'fheumas i. Tha leughadh faidhle mòr gu tur dhan chuimhne na cho-dhùnadh ghoireasan air leth.

Cùm an cead airson a' phàirt daor

Ma thèid an semafor fhuasgladh cho luath 's a thig cinn-freagairt, faodaidh sin a' chrìoch a bha san amharc a chur bhuaithe. Faodaidh corp sruthach cumail a' cleachdadh a' cheangail fada às dèidh sin. Cùm an cead gus an tèid an corp a chaitheamh no an tèid am freagairt a dhùnadh a rèir sruth-obrach na h-aplacaid.

Tha na manaidsearan co-theacsa neadaichte a' dèanamh an glanaidh follaiseach nuair a dh'fhàgas eisgeachd no cuir-à-mach an obrachadh. Seachain faighinn le làimh agus fhuasgladh a-mhàin aig bonn gnìomh soirbheachail.

Tha crìochan ceangail a' freagair ceist eile

Tha crìochan ceanglaiche aiohttp a' cuir crìoch air ceangailean a rèir riaghailtean clàraichte a' cheanglaiche. Tha iad fhathast feumail ri taobh semafor aplacaid. Chan eil crìoch ceangail airson gach ceann-uidhe a' cur an cèill, leis an ainm a-mhàin, buidseat a tha air a roinn le gach ceann-uidhe a tha air a shònrachadh do aon phroxy.

Cuideachd dèan eadar-dhealachadh eadar co-ùine agus ìre iarrtasan. Bidh 4 iarrtas fada-beò agus 4 iarrtas glè ghoirid a' cleachdadh an aon chuibhreann co-ùine fhad 's a tha iad a' dèanamh ìrean iarrtasan-gach-diog eadar-dhealaichte. Faodaidh seirbheis le poileasaidh ìre a bhith a' feumachadh luasgadh no luchd-cuinge ìre air leth.

Tagh aithnichear proxy seasmhach, neo-dhìomhair airson logaichean agus tomhais. Ma tha dà URL le teisteasan a' toirt iomradh air an aon pholl comais, co-dhùn an e bu chòir dhaibh aon bhuidseat a roinn. Air an làimh eile, faodaidh puirt no cunntasan eadar-dhealaichte crìochan air leth a riochdachadh nuair a chlàraicheas an t-oibriche iad mar sin.

Nuair a thuiteas an troimh-chur, rannsaich càit a bheil obair a' feitheamh: do semafor, an ceanglaiche, suidheachadh ceangail a' phroxy, no leughadh fhreagairtean. Tha togail gach crìch aig an aon àm a' dèanamh an eadar-dhealachaidh sin nas duilghe agus faodaidh e an ciudha a ghluasad a-steach do phroxy nach eil fo do smachd.

Artaigilean co-cheangailte