Tabhair a bhuiséad comhthráthachta féin do gach seachfhreastalaí aiohttp

Is féidir le comhthiomsú seachfhreastalaithe críochphointí a bheith ann a bhfuil cumais an-difriúla acu. Ní choisceann ligean do 50 oibríocht ar fud an fheidhmchláir orthu siúd 49 a roghnú an seachfhreastalaí céanna.

Má tá an beartas “4 oibríocht ar siúl ar a mhéad trí gach seachfhreastalaí roghnaithe”, cuir an beartas sin in iúl go díreach. Coinnigh seamafor do gach féiniúlacht seachfhreastalaí, agus faigh é timpeall na hoibre a ídíonn cumas an tseachfhreastalaí.

limits = {proxy: asyncio.Semaphore(4) for proxy in proxy_urls}

async def fetch(session, proxy, url):
    async with limits[proxy]:
        async with session.get(url, proxy=proxy) as response:
            return await response.read()

Glacann an sceitse seo leis go bhfuil asyncio iompórtáilte agus na URLanna seachfhreastalaí bailíochtaithe. I gcás iarratas poiblí ar bhealach seachfhreastalaí poiblí ceadaithe, soláthraíonn an liosta seachfhreastalaithe HTTP iarrthóirí do URLanna seachfhreastalaí aiohttp. Ba cheart d'fheidhmchlár fíor a amchur iarratais féin a shocrú agus a shocrú cé mhéad sonraí freagartha atá de dhíth air. Is cinneadh acmhainne ar leith é comhad mór a léamh go hiomlán isteach sa chuimhne.

Coinnigh an cead don chuid chostasach

Má scaoiltear an seamafor a luaithe a thagann ceanntásca an fhreagra is féidir an teorainn bhearta. Is féidir le comhlacht sruthaithe leanúint den nasc a úsáid i bhfad ina dhiaidh sin. Coinnigh an cead go dtí go n-ídítear an comhlacht nó go ndúnfar an freagra de réir shreabhadh oibre an fheidhmchláir.

Déanann na bainisteoirí comhthéacs neadaithe an glanadh sofheicthe nuair a fhágann eisceacht nó cealú an oibríocht. Seachain sealbhú de láimh agus scaoileadh ach ag bun feidhme rathúla.

Freagraíonn teorainneacha naisc ceist eile

Cuireann teorainneacha cónascaire aiohttp teorainn le naisc de réir rialacha doiciméadaithe an chónascaire. Fanann siad úsáideach taobh le seamafor feidhmchláir. Ní chuireann teorainn naisc in aghaidh an chinn scríbe in iúl, lena ainm amháin, buiséad a roinntear idir gach ceann scríbe a shanntar do sheachfhreastalaí amháin.

Idirdhealaigh comhthráthacht ó ráta iarratas freisin. Úsáideann 4 iarratas fadmharthanacha agus 4 iarratas an-ghearr an liúntas comhthráthachta céanna agus iad ag táirgeadh rátaí iarratas-in-aghaidh-an-tsoicind éagsúla. B'fhéidir go mbeadh gá ag seirbhís le beartas ráta le luasmhoilliú nó le teorantóir ráta ar leith.

Roghnaigh aitheantóir seachfhreastalaí cobhsaí, neamh-rúnda do logaí agus do mhéadrachtaí. Má thagraíonn dhá URL a bhfuil dintiúir iontu don chomhthiomsú cumais chéanna, socraigh ar cheart dóibh buiséad amháin a roinnt. Os a choinne sin, féadfaidh calafoirt nó cuntais éagsúla teorainneacha ar leith a léiriú nuair a dhoiciméadaíonn an t-oibreoir iad mar sin.

Nuair a thiteann tríleá, scrúdaigh cá bhfuil obair ag fanacht: do sheamafor, an cónascaire, socrú nasc an tseachfhreastalaí, nó léamh freagraí. Déanann ardú gach teorainn ag an am céanna an t-idirdhealú sin níos deacra agus féadfaidh sé an scuaine a bhogadh isteach i seachfhreastalaí nach rialaíonn tú.