Comhthiomsú seachfhreastalaí a roinnt idir snáitheanna Python le ciú

Nuair a roinneann roinnt snáitheanna comhthiomsú beag seachfhreastalaí, is féidir le hiontráil randamach an seachfhreastalaí céanna a thabhairt do dhá oibríocht ghníomhacha. Is féidir le ciú na hiontrálacha atá ar fáil le fháil ar iasacht faoi láthair a choinneáil:

from contextlib import contextmanager
from queue import Queue

available = Queue()
for endpoint in dict.fromkeys(proxy_urls):
    available.put(endpoint)

@contextmanager
def borrow_proxy():
    endpoint = available.get(timeout=5)
    try:
        yield endpoint
    finally:
        available.put(endpoint)

def process_url(url):
    with borrow_proxy() as endpoint:
        return fetch_one(url, endpoint)

Tóg an ciú uair amháin, sula gcuirtear na snáitheanna oibre ar bun. Tá URLanna críochphointe iomlána i proxy_urls. Tá iarrthóirí poiblí ar fáil sa liosta seachfhreastalaí saor in aisce; úsáid an prótacal agus an fhormáid URL a thacaíonn fetch_one leo. Caithfidh an fheidhm shioncronaithe fetch_one atá ann cheana a hoibríocht líonra a chríochnú agus freagra ar bith a dhúnadh sula bhfillfidh sí. Seachas sin chríochnódh an léas agus an nasc fós ag úsáid an tseachfhreastalaí sin.

Baineann Queue.get iontráil amháin atá ar fáil amach go hadamhach. Fanann comhthiomsú ídithe seach a bheith ag scanadh bratacha comhroinnte arís agus arís eile. Mura dtagann aon iontráil laistigh de chúig soicind, sroicheann queue.Empty an glaoiteoir; roghnaigh beartas athiarracht, teipe nó cealaithe an fheidhmchláir don toradh sin.

Tugann an bloc finally iontráil a fuarthas ar ais tar éis ratha nó eisceachta. Ní dhearbhaíonn sé go bhfuil críochphointe teipthe sláintiúil. Teastaíonn cosán soiléir ó bheartais choraintín, athsholáthair agus fhuaraithe seach gach seachfhreastalaí a fheiceann earráid shealadach a chaitheamh go ciúin.

Coscann dí-dhúbláil teaghrán URL comhionann iontrálacha dúblacha sa chiú. Is féidir le URLanna éagsúla fós tagairt don seachfhreastalaí fisiciúil céanna nó don sli amach céanna; grúpáil iad d'aon ghnó más gá eisiatacht a chur i bhfeidhm ar an acmhainn chomhroinnte sin. Comhordaíonn an ciú snáitheanna sa phróiseas seo, ní oibrithe ar mheaisíní eile.