Gall chwiliad blocio i’r gronfa ddirprwyon dagu Scrapy

Mae gan y cropiwr ddigon o geisiadau cydredol wedi’u ffurfweddu. Mae’n dal i oedi pryd bynnag y gofynna i’r gronfa ddirprwyon am gyfeiriad arall. Nid yw ychwanegu mwy o ddirprwyon yn cyffwrdd â’r oedi hwnnw.

Mae patrwm middleware cyffredin yn galw requests.get(pool_url) y tu mewn i process_request(). Gweithrediad rhwydwaith cymesur yw hwn ar lwybr y disgwylir iddo gydweithio ag injin asyncronaidd Scrapy. Tra bo’r alwad yn aros, gall ddal gwaith diberthynol ar yr un edau dolen digwyddiadau.

Mae dau gais yn y dasg

Mae un cais yn cael terfynbwynt gan wasanaeth y gronfa. Mae’r llall yn defnyddio’r terfynbwynt hwnnw i gysylltu â’r gyrchfan. Mesurwch ac adroddwch amdanynt ar wahân. Gall API gronfa araf wneud i bob dirprwy a ddewiswyd edrych yn araf cyn i’r cymhwysiad gysylltu ag ef hyd yn oed.

Defnyddiwch integreiddiad darganfod asyncronaidd a gefnogir gan y fersiwn Scrapy sydd wedi’i osod, neu sicrhewch a diweddarwch set leol gyfyngedig o derfynbwyntiau y tu allan i lwybr beirniadol pob cais. Os rhaid dadlwytho gwaith blocio, rhowch derfynau a thrin terfyn amser ei hun i’r gweithredydd hwnnw; nid yw ciw diderfyn yn gwneud dim ond symud yr oedi.

Peidiwch â chyhoeddi alwad darganfod arall yn awtomatig ar gyfer pob cais. Gall cache byrhoedlog neu swp ar les leihau’r ddibyniaeth ar wasanaeth y gronfa, cyn belled â bod ei oes yn cyd-fynd â pholisi terfynbwynt gwirioneddol y gwasanaeth.

Diffiniwch beth yw chwiliad wedi methu

Ni ddylai ymateb gwag neu fethiedig o’r gronfa dynnu’r metadata dirprwy yn dawel a chaniatáu cais uniongyrchol. Dewiswch ganlyniad penodol: aros o fewn cyllideb y dasg, methu, neu ddefnyddio terfynbwynt cachiedig a gymeradwywyd.

Cadwch lwybr API’r gronfa ei hun yn glir hefyd. Os yw’n wasanaeth mewnol, gall anfon ei enw gwesteiwr preifat drwy’r union ddirprwy y mae’n helpu i’w ddewis greu dibyniaeth gylchol.

Unwaith y bydd darganfod yn gweithio heb flocio gwaith diberthynol, archwiliwch y trafodiad dirprwy cyffredin. Mae’r rheini’n atgyweiriadau ar wahân, ac mae eu hamseru’n haeddu meysydd ar wahân yn y log.