Socruithe seachfhreastalaí Scrapy a lódáil i script CrawlerProcess

Is féidir le damhán alla an seachfhreastalaí a bhfuiltear ag súil leis a úsáid faoi scrapy crawl agus dul go díreach nuair a sheolann script Python é. Seiceáil conas a thógann an script sin a chuid socruithe sula n-athraíonn tú an freastalaí seachfhreastalaí.

Do thionscadal Scrapy atá ann cheana agus a dhamhán alla cláraithe:

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings

settings = get_project_settings()
process = CrawlerProcess(settings=settings)
process.crawl('catalog')
process.start()

Cuir ainm damhán alla an tionscadail in ionad catalog. Ní mór an tionscadal a bheith inaimsithe trína scrapy.cfg, nó trí SCRAPY_SETTINGS_MODULE atá socraithe i gceart agus a dhíríonn ar mhodúl socruithe is féidir a iompórtáil.

Ní iompórtálann tógáil CrawlerProcess() amháin comhad socruithe an tionscadail toisc go n-iompórtálann an script rang damhán alla freisin. Mar sin féin, d'fhéadfadh middleware saincheaptha atá cumasaithe ag DOWNLOADER_MIDDLEWARES a bheith as láthair ón rith sin.

Soláthraíonn lódáil na socruithe na comhpháirteanna cumraithe; ní chruthaíonn sé seoladh seachfhreastalaí. Tá gá fós ag middleware seachfhreastalaí HTTP Scrapy lena ghnáthsheachfhreastalaí comhshaoil nó le luach request.meta['proxy'] follasach. Seiceáil nár dhíchumasaigh HTTPPROXY_ENABLED é. Chun líneáil cheadaithe ar leathanaigh phoiblí, tugann an liosta seachfhreastalaí HTTP iarrthóirí do luach seachfhreastalaí HTTP a sholáthraítear tríd an meiteashonraí nó an comhshaol sin.

Déan comparáid idir socruithe lódáilte agus middleware gníomhach an lainseálaí leis an rith ar an líne ordaithe. Má thagann siad le chéile, lean ar aghaidh le meiteashonraí seachfhreastalaí an iarratais roghnaithe agus leis an earráid iompair iarbhír.