ડિપ્લોય કરેલા Scrapy પ્રોજેક્ટમાં પ્રોક્સી સૂચિ સામેલ કરો અને લોડ કરો

વિકાસ ક્લોનની બાજુમાં રહેલી પ્રોક્સી ફાઇલ ક્રોલરના ડિપ્લોય કરેલા પેકેજમાં આપમેળે હાજર હોતી નથી. બે કાર્યો છે: બાઇટ્સને વિતરણમાં સામેલ કરવા, પછી ઇન્સ્ટોલ કરેલા પેકેજમાં તેમને શોધવા.

crawl_app/resources/proxies.txt તેના Python પેકેજની અંદર ધરાવતા Setuptools પ્રોજેક્ટ માટે, pyproject.toml એન્ટ્રી તેને સામેલ કરી શકે છે:

[tool.setuptools.package-data]
crawl_app = ["resources/*.txt"]

તેને પ્રોજેક્ટની હાલની પેકેજ રૂપરેખાંકન સાથે મર્જ કરો. અલગ બિલ્ડ બેકએન્ડનું પોતાનું ડેટા-સમાવેશ ઇન્ટરફેસ છે.

endpoint શબ્દમાળાઓનો ઉપયોગ કરી શકતા middleware માટે, Python 3.11+ પેકેજ સંસાધન સીધું વાંચી શકે છે:

from importlib.resources import files

text = files('crawl_app').joinpath('resources', 'proxies.txt').read_text(
    encoding='utf-8'
)
proxy_urls = [line.strip() for line in text.splitlines() if line.strip()]

વાસ્તવિક પેકેજ નામ વાપરો અને રીડરમાં અપેક્ષિત URL ફોર્મેટ માન્ય કરો. વિતરણયોગ્ય જાહેર endpoint ડેટા માટે, middleware ના અપેક્ષિત પ્રોટોકોલ અને URL ફોર્મેટમાં મફત પ્રોક્સી સૂચિ ના સરનામાં વાપરો. શોધ ડિપ્લોયમેન્ટની વર્તમાન કાર્ય ડિરેક્ટરી પર આધારિત નથી.

તૃતીય-પક્ષ PROXY_LIST સેટિંગને આ શબ્દમાળાઓને બદલે ફાઇલસિસ્ટમ પાથની જરૂર પડી શકે છે. તે ઇન્ટરફેસ માટે importlib.resources.as_file વાપરતી વખતે, middleware ને કાઢેલી ફાઇલની જરૂર હોય ત્યાં સુધી તેનો સંદર્ભ ખુલ્લો રાખો. સંદર્ભ બંધ થયા પછી કામચલાઉ પાથ પરત કરવાથી સંસાધન ગુમાવી શકાય છે.

ઓળખપત્રો ધરાવતી ઉત્પાદન સૂચિકાઓને ડિપ્લોયમેન્ટના ઇચ્છિત ગુપ્ત અથવા રૂપરેખાંકન સંગ્રહમાં રાખો. પેકેજ ડેટા વિતરણયોગ્ય endpoint ડેટા માટે યોગ્ય છે, કોડ સાથે બંડલ કરેલું બધું ખાનગી રહે છે એવી ધારણા નહીં.