Hadoop DistCp: cumraigh an seachfhreastalaí S3A ar thascanna oibrithe
Cumraigh seachfhreastalaí an chónascaire S3A de chuid Hadoop agus cuir an chumraíocht ar fáil san áit a ndéanann oibrithe DistCp a n-aistrithe.
Le haghaidh cónascaire S3A Hadoop 3.4.2 trí sheachfhreastalaí HTTP, cumaisc na hiontrálacha seo i gcumraíocht Hadoop na hoibríochta, de ghnáth an core-site.xml ábhartha:
<property>
<name>fs.s3a.proxy.host</name>
<value>gateway.example</value>
</property>
<property>
<name>fs.s3a.proxy.port</name>
<value>8080</value>
</property>
<property>
<name>fs.s3a.proxy.ssl.enabled</name>
<value>false</value>
</property>Le haghaidh tástála a údaraítear go neamhspleách i gcoinne críochphointe S3 atá inrochtana go poiblí gan dintiúir seachfhreastalaí, soláthraíonn an liosta seachfhreastalaí HTTP luachanna iarrthacha don óstainm agus don phort sainráite. Roghnaíonn fs.s3a.proxy.ssl.enabled=false nasc HTTP simplí leis an seachfhreastalaí seo; ní dhíghníomhaíonn sé TLS ó S3A go S3. Úsáid an luach a fhreagraíonn don éisteoir seachfhreastalaí iarbhír.
Seiceáil an dá thomhaltóir. Féadfaidh an cliant a sheolann liostáil S3 go rathúil agus na coimeádáin thasc map DistCp gan an seachfhreastalaí a shroicheadh ná an chumraíocht chórais comhad chéanna a lódáil. Is iad na tascanna sin a dhéanann na haistrithe.
Le haghaidh tasc a theip, coinnigh an t-óstach forghníomhaithe, an chumraíocht éifeachtach agus an críochphointe roghnaithe leis an earráid. Ní leor timpeallacht bhlaosc an aighneachta mar fhianaise d'oibrí.
Rialaíonn na socruithe seo s3a://. Cumraíonn oideas cónascaire Jets3t níos sine cur i bhfeidhm eile agus ní thagann siad in ionad na roghanna S3A a úsáideann an obair seo.