Videó: Mi az Amazon Elastic MapReduce mögött meghúzódó adatfeldolgozó motor?
2024 Szerző: Lynn Donovan | [email protected]. Utoljára módosítva: 2023-12-15 23:48
Amazon EMR az Apache Hadoop-ot használja terjesztettként adatfeldolgozó motor . A Hadoop egy nyílt forráskódú, Java szoftver keretrendszer, amely támogatja adat - nagy fürtökön futó intenzív elosztott alkalmazások nak,-nek árucikk hardver.
Sőt, mi az Amazon Elastic MapReduce?
Amazon Elastic MapReduce ( EMR ) egy Amazon webszolgáltatások ( AWS ) eszköz nagy adatfeldolgozáshoz és elemzéshez. Amazon EMR nagyméretű adatokat dolgoz fel a virtuális szerverek Hadoop-fürtjén keresztül Amazon Elasztikus Számítási felhő ( EC2 ) és amazon Egyszerű tárolási szolgáltatás ( S3 ).
Továbbá az Amazon EMR teljes mértékben felügyelt? Ez egy teljes mértékben kezelt Data Lake szolgáltatás, amely leválasztja az adattárolást a számítási erőforrásokról, és ehelyett méretezhetővé teszi a számítási fürtöket, amelyek igény szerint használhatók, és lehetővé teszi több fürt számára, hogy egyszerre hozzáférjenek ugyanazokhoz az adatkészletekhez.
Az is felmerülhet, hogyan működik az AWS EMR?
Általában az adatok feldolgozásakor Amazon EMR , a bemenet a kiválasztott mögöttes fájlrendszerben fájlokként tárolt adatok, mint pl amazon S3 vagy HDFS. Ezek az adatok a feldolgozási folyamat egyik lépéséről a másikra haladnak át. Az utolsó lépésben a kimeneti adatokat egy megadott helyre írja, például egy amazon S3 vödör.
Mi a különbség az ec2 és az EMR között?
nem úgy mint EMR , EC2 nem kategorizálja a szolga csomópontokat mag- és feladatcsomópontokba. Ez növeli a HDFS-adatok elvesztésének kockázatát, ha egy csomópontot eltávolítanak/elvesznek. EC2 Apache könyvtárakat (s3a) használ az s3-on lévő adatok eléréséhez. Másrészről, EMR AWS saját kódot használ az s3 gyorsabb eléréséhez.
Ajánlott:
Mi az alapelv az nmap TCP-csatlakozás vizsgálata mögött?
Az Nmap TCP kapcsolat vizsgálata során az Nmap megkéri a mögöttes operációs hálózatát, hogy a „connect” rendszerhívással hozzon létre kapcsolatot a célszerverrel
Hogyan lehet megszabadulni a termeszektől a gipszkarton mögött?
Előfordulhat, hogy fúrnia kell a gipszkartonba, hogy a terméket egy falüregre vigye fel, vagy közvetlenül a fertőzött fába, hogy közvetlenül kezelje a termeszek galériáját. Ha gipszkartonba fúr, ajánlatos lyukakat fúrni a padlótól kb. 18 hüvelykre felfelé és az egyes csapok közé a fertőzött terület körül
Mi a történet a Java logó mögött?
A cégnek azonnal új névre volt szüksége Oak számára. James Gosling feltalálta a javát, amikor eszébe jutott, hogy a kávé a kezében van. A nyelvet eredetileg tölgynek hívták egy tölgyfa után, amely Gosling irodája előtt állt. Később a projektet Green névre hallgatták, és végül Java kávéra keresztelték át
Mi a jelentése az Apple logó mögött?
Rob Janoff még 1977-ben alkotta meg a logót, amikor Regis McKenna megkereste, hogy legyen művészeti igazgatója, és megbízták az Apple Computer logójának megtervezésével. Az egyik szerint az alma a tudást és a lehulló gyümölcsöt jelképezi, amely Isaac Newtont vezette. hogy felfedezzük a gravitáció fogalmát
Mi az a kézi adatfeldolgozó rendszer?
A kézi adatfeldolgozás olyan adatfeldolgozást jelent, amely megköveteli az adatok kezelését és feldolgozását annak fennállása során. A kézi adatfeldolgozás nem technológiai eszközöket használ, amelyek magukban foglalják a papírt, az íróeszközöket és a fizikai iratszekrényeket