Az s3 HDFS-re épül?
Az s3 HDFS-re épül?

Videó: Az s3 HDFS-re épül?

Videó: Az s3 HDFS-re épül?
Videó: FAST '23 - Building and Operating a Pretty Big Storage System (My Adventures in Amazon S3) 2024, Március
Anonim

S3 valójában egy végtelen tárhely a felhőben, de HDFS nem. HDFS fizikai gépeken található, így bármilyen programot futtathat ott. Nem hajthat végre semmit S3 mivel csak az Object Store és nem az FS.

Akkor az s3 elosztott fájlrendszer?

S3 nem egy elosztott fájlrendszer . Ez egy bináris objektumtároló, amely kulcs-érték párokban tárolja az adatokat. Ez lényegében a NoSQL adatbázis egy típusa. Minden vödör egy új „adatbázis”, a kulcsok a „mappa elérési útja”, az értékek pedig a bináris objektumok ( fájlokat ).

Az is felmerülhet, hogy az AWS a Hadoopon alapul? Hadoop egy olyan keretrendszer, amely nagy adathalmazok feldolgozását segíti több számítógépen. Tartalmazza a Map/Reduce (párhuzamos feldolgozás) és HDFS (elosztott fájlrendszer). AWS egy adattárház épült az eredetileg a ParAccel által kifejlesztett szabadalmaztatott technológián felül.

Ezen kívül hogyan tudok fájlokat átvinni s3-ról HDFS-re?

Válasz. Nincs közvetlen fájlok másolása az S3-ból HDFS-be anélkül, hogy átmenne a helyi fájlokat . Használhatja azonban a tSystem összetevőt egy szabványos jobban a natív meghívására Hadoop parancsot, amelyet általában használ fájlok másolása , például, s3 -dist-cp.

Mi az s3 adatbázis?

amazon S3 vagy az Amazon Simple Storage Service az Amazon Web Services (AWS) által kínált szolgáltatás, amely webszolgáltatási felületen keresztül objektumtárolást biztosít. amazon S3 ugyanazt a méretezhető tárolási infrastruktúrát használja, amelyet az Amazon.com a globális e-kereskedelmi hálózatának működtetéséhez.

Ajánlott: