AWS

[AWS] Big Data - 데이터 수집 및 전송

MIN JOON 2019. 2. 13. 21:29

수집 및 전송
  • 데이터 수집
    • 트랜잭션( 데이터베이스 읽기/쓰기) - 앱, 웹 서버 => DB
    • 파일 - Flume, Log4j from Device => S3
    • 스트림 - FluentD, Sqoop, Storm => Kinesis
  • 데이터 전송
    • Apache DistCp
      - HDFS에서 스토리지로 대용량 데이터를 MapReduce를 사용하여 분산방식으로 복사
    • Apache Sqoop
      - HDFS와 관계형 데이터베이스 사이에서 데이터를 전송가능
    • Snowball
      - 하루 최대 50테라 전송가능
      - KMS를 통해 암호화
    • Snowball Edge
      - 100테라 로컬 스토리지
      - S3 호환 엔드포인트, Lambda함수 지원
      - Snowball 보다 4배 빠름
      - KMS를 통해 암호화
    • Snowmobile
      - 모든 리전에서 사용가능한 엑사바이트 규모의 데이터 전송 서비스
      - KMS를 통해 암호화 


저작자표시 비영리 변경금지 (새창열림)