Developer MJ

[AWS] Big Data - 하둡 프로그래밍 프레임워크 본문

AWS

[AWS] Big Data - 하둡 프로그래밍 프레임워크

MIN JOON 2019. 2. 15. 11:10

하둡 프로그래밍 프레임워크
  • Hive
    - 하둡에서 실행되는 오픈소스 방식의 SQL 유사 데이터 웨어하우스 솔루션
    - 분산 스토리지에서 대용량 데이터 세트를 관리하거나 쿼리를 실행
    - 배치 및 대화형 지원
  • Presto
    - 오픈소스 방식의 분산 인메모리 SQL 쿼리 엔진
    - 사용가능 메모리의 양이 제한되므로 배치작업은 부적합
    - Not MapReduce
    - 빠른 대화형 쿼리 응답
  • Spark
    - 인메모리 처리 프레임워크
    - 추가 포스팅 => https://1226choi.tistory.com/50
  • Pig
    - 단순한 텍스트 형식의 데이터 흐름 언어
    - 배치 및 대화형 지원 


저작자표시 비영리 변경금지

'AWS' 카테고리의 다른 글

[AWS] 데이터 웨어하우스 (Data Warehouse)  (0) 2019.05.22
[AWS] Big Data - Spark  (0) 2019.02.15
[AWS] Big Data - Hadoop & EMR  (0) 2019.02.15
[AWS] Big Data - 스토리지  (0) 2019.02.15
[AWS] Big Data - 스트리밍  (0) 2019.02.13
'AWS' Related Articles more