Developer MJ

페타바이트 규모의 처리와 저장을 지원하는 AWS의 완전 관리형 데이터 웨어하우징 서비스 데이터 블록이 다수의 행인 하나의 열을 저장하는 열 기반 스토리지이므로 대규모 데이터 세트의 스캔 및 복합 분석 OLAP성 쿼리에 적합. Redshift가 지원하는 압축 인코딩을 통해 데이터를 압축하여 읽기성능을 올릴 수 있다. 전통적인 데이터 처리방법은 샘플링된 데이터로 처리 프로세스를 수행했지만, 최근의 데이터 분석은 모집단 데이터가 있는 곳에서 어플리케이션을 구동하여 분석을 수행한다. Amazon Redshift 쿼리 프로세스 SQL 클라이언트 도구 쿼리 생성 -> 리더 노드에서 쿼리 구문 분석 -> 컴퓨팅 노드에서 쿼리 수행 -> 컴퓨팅 노드는 쿼리 처리결과를 리더노드로 반환 -> 리더 노드는 처리 결과를 집계..

Spark Spark - 인메모리 분석방식 -> 클러스터 프로그래밍 모델은 데이터를 반복적으로 재사용하기 때문이다 - 배치, 대화식 및 스트리밍 데이터 지원 - 텍스트 및 하둡 파일 형식 지원 - HDFS, S3 및 기타 데이터베이스 데이터를 읽고 저장 가능 RDD (Resilient Distributed Datasets) - Spark 프로그래밍 모델 - 클러스터 노드 사이에 인메모리로 캐싱되는 읽기 전용 분산 객체 집합 - MapReduce의 내결함성과 데이터 지역성 그리고 확장성 유지 - 스토리지 데이터에서 RDD를 생성한 후 변환 또는 액션을 사용 - 실행가능하도록 스테이지로 구성된 DAG(Directed Acyclic Graph) 빌드 - 메모리에 DataFrames를 저장하여 I/O 최소화 -..

하둡 프로그래밍 프레임워크 Hive - 하둡에서 실행되는 오픈소스 방식의 SQL 유사 데이터 웨어하우스 솔루션 - 분산 스토리지에서 대용량 데이터 세트를 관리하거나 쿼리를 실행 - 배치 및 대화형 지원 Presto - 오픈소스 방식의 분산 인메모리 SQL 쿼리 엔진 - 사용가능 메모리의 양이 제한되므로 배치작업은 부적합 - Not MapReduce - 빠른 대화형 쿼리 응답 Spark - 인메모리 처리 프레임워크 - 추가 포스팅 => https://1226choi.tistory.com/50Pig - 단순한 텍스트 형식의 데이터 흐름 언어 - 배치 및 대화형 지원

Apache Hadoop 및 AWS EMR Hadoop - Map, Reduce Function + HDFS - Java 기반 - Cluster -> Name Node 1개 + Data Node 3개 (default) Map-Reduce - Key-Value기반 분산 프로그래밍 프레임워크 - 대용량 데이터 세트를 병렬 분산처리 HDFS - 데이터블록 복제본을 클러스터 내 Data Node로 분산 YARN - Map-Reduce 2.0 ? - 작업 예약 및 클러스터 리소스 관리 클러스터 Master Node - Resource Manager 데몬 실행 -> 클러스터 리소스 관리 - Name Node 데몬 실행 -> 파일시스템의 네임스페이스 관리 및 클라이언트 엑세스 제어 - Core & Worker Nod..

스토리지 데이터 웨어하우스 - OLAP 성 작업 - 기존 데이터베이스 상위에서 실행가능하며, 일반적으로 데이터가 중복된 테이블을 사용 - 여러 소스의 데이터를 통합하고 일관성 있는 데이터로 관리 - 현재 데이터는 물론 이력 데이터도 관리Redshfit - 페타바이트 규모의 열 기반 데이터 웨어하우스 - SQL 작업을 병렬화 하여 대규모 분산 병렬처리 가능 리더 노드 - SQL 엔드포인트 - 메타데이터 저장 - 컴퓨팅 노드들에게 분산 쿼리 실행 명령 컴퓨팅 노드 - 로컬에 열 형식으로 데이터를 분산 저장 => 컴퓨팅 노드 간 데이터 교환 효율성을 위해 - 병렬 쿼리 실행 결과를 리더 노드에 반환 - S3, EMR, DynamoDB, SSH를 통한 데이터 로드 데이터 레이크 - 중앙 집중식 저장소에서 방대한..

스트리밍 데이터 처리 유형 배치 처리 - 유한 데이터 스트림 처리 - 연속 데이터 스트리밍 솔루션의 장점? - 처리단계와 분리되어 복수의 스트림으로 데이터를 동시에 수집하거나 병렬로 소비 가능Amazon Kinesis Firehose - 스트리밍 데이터를 캡처하고 변환하여 타겟(S3, Redshift, Elasticsearch, etc)으로 로드 - 로드 전에 배치, 압축, 암호화 가능 - 데이터를 대상 스토리지로 바로 로드하기 때문에 샤드 프로비저닝과 파티션 키가 필요없음 Streams - 데이터를 대상 스토리지로 로드하기 전에 처리 프로세스에서 사용하기 위해 샤드 프로비저닝 필요 Analytics Apache Spark Streaming - 데이터를 1초 미만 마이크로 배치로 분할 Apache Kaf..