Developer MJ

데이터 최종 사용자가 정보에 입각한 의사 결정을 내릴 수 있도록 분석 가능한 구조화된 데이터의 중앙 리포지토리 범위용 질의를 통한 OLAP성 업무에 특화되어, 특정 값을 찾는 OLTP성 업무에 적절하지 않다. Star/Snowflake Schema의 형태를 띄며 Fact 테이블에 각 Dimension 테이블의 키 값을 적재함으로서 중복 데이터가 발생할 수 있다. 구조화하면 안되는 데이터를 DW로 밀어넣지 않고, Raw형태로 남겨두고 copy하여 사용해야 한다. 아키텍처 하단 티어는 데이터가 로드되고 저장되는 데이터베이스 서버 중간 티어는 데이터를 액세스하고 분석하는 데 사용되는 분석 엔진 상단 티어는 보고, 분석 및 데이터 마이닝 도구를 통해 결과를 제시하는 프런트 엔드 클라이언트 Data Mining ..

Spark Spark - 인메모리 분석방식 -> 클러스터 프로그래밍 모델은 데이터를 반복적으로 재사용하기 때문이다 - 배치, 대화식 및 스트리밍 데이터 지원 - 텍스트 및 하둡 파일 형식 지원 - HDFS, S3 및 기타 데이터베이스 데이터를 읽고 저장 가능 RDD (Resilient Distributed Datasets) - Spark 프로그래밍 모델 - 클러스터 노드 사이에 인메모리로 캐싱되는 읽기 전용 분산 객체 집합 - MapReduce의 내결함성과 데이터 지역성 그리고 확장성 유지 - 스토리지 데이터에서 RDD를 생성한 후 변환 또는 액션을 사용 - 실행가능하도록 스테이지로 구성된 DAG(Directed Acyclic Graph) 빌드 - 메모리에 DataFrames를 저장하여 I/O 최소화 -..

하둡 프로그래밍 프레임워크 Hive - 하둡에서 실행되는 오픈소스 방식의 SQL 유사 데이터 웨어하우스 솔루션 - 분산 스토리지에서 대용량 데이터 세트를 관리하거나 쿼리를 실행 - 배치 및 대화형 지원 Presto - 오픈소스 방식의 분산 인메모리 SQL 쿼리 엔진 - 사용가능 메모리의 양이 제한되므로 배치작업은 부적합 - Not MapReduce - 빠른 대화형 쿼리 응답 Spark - 인메모리 처리 프레임워크 - 추가 포스팅 => https://1226choi.tistory.com/50Pig - 단순한 텍스트 형식의 데이터 흐름 언어 - 배치 및 대화형 지원

Apache Hadoop 및 AWS EMR Hadoop - Map, Reduce Function + HDFS - Java 기반 - Cluster -> Name Node 1개 + Data Node 3개 (default) Map-Reduce - Key-Value기반 분산 프로그래밍 프레임워크 - 대용량 데이터 세트를 병렬 분산처리 HDFS - 데이터블록 복제본을 클러스터 내 Data Node로 분산 YARN - Map-Reduce 2.0 ? - 작업 예약 및 클러스터 리소스 관리 클러스터 Master Node - Resource Manager 데몬 실행 -> 클러스터 리소스 관리 - Name Node 데몬 실행 -> 파일시스템의 네임스페이스 관리 및 클라이언트 엑세스 제어 - Core & Worker Nod..

스토리지 데이터 웨어하우스 - OLAP 성 작업 - 기존 데이터베이스 상위에서 실행가능하며, 일반적으로 데이터가 중복된 테이블을 사용 - 여러 소스의 데이터를 통합하고 일관성 있는 데이터로 관리 - 현재 데이터는 물론 이력 데이터도 관리Redshfit - 페타바이트 규모의 열 기반 데이터 웨어하우스 - SQL 작업을 병렬화 하여 대규모 분산 병렬처리 가능 리더 노드 - SQL 엔드포인트 - 메타데이터 저장 - 컴퓨팅 노드들에게 분산 쿼리 실행 명령 컴퓨팅 노드 - 로컬에 열 형식으로 데이터를 분산 저장 => 컴퓨팅 노드 간 데이터 교환 효율성을 위해 - 병렬 쿼리 실행 결과를 리더 노드에 반환 - S3, EMR, DynamoDB, SSH를 통한 데이터 로드 데이터 레이크 - 중앙 집중식 저장소에서 방대한..

스트리밍 데이터 처리 유형 배치 처리 - 유한 데이터 스트림 처리 - 연속 데이터 스트리밍 솔루션의 장점? - 처리단계와 분리되어 복수의 스트림으로 데이터를 동시에 수집하거나 병렬로 소비 가능Amazon Kinesis Firehose - 스트리밍 데이터를 캡처하고 변환하여 타겟(S3, Redshift, Elasticsearch, etc)으로 로드 - 로드 전에 배치, 압축, 암호화 가능 - 데이터를 대상 스토리지로 바로 로드하기 때문에 샤드 프로비저닝과 파티션 키가 필요없음 Streams - 데이터를 대상 스토리지로 로드하기 전에 처리 프로세스에서 사용하기 위해 샤드 프로비저닝 필요 Analytics Apache Spark Streaming - 데이터를 1초 미만 마이크로 배치로 분할 Apache Kaf..