Developer MJ

데이터 최종 사용자가 정보에 입각한 의사 결정을 내릴 수 있도록 분석 가능한 구조화된 데이터의 중앙 리포지토리 범위용 질의를 통한 OLAP성 업무에 특화되어, 특정 값을 찾는 OLTP성 업무에 적절하지 않다. Star/Snowflake Schema의 형태를 띄며 Fact 테이블에 각 Dimension 테이블의 키 값을 적재함으로서 중복 데이터가 발생할 수 있다. 구조화하면 안되는 데이터를 DW로 밀어넣지 않고, Raw형태로 남겨두고 copy하여 사용해야 한다. 아키텍처 하단 티어는 데이터가 로드되고 저장되는 데이터베이스 서버 중간 티어는 데이터를 액세스하고 분석하는 데 사용되는 분석 엔진 상단 티어는 보고, 분석 및 데이터 마이닝 도구를 통해 결과를 제시하는 프런트 엔드 클라이언트 Data Mining ..

스트리밍 데이터 처리 유형 배치 처리 - 유한 데이터 스트림 처리 - 연속 데이터 스트리밍 솔루션의 장점? - 처리단계와 분리되어 복수의 스트림으로 데이터를 동시에 수집하거나 병렬로 소비 가능Amazon Kinesis Firehose - 스트리밍 데이터를 캡처하고 변환하여 타겟(S3, Redshift, Elasticsearch, etc)으로 로드 - 로드 전에 배치, 압축, 암호화 가능 - 데이터를 대상 스토리지로 바로 로드하기 때문에 샤드 프로비저닝과 파티션 키가 필요없음 Streams - 데이터를 대상 스토리지로 로드하기 전에 처리 프로세스에서 사용하기 위해 샤드 프로비저닝 필요 Analytics Apache Spark Streaming - 데이터를 1초 미만 마이크로 배치로 분할 Apache Kaf..

수집 및 전송 데이터 수집 트랜잭션( 데이터베이스 읽기/쓰기) - 앱, 웹 서버 => DB 파일 - Flume, Log4j from Device => S3 스트림 - FluentD, Sqoop, Storm => Kinesis데이터 전송 Apache DistCp - HDFS에서 스토리지로 대용량 데이터를 MapReduce를 사용하여 분산방식으로 복사 Apache Sqoop - HDFS와 관계형 데이터베이스 사이에서 데이터를 전송가능 Snowball - 하루 최대 50테라 전송가능 - KMS를 통해 암호화 Snowball Edge - 100테라 로컬 스토리지 - S3 호환 엔드포인트, Lambda함수 지원 - Snowball 보다 4배 빠름 - KMS를 통해 암호화 Snowmobile - 모든 리전에서 사용..

Amazon S3 Designed to make web-scale computing easier for developers. Enables you to store and retrieve any amount of data, any time , from anywhere on the web Is highly scalable, reliable, fast, secure and durable storage Why Choose S3? Enables you to transfer and store files as object Enables hosting of static web sites Offers a range of storage classes with configurable lifecycle policies Sup..