Developer MJ

수집 및 전송 데이터 수집 트랜잭션( 데이터베이스 읽기/쓰기) - 앱, 웹 서버 => DB 파일 - Flume, Log4j from Device => S3 스트림 - FluentD, Sqoop, Storm => Kinesis데이터 전송 Apache DistCp - HDFS에서 스토리지로 대용량 데이터를 MapReduce를 사용하여 분산방식으로 복사 Apache Sqoop - HDFS와 관계형 데이터베이스 사이에서 데이터를 전송가능 Snowball - 하루 최대 50테라 전송가능 - KMS를 통해 암호화 Snowball Edge - 100테라 로컬 스토리지 - S3 호환 엔드포인트, Lambda함수 지원 - Snowball 보다 4배 빠름 - KMS를 통해 암호화 Snowmobile - 모든 리전에서 사용..

개요 빅 데이터 - 사용자의 요구사항을 알아내기 위해 대량의 데이터를 수집하고 분석하기 위한 기술 데이터가 빅 데이터로 바뀌는 시점 ? - 수집, 저장, 구조화, 분석, 이동, 공유 등에 어려움 발생 - 속도, 볼륨, 다양성에 대한 처리 능력의 한계 도달 파이프라인 - 데이터가 유입되어 수집, 저장, 분석 및 시각화를 하여 Insight를 얻는데까지 일련의 과정 - 파이프라인에 배포하는 도구에 따라 응답시간이 상이함 수집 - Kinesis Firehose, Snowball, SQS, EC2 저장 - S3, Glacier, Kinesis Stream, RDS, DynamoDB, CloudSearch 처리 및 분석 - EMR, Lambda, Kinesis Analytics, Redshift, SageMake..

배포 자동화 인스턴스 생성 시점 User Data - 각 인스턴스 생성할 때, 최초 1회 실행되는 스크립트 AMI - 생성된 인스턴스를 이미지로 저장하여 저장된 이미지를 가지고 세팅된 인스턴스 생성 사용자 정의 AMI Windows AMI 생성시 인스턴스 고유 네트워킹 정보를 제거하기 위해 Sysprep을 실행해야한다. 인스턴스 운영 시점 OpsWorks - 관리형 구성관리 소프트웨어를 제공 인스턴스에 에이전트를 설치해야한다. ( 구성관리 소프트웨어 > Puppet, Chef ) CloudFormation - 템플릿 형태의 구성관리 서비스 템플릿 - 생성할 AWS 리소스의 기본 정보를 정의 템플릿 수정을 통해 기존 배포에도 변경사항 적용이 쉽다. 템플릿으로 스택을 생성할 때, 오류가 발생하면 기본적으로 ..

모니터링 및 보안 모니터링 CloudWatch - 리소스( ex> CPU 사용량) 모니터링 및 관리 AWS 리소스에 대한 지표뿐만 아니라 사용자 정의 지표를 만들어 CloudWatch로 경보를 설정할 수 있다. ( ex> AWS CLI 혹은 API를 통해 센서 데이터 수집 모니터링 ) Cloud Trail - AWS API call 모니터링 Config - 현재 AWS Infra 구성 확인 및 변경에 대한 관 리 보안 GaurdDuty - CloudTrail, VPC Flow Logs 등 여러 데이터를 분석 및 모니터링 IAM, KMS, etc 리소스 사용 관리 태깅 - AWS 리소스에 연결된 메타 데이터 리소스를 식별 및 범주화 하는데 사용하여 비용 리포트를 태그별로 확인할 수 있다. ( ex> 환경(..

스토리지 및 아카이빙 EBS - EC2 네트워크 스토리지 SSD for IOPS / HDD for 처리량 EC2와 같은 AZ에 생성해야한다. 스냅샷은 S3에 저장되며, 증분 스냅샷 기능 존재 스냅샷 복원 시 first-access 패널티가 존재 복원함과 동시에 모든 데이터를 1회 read하여 S3에서 EBS로 copy해 속도 저하를 막는다. ( ex> linux dd command ) 인스턴스 스토어 - 고속 IO의 휘발성 스토리지로 인스턴스 장애 및 중지 시 제거될 수 있다. EFS - 리눅스 인스턴스 용 공유 스토리지 S3 - 파일시스템이 아닌 웹 기반 오브젝트 스토리지로 데이터 저장 및 검색을 위한 스토리 S3에 대한 이벤트는 SNS , SQS , Lambda 서비스의 트리거 역할을 할 수 있다. ..

네트워킹 VPC EC2 인스턴스 생성 전에 가상네트워크 환경인 VPC와 Subnet을 생성해야한다. Route Table - VPC 혹은 Subnet 수준에서 Routing Table을 생성할 수 있다. Subnet - VPC를 IP를 관리하는 작은 단위 Internet Gateway - Public Subnet 내 인스턴스를 인터넷과 연결 Subnet Routing Table에 0.0.0.0/0 호스트를 IGW와 연결한다. NAT - Private Subnet 내 인스턴스를 인터넷과 연결 Public Subnet에 위치 Subnet Routing Table의 0.0.0.0/0 호스트를 NAT와 연결한다. VPC 생성 시 CIDR( x.x.x.x/16~28 )을 사용하여 RFC1918에 정의되어 유효한 ..