Developer MJ

수집 및 전송 데이터 수집 트랜잭션( 데이터베이스 읽기/쓰기) - 앱, 웹 서버 => DB 파일 - Flume, Log4j from Device => S3 스트림 - FluentD, Sqoop, Storm => Kinesis데이터 전송 Apache DistCp - HDFS에서 스토리지로 대용량 데이터를 MapReduce를 사용하여 분산방식으로 복사 Apache Sqoop - HDFS와 관계형 데이터베이스 사이에서 데이터를 전송가능 Snowball - 하루 최대 50테라 전송가능 - KMS를 통해 암호화 Snowball Edge - 100테라 로컬 스토리지 - S3 호환 엔드포인트, Lambda함수 지원 - Snowball 보다 4배 빠름 - KMS를 통해 암호화 Snowmobile - 모든 리전에서 사용..

개요 빅 데이터 - 사용자의 요구사항을 알아내기 위해 대량의 데이터를 수집하고 분석하기 위한 기술 데이터가 빅 데이터로 바뀌는 시점 ? - 수집, 저장, 구조화, 분석, 이동, 공유 등에 어려움 발생 - 속도, 볼륨, 다양성에 대한 처리 능력의 한계 도달 파이프라인 - 데이터가 유입되어 수집, 저장, 분석 및 시각화를 하여 Insight를 얻는데까지 일련의 과정 - 파이프라인에 배포하는 도구에 따라 응답시간이 상이함 수집 - Kinesis Firehose, Snowball, SQS, EC2 저장 - S3, Glacier, Kinesis Stream, RDS, DynamoDB, CloudSearch 처리 및 분석 - EMR, Lambda, Kinesis Analytics, Redshift, SageMake..

먼저 집어 넣은 데이터가 먼저 나오는 FIFO (First In First Out)구조 N(2= MAX_N) { rear = MAX_N; } return value; } public static void main(String arg[]) throws Exception { Scanner sc = new Scanner(System.in); int T = sc.nextInt(); for (int test_case = 1; test_case

한 쪽 끝에서만 자료를 넣거나 뺄 수 있는 선형 구조(LIFO - Last In First Out) N(2

배포 자동화 인스턴스 생성 시점 User Data - 각 인스턴스 생성할 때, 최초 1회 실행되는 스크립트 AMI - 생성된 인스턴스를 이미지로 저장하여 저장된 이미지를 가지고 세팅된 인스턴스 생성 사용자 정의 AMI Windows AMI 생성시 인스턴스 고유 네트워킹 정보를 제거하기 위해 Sysprep을 실행해야한다. 인스턴스 운영 시점 OpsWorks - 관리형 구성관리 소프트웨어를 제공 인스턴스에 에이전트를 설치해야한다. ( 구성관리 소프트웨어 > Puppet, Chef ) CloudFormation - 템플릿 형태의 구성관리 서비스 템플릿 - 생성할 AWS 리소스의 기본 정보를 정의 템플릿 수정을 통해 기존 배포에도 변경사항 적용이 쉽다. 템플릿으로 스택을 생성할 때, 오류가 발생하면 기본적으로 ..

모니터링 및 보안 모니터링 CloudWatch - 리소스( ex> CPU 사용량) 모니터링 및 관리 AWS 리소스에 대한 지표뿐만 아니라 사용자 정의 지표를 만들어 CloudWatch로 경보를 설정할 수 있다. ( ex> AWS CLI 혹은 API를 통해 센서 데이터 수집 모니터링 ) Cloud Trail - AWS API call 모니터링 Config - 현재 AWS Infra 구성 확인 및 변경에 대한 관 리 보안 GaurdDuty - CloudTrail, VPC Flow Logs 등 여러 데이터를 분석 및 모니터링 IAM, KMS, etc 리소스 사용 관리 태깅 - AWS 리소스에 연결된 메타 데이터 리소스를 식별 및 범주화 하는데 사용하여 비용 리포트를 태그별로 확인할 수 있다. ( ex> 환경(..