[AWS] Data Analytics Sepcialty 후기

합격했다.

와 눈물나는 줄 알았다.

시험 진짜 어렵다.

실시간 데이터처리 아키텍처와 이에 대한 이해 + 데이터레이크 Redshift + Glue에 대한 공부는 필수적이다.

  1. Kinesis

Kinesis Fire Horse, Kinesis Data Stream, Kinesis Data Analytics, KPL 에 대해서 무조건 알아야 하고
Kinesis 의 타겟으로 어떤 소스가 가능한지, 어떻게하면 Kinesis Data Stream 을 암호화(KMS)하는지, 어떻게하면 Near Real time으로 Anomaly(이상)을 감지하는지

진짜 Kinesis에 대해서 하나도 빠짐없이 다 알아야 하고

2. Athena

아테나는 기본이다. 어떻게 하면 아테나 성능을 높힐 수 있는지, S3 파티션은 어떻게 처리해야하는지, 아테나 Workgroup 에 대해서 알아야한다. 항상 오버헤드가 적은 서비스 선택지에서는 엄청 자주 등장했다. S3, Glue와 단짝이다.

3. Glue

글루 카탈로그, 크롤러, 커넥터, Bookmark(증분에 대한 처리 문제), 스케쥴, 글루 ETL(Transformation)
엄청 문제가 많이 나온다. 글루와 S3, 아테나는 단짝이다. 그리고 Redshift와도 연동되어서 많이 나온다.
Kinesis와도 연동되는 문제도 있었다.

4. Redshift

Redshift 특별히 IAM role 과 권한에 대한 것도 알아야하고, HSM 설정시 설정 변경이 아니라 새로 클러스터 생성해야함 등등 디테일들도 잘 알아야한다. COPY 명령어에 대해서 알아야 한다. Kinesis 랑 연결되서 어떻게 데이터를 입력받을 지에 대해서도 나왔다.

5. EMR

EMR은 딱히 공부를 많이 안했다. EMRFS에 대해서 알면 좋을 것 같다.
Elastic Resize, 전반적인 서비스에 대한 개념도 알아야 한다.

6. QuickSight

퀵사이트는 대시보드 시각화관련해서 많이 나온다. Enterprise Edition의 기능들에 대해서 조금 알아야 한다.
Refresh하는 방법에 대해서도 나온다.

7. ElasticSearch

Kibana와 연결되어서 많이 나왔다. 대용량 로그분석을 할 때 많이 나오며, 어떻게하면 ElasticSearch 성능을 높일 수 있는지, Memory 오류 트러블 슈팅하는 문제 등이 나왔다.

이외에는 자잘하게 DMS와 HSM에 대한 내용들이 나왔다. DMS를 이용해 S3로 데이터를 옮기는 문제, 온프레미스 HSM 구축등등 비중은 작았다.