MS_빅데이터_분석_교육

마이크로소프트 빅데이터 분석 체험 교육

날짜 : 2022_12_08 장소 : 위워크 삼성 2호점 시간 : 오후 1시 30분 ~ 오후 5시 30분 까지

---

강사님 : 권태돈 이커머스 기업 데이터 팀장 이메일 : [e-mail]

빅데이터 통합 데이터 플랫폼

• ETL/ELT를 위한 데이터 파이프라인

• 서버리스/전용서버 데이터 웨어하우스

• SPARK를 이용한 비정형 데이터 분석

링크 참조 : www.databricks.com

Data Lake의 단점 으로 사용하는 툴과 데이터 형태의 복잡성이 가중화 되었다. DataLakehouse 의 장점으로 DB기능을 datalake 에 접목시켰다. 트랜잭션, 업데이트 등 메타데이터 를 통한 데이터 관리가능.

Azure Synapse Analytics

• 전용 sql pool 은 사용 하는 것에 대한 과금한다.

  • 서버 1대당 월 100만원 정도 보면 된다.

  • 전용 DB서버를 구축하는 것 과 같다.

  • 한 DB 원자당 1000만건 정도.

  • 페타바이트 의 규모를 처리하기위한 하드웨어 성능.

서버리스 SQL 풀 은 데이터 과금은 없으나 조회에 대한 시간에 대해 과금 적용.

빅데이터 처리 분석

• 데이터 엔지니어를 위한 Databricks

• 데이터 분석가를 위한 Databricks

Azure Databricks Lakehouse 플랫폼은 데이터 웨어하우스와 데이터 레이크를 하나의 간단한 플랫폼으로 통합해 모든 데이터, 분석 및 ai 사용 사례를 처리합니다.

실시간 데이터 처리

• 실시간 데이터 수집

• 실시간 데이터 처리 및 저장