업무 프로젝트

업무 프로젝트 이력.

2022 업무 프로젝트

LF몰

• 기간 : 2022/06 ~ 11월(예정)

• 프로젝트 환경

  • HCI

• 프로젝트 설명

  • 빅데이터를 통한 실시간 추천 서비스 구축

  • 빅데이터 마이그레이션 (Oracle/Mysql) to Kafka with Confluent,Spark

  • 기존 Oracle 사용 대비 낮은 비용을 위한 데이터 레이크 고도화 및 파이프라인 구축

• 주 담당 업무 및 성과

  • 오라클 SQL 쿼리분석 및 ANSI 표준 SQL 변환 작업.

  • DW 에서 Kafka로 CDC를 이용한 88개 테이블 스트림 데이터 수집

  • Spark 를 사용한 연산 성능 튜닝. 빅데이터 분석시간 4hour > 1hour 성능 향상 (분산처리방식,싱글 코어,데이터 마트)

  • 테이블 규모가 큰 데이터 (2억건 이상) Airflow 를 사용한 배치 전용 데이터 파이프라인 구축.

  • 미국 Confluent 본사 와 프로젝트 팀간의 영어 커뮤니케이션 담당. (이슈 발생시)

    • 문제 제기 후 핫픽스 수정이 되어 전 세계 배포가 된 경험 등.

• 사용 기술 스택

  • kafka/Confluent

  • Airflow

  • Spark

  • Linux 기본사용

• 협업 프로그램

  • Gitlab

  • 사내 커뮤니케이션 시스템 & Confluence

삼성 미라콤 아이엔씨

• 기간 : 2021/11 ~ 2022/05

• 프로젝트 설명

  • Saas 서비스 제공을 위한 기존 서비스 이전 및 통합 구축 프로젝트

  • OI(닷넷) , UI(리액트) 로 구성된 분산 서비스를 통합 구축.

• 주업무 및 개발 영역

  • 사내서비스개발

  • MES FrontEnd 개발업무.

• 사용프레임워크

  • javaScript ES5

  • Exbuilder

• 협업 프로그램 ( 애자일 / TDD ) / 매일 아침 스크럼 회의진행

  • Gitlab

  • JenKins

  • JIRA

  • Swagger

  • 사내 커뮤니케이션 시스템 & Confluence