Sinbum's blog
  • 인셉션 개발자
    • History
    • Editorial Board
    • 세미나
      • MS_빅데이터_분석_교육
      • Databricks_Musinsa_사례분석
      • Databricks_AMOREPACIFIC_사례분석
    • 개발자 꿀팁
  • 리눅스
    • 리눅스 기초
      • 기본명령어
      • 프록시서버
      • 온프레미스
      • systemd
      • 우분투 앱
      • vi 사용법
    • 도커
      • MSA 아키텍처
      • 도커 설명
      • 도커 설치
      • 도커 가이드
        • 컨테이너 만들기
        • 컨테이너 보관
        • 컨테이너 사용
        • 컨테이너 관리
        • 컨테이너 볼륨
        • 컨테이너 통신
        • 도커 연습
  • 언어
    • 자바
      • 자바(JAVA)는 무엇인가?
        • JVM 메모리
      • 자바 설치 가이드
      • 자바 언어 활용
        • 변수
        • static
        • 상수
        • 연산자
        • 제어문
        • 배열
        • CLI-자바사용
        • 클래스
        • 메소드
        • 값에의한 호출
        • GUI 프레임
        • 생성자
        • 오버로딩
        • 상속
        • 상속생성자
        • 접근제한자 와 가비지 컬렉션
        • 추상클래스 와 인터페이스
        • 다중구현
        • 예외처리
        • 컬렉션 프레임워크
        • 쓰레드
        • 네트워크
        • 다중 접속 서버 구현
      • 간단한 채팅 앱 개발하기
    • 파이썬
      • 파이썬(Python)은 무엇인가?
      • 파이썬 설치 가이드
      • 파이썬 언어 활용
        • 변수
        • 입력,출력
        • 타입선언
        • 자료구조
        • 주석처리
        • 문자열
        • 리스트
        • 반복문
        • 연산자
        • 조건문
        • 정규표현식
          • re 모듈
          • 메타문자1
          • 메타문자2
          • 그루핑
          • 전방탐색
          • 문자열 바꾸기
          • Greedy 와 Non-Greedy
      • 마치며...
  • 형상관리,CI/CD
    • 깃허브
      • 깃허브 협업 모델
      • 깃허브 설치 와 ssl
      • 깃허브를 잘쓰는 팁 모음
  • BigData
    • BigData 개념
      • OLTP,OLAP
      • ELT,ETL
      • DW
      • ObjectStorage
      • LambdaArc
      • OGG
    • Kafka
      • 환경설정 및 소스코드 다운로드
      • 아파치 카프카는?
        • 카프카의 시작
        • 카프카 특성
        • 빅데이터 아키텍처
      • 카프카 기초 개념
    • BuildApplications
      • Airflow
      • Grafana
    • PowerBi
      • DAX
        • REMOVEFILTERS
        • DAX_문법
        • DAX_함수
    • Azure
      • SynapseAnalytics
  • IOT
    • 아두이노
      • 설치 및 기초
      • 센서의 종류
      • led 출력하기
      • 시리얼 통신
      • 무선 통신
  • About
    • SINBUM
    • INTEREST
    • PROJECTS
      • 업무 프로젝트
      • 개인 프로젝트
        • 티스토리API를 사용한 블로그 앱
        • 노션 API와 블로그 연동 자동화 하기
        • 로지텍 마우스 수리
    • CONTACT
Powered by GitBook
On this page
  • 통계,추이,그래프
  • 배치의 활용.
  1. BigData
  2. BigData 개념

LambdaArc

람다 아키텍처.

람다 아키텍처는 트위터에서 스트리밍 컴퓨터에 있던 Nathan Marz에게서 소개된 실시간 분석 빅데이터 에 관련한 아키텍쳐 입니다.

통계,추이,그래프

일 매출,시간별 매출, 집계, 통계, 가장많이 팔리는 옷, 가장많은 클릭 수 등 빅데이터는 모든 데이터를 하나의 경영 의사결정으로 활용되는 수단인듯 보입니다. 그중 데이터가 처리되는 일련의 과정을 아키텍쳐라 표현하고, 람다 아키텍쳐는 그 중 하나의 설계 방식입니다.

RDBM에서 수많은 데이터를 동적인 SQL로 실행하기엔 부하부담이 크고, 수행시간이 오래 걸리기 떄문에 위와 같은 아키텍처를 사용하는 것입니다.

배치의 활용.

필요한 데이터를 배치를 활용해 특정 시간에 주요 데이터에 대해 연산 작업을 수행시킵니다. 또 데이터를 모아 놓았다가 그날짜의 집계,통계 값을 계산해 놓은 테이블을 만들어 놓는다면, 또한 그 테이블을을 결과로써 확인할 수 있다면 조회시 테이블 영향도 적습니다.

즉 밤에 연산처리 시키고 아침에 보고서를 저장 하는 방식입니다. 자원을 사용하는 효율적이고,안정적인 방식입니다.

PreviousObjectStorageNextOGG

Last updated 2 years ago