최근 포스트

[통계] 기본 통계 정리

June 08 2022

확률 분포 주사위나 동전을 던질 때 뭐가 나올지, 그 결과는 실제로 던져 보기 전에는 알 수 없다. 하지만 동전을 던질 때, 앞면이 나올 가능성은 50%다라고 말하는 것 처럼 결과를 예측할 수 있다. 결과는 우연히 정해지는 것이지만 그 결과를 예측할 때는 확률이나 확률...

[Deep Learning] 미술 작품 분류하기

December 26 2021

문제 해설 데이터의 수가 부족하다고 판단 되어 기본적인 Data Augmentation을 수행 brightness_range horizontal_flip rescale Cutmix ImageNet 데이터 셋...

[Apache Kafka] 살펴보기

December 22 2021

토픽(Topic)과 파티션(Partition), 세그먼트 파일(Segment File) 카프카에서 전달되는 메시지 스트림의 추상화된 개념을 토픽(Topic)이라고 한다. 프로듀서는 메시지를 특정 토픽에 발행한다. 컨슈머는 특정 포틱에서 발행되는 메시지를 구독할 수 있다.

[Apache Kafka] 소개

December 22 2021

등장배경 기존 링크드인의 데이터 처리 시스템은 각 파이프라인이 파편화되고 시스템 복잡도가 높아 새로운 시스템을 확장하기 어려운 상황이었습니다.

[Data Warehouse] OLTP vs OLAP

December 17 2021

OLTP(Online Transaction Processing) 온라인 트랜잭션 처리 네트워크 상의 여러 사용자가 실시간으로 데이터베이스를 갱신하거나 조회하는 등의 단위 작업을 처리하는 방식 송수신 자료를 트랜잭션 단위로 압축했기에 기존 컴퓨터 통신에서 사용해 왔던 온...