[Spring] ELK + Kafka를 활용해 실시간 로그 수집하기

ELK 도입 이유ELK가 무엇인지에 대해 알아보고 싶다면 아래 포스팅을 참고. [ELK] ElasticSearch란? ELK란? 내부 구조, 장단점, RDB와 차이ElasticSearch란? Elasticsearch는 Apache Lucene기반의 Java 오픈 소스 분산 검색 엔진이다. Elasticsearch를 통해 방대한 양의 데이터를 신속하게(거의 실시간) 저장, 검색, 분석을 수행할 수 있다. Elasticsearch는hstory0208.tistory.com  ELK를 적용한 이유필자의 쇼핑몰 서비스는 아래 처럼 사용자 서버와 관리자 서버가 분리되어 있다.이렇게 분리된 서버를 관리하기 위해서 ELK를 적용하기전에는 어디서 어느 시점에 장애가 발생했는지 확인하려면 실행되는 서비스의 로그를 서버별로..

• format_list_bulleted ◼ DevOps
• · 2023. 10. 6.
• textsms

[Spring] kafka와 SSE(Server Send Event)를 사용한 실시간 알림 전송 방법

Kafka 선택 이유알림 전송에 Kafka를 도입한 이유는 다음과 같다. 필자의 과일샵 쇼핑몰 프로젝트는 아래 처럼 회원 서버와 어드민 서버로 나뉘어져 있다.두 서버가 DB는 공유하고 있지만 ,어드민 서버에서 발생한 이벤트를 실시간으로 회원 서버로 전달할 수가 없었다.또한 알림에 대한 처리를 기다릴 필요가 없어 비동기로 처리할 수 있었다.바로 이 문제를 해결하기 위해 Kafka를 도입하게 되었다.Kafka외에도 RabbitMQ나 Redis를 고려 해 볼 수도 있었지만, 분산 시스템이 적용되어 있는 큰 기업들에서 사용하고 있어 경험해보기 위해 Kafka를 선택하게 되었다. [Kafka] 카프카란 ? 주요개념 정리 및 Pub/Sub 모델 비교카프카(kafka) 란? Kafka는 대규모 실시간 데이터 스트리밍..

• format_list_bulleted ◼ DevOps
• · 2023. 9. 20.
• textsms

[Kafka] 카프카란 ? 주요개념 정리 및 Pub/Sub 모델 비교

카프카(kafka) 란?Kafka는 대규모 실시간 데이터 스트리밍을 처리하는 데 사용되는 분산 이벤트 스트리밍 플랫폼이다. 먼저 "분산 이벤트 스트리밍"이라는 용어에 대해 알아보자분산 이벤트이라는 말은 여러 대의 서버(노드)에 분산되어 저장된 이벤트(데이터) 를 말한다.이벤트 스트리밍은 대량의 이벤트(데이터)를 실시간으로 처리하는 방식을 의미한다. 즉, 이 두 내용을 연결 시키면 분산 되어 있는 이벤트(데이터)들을 실시간으로 처리하는 플랫폼이라는 뜻이 된다.위 그림의 왼쪽은 링크드인에서 개발한 카프카가 등장하기전의 아키텍처 모습니다.각 데이터 저장소들이 도착지점까지 모든 시스템을 거치는 End - To - End 연결로 매우 복잡한 것을 볼 수 있다.하지만 카프카가 적용된 오른쪽 그림을 보면 모든 이벤트..

• format_list_bulleted ◼ 오픈소스
• · 2023. 9. 20.
• textsms