[NestJS] 추적 가능한 로깅 시스템 구축하기 (+ 메트릭)

기존 로깅 시스템의 문제점운영 중인 스크래핑 워커에서 하루 수만 개 이벤트가 발생한다.그런데 장애가 났을 때 로그를 열어보면 “많이 찍혀 있지만” 특정 스크래퍼가 왜 잘못되었는지가 빠르게 좁혀지지 않았다.특히, 런타임 에러 발생 시 Sentry로 에러 스택 트레이스를 보고 "무엇이 잘못됐는가?"는 파악할 순 있었지만"왜 잘못됐는지"를 병렬로 처리되는 비동기 컨텍스트를 추적할 수 없어 장애 원인을 파악하기 위한 과정에 시간이 정말 많이 소비됐다. 다른 문제로는 팀원별로 로깅 출력 방식이 다 제각각이라는 것이다.팀 내 컨벤션이 전혀 없었고, 레거시로 쌓인 로그 라이브러리도 3가지나 있다는 것이 문제였다. (레거시인지도 모르는 것이 문제) 따라서 다음과 같은 목표로 기존 로깅 시스템을 개선하고자 하였다.추적 ..

• format_list_bulleted ◼ NestJS
• · 2025. 10. 10.
• textsms

[ELK] ElasticSearch란? ELK란? 내부 구조, 장단점, RDB와 차이

ElasticSearch란? Elasticsearch는 Apache Lucene기반의 Java 오픈 소스 분산 검색 엔진이다. Elasticsearch를 통해 방대한 양의 데이터를 신속하게(거의 실시간) 저장, 검색, 분석을 수행할 수 있다. Elasticsearch는 검색 엔진으로 단독으로 사용되기도 하며, ELK(Elasticsearch / Logstash / Kibana) 스택으로 사용되기도 한다. 이러한 Elasticsaerch는 대규모 로그 파일 관리나 실시간 검색 서비스 등과 같이 대용량 데이터를 빠르게 처리해야 하는 경우 유용하게 사용될 수 있다. 데이터 저장 방법 (RDBMS와 차이점) RDB는 정규화된 스키마에 따라 데이터를 구조화하지만, Elasticsearch는 JSON 문서 형태로 ..

• format_list_bulleted ◼ 오픈소스
• · 2023. 10. 5.
• textsms