[Kafka] 보관 주기 설정

카프카의 데이터 보관 주기는 기본적으로 7일로 설정되어 있다.

 

보관 주기를 수정하는 방법 2가지가 있으며, 수정할때도 용량단위, 시간단위, 일단위, 초단위로 구체적인 단위로 설정 가능하다. 

 

방법1. server.properties 파일 수정

 

보관주기 옵션 항목

• log.retention.bytes : byte 단위 기준으로 데이터 보관
• log.retention.ms : 초 단위 기준으로 데이터 보관
• log.retention.minutes : 분 단위 기준으로 데이터 보관
• log.retention.hours : 시간 단위 기준으로 데이터 보관, 해당 옵션이 168으로 기본으로 적용되어 있음

server.properties 파일 확인

 

기본값은 168시간 = 7일로 설정되어 있음.

 

옵션 상세 내용

 

방법2. 토픽 레벨에서 옵션으로 적용

토픽별로 보관주기를 변경하고 싶다면 토픽 관련 명령어(ex : bin/kafka-topic.sh 등) 실행시

--config 옵션으로 설정가능하다. 

 

보관주기 옵션 항목 

• retention.bytes : byte 단위 기준으로 데이터 보관
• retention.ms : 초 단위 기준으로 데이터 보관

토픽 생성시 사용 예시

이미 생성된 토픽의 보관주기 변경시 사용 예시

topic으로 변경시에는 운영시에도 broker 다운을 하지 않아도 옵션만으로 변경가능하다.

 

옵션 상세 내용

 

필요에 따라 broker 단위로 보관주기를 설정하거나, 토픽별로 보관주기를 설정할 수 있다.

 

참고사이트

개인 블로그

카프카 공식 레퍼런스