Garbage Collection Monitoring

NiFi 모니터링 하면서, TRACE 레벨의 로그도 남지 않고 계속 Heap 메모리가 증가하는 현상이 있어, GC 모니터링을 진행하였다
- 메모리 누수의 문제를 의심하고 시작했지만, 사실상 KafkaConsumer 프로세서의 구현의 버그가 있는 듯 하다.
하이튼, 이번에 NiFi 프로세스의 GC 모니터링을 하면서 사용해본 모니터링 툴(?), 방법에 대해 정리하고자 한다.

gc
- 각 힙(heap) 영역의 현재 크기와 현재 사용량(Eden 영역, Survivor 영역, Old 영역등), 총 GC 수행 횟수, 누적 GC 소요 시간을 보여줌
gccapactiy
- 각 힙 영역의 최소 크기(ms), 최대 크기(mx), 현재 크기, 각 영역별 GC 수행 횟수를 알 수 있는 정보를 보여줌
- 단, 현재 사용량과 누적 GC 소요 시간은 알 수 없음
gcutil
- 각 힙 영역에 대한 사용 정도를 백분율로 보여 준다. 아울러 총 GC 수행 횟수와 누적 GC 시간을 알 수 있음

jstat -gcutil -t -h20 ${PID} 1s

gcutil

YGC
- Young Generation의 GC 이벤트 발생 횟수
YGCT
- Yong Generation의 GC 수행 누적 시간 ( 초 단위)
FGC
- Full GC 이벤트가 발생한 횟수
FGCT
- Full GC 수행 누적 시간 ( 초 단위)
GCT
- 전체 GC 수행 누적 시간 (초 단위)
YGCT / YGC 하면 평균 Young GC 시간을 알 수 있음!
하지만 GC의 수행 시간의 편차가 심할 수 있어 평균보다는 개별 GC 시간을 파악하려면 자바 프로세스 시작할 때 -verbosegc 옵션을 넣어 확인하는 것이 더 유리

자바 어플리케이션의 메모리 맵을 확인할 수 있음

JVM Heap 상태를 확인 할 수 있음
jmap -histo:live ${PID}

클래스별 객체 수와 메모리 사용량 확인

heap dump 생성 후, visualVM으로 확인 가능

JVM 메모리 정보

JVM CPU 프로파일링

JVM을 모니터링하는 GUI툴
Visual GC를 이용하면 jstatd 실행을 통해 GC 정보를 자세히, UI로 확인할 수 있음
자바 프로세서는 외부 서버에 실행중이고, visualVM으로 로컬에서 확인하려고 하면 원격서버에 다음과 같이 설정해야함
rmiregistry / jstatd 데몬 실행켜놓아야함
1. rmiregistry ${PORT} &
2. jstatd -p ${PORT} -J-Djava.security.policy=/home/test/tools.policy &
  - /home/test/tools.policy
    grant codebase "file:${java.home}/../lib/tools.jar" { permission java.security.AllPermission; };
VisualVM에서 서버를 등록하고, 해당 서버의 jstatd Connection 포트를 위에서 설정한 ${PORT}로 변경

jvm