데이터 이야기

Ignite(GridGain) Performace and Trobleshooting Guide 링크 Memory and JVM tunning Tune Swappiness Setting 전체 RAM 사용량이 특정 threshold값을 도달하면 OS는 RAM에 있던 Page를 디스크로 swap함 Swap은 클러스터 성능에 영향을 줄 수 있고, GC pause 시간도 늘어날수있음 GC로그상에 ‘low user time, high system time, long GC pause’로그가 남는다면 java heap page를...

Ignite(GridGain) Configurations 최신 버전으로 업그레이드 전, 우리의 목적, 상황에 맞게 최적의 Configuration값을 설정하자. 모든 설정값은 해당 javadoc에서 볼수있음 링크 Understanding Configuration 링크 설정방법 Spring XML Configuration Code IgniteConfiguration DataRegionConfiguration CacheConfiguration Configuring Data Regions -GridGain은 데이터 영역 개념을 사용하여 캐시 또는 캐시 그룹에 사용 가능한 RAM의 양을 제어합니다. 데이터 영역은 캐시...

Ignite Durable Memory Architecture Ignite의 새로운 메모리 아키텍처 ‘Durable memory architecture’ Durable memory architecture와 native persistence는 2.0버전 이후 베포 메모리와 디스크의 데이터는 동일한 Binary representation을 가져 메모리에서 디스크로 이동하는 동안 데이터를 추가로 변환 할 필요가 없음. Ignite의 새로운 메모리 아키텍처는 Page Format으로 Off-heap을 제공 고정 된 크기의 Page로 분할되는 page-based...

Ignite Architecture deep dive Apache Ignite는 Open-source memory-centric distributed database, caching, computing platform 1. Understanding the cluster topology: Shared-nothing acrhitecture Grid Computing Cluster Computing과 비슷하지만, Cluster Computing은 homogeneous resources로 구성되어있지만, grids는 heterogeneous로 구성 grid에 있는 컴퓨터는 다른 OS, hardware에서 돌수있지만, cluster OS,hardware가 같은 것으로 구성 Shared-nothing Architecture Apache Ignite는 여러...

Flink 1.10.0 Taskmanager Memory Concepts & Configuration Flink 1.10.0부터 TaskManager Memory 설정을 fine-grained하게 설정하도록 변경하였고, 이유는 다음과 같음 모든 운영환경에 합리적인 default값을 설정하는 것이 어려움 1.10.x 이하 버전에 사용하던 taskmanager.heap.size or taskmanager.heap.mb 설정은 On-Heap 뿐아니라, Off-Heap의 구성요소를 포함하는 설정값으로 이름의 혼동이 있음 Taskmanager 메모리구조 그래서.. 먼저 Flink TaskManager의 메모리 구조를...