환이의 개발일지

Intro 안녕하세요. 환이s입니다 👋 지난 글에서는 KEDA를 Harbor + ArgoCD 기반으로 구축하고,외부 모듈 연동을 위한 RBAC까지 구성하는 과정을 정리해 봤습니다. 이번 글에서는 그렇게 설치한 KEDA를 실제로 활용해서,이벤트 기반 멀티 트리거 ScaledObject를 설계하는 방법을 정리해보려고 합니다. 실측으로 스케일 값을 계산하고,성경이 다른 두 신호 (양·지연)를 조합하고,스케일업·다운을 비대칭으로 설계하는 이 원칙들은 특정 워크로드에 국한되지 않습니다. 다만 개념만 나열하면 와닿지 않으니,이번 편에서는 Airflow의 Celery Worker를 스케일 대상 예시로 삼아설계 과정을 처음부터 끝까지 따라갑니다. 지금까지 구축한 파이프라인은 Airflow가 DAG를 돌리고그 안에서 ..

Intro 안녕하세요. 환이s입니다 👋 지난 글에서는 데이터 레이크하우스 플랫폼을 GitOps 방식으로 관리하기 위해ArgoCD를 Kubernetes 위에 구축하고 App of Apps 패턴으로 전체 스택을 운영하는 과정을 정리해 봤습니다. 이번 글에서는 그 위에 얹을 오토스케일링 스택, KEDA(Kubernetes Event-driven Autoscaling) 를 Harbor 레지스트리와 ArgoCD 기반으로 구축하는 과정을 정리해보려고 합니다. 단순히 CPU/Memory 기반으로 동작하는 HPA와 달리,KEDA는 Redis 큐 길이나 Prometheus 메트릭 같은 실제 이벤트를 기준으로 Pod를 0~N개까지 스케일 할 수 있습니다. Airflow처럼 "작업이 몰릴 때만 Worker가 필요한..

시작하기 전에 그날은 읽던 책을 다 끝내서새 책을 한 권 사러 교보문고에 갔다. 목적이 있는 걸음이었다.사려던 책은 따로 있었고,그 앞으로 곧장 가던 길이었다. 그런데 매대를 지나치다제목 하나가 눈에 걸렸다. 『생각이 너무 많은 어른들을 위한 심리학』 생각이 너무 많은 어른. 그 한 줄이괜히 발이 멈췄다. 그 자리에 선 채로몇 장을 넘겨봤다. 몇 문장 읽지 않았는데이상하게 계속 읽고 싶어져서, 원래 사려던 책과 함께이 책도 집어 들고 나왔다.생각이 많은 게 나쁜 거냐고? 집에 돌아와의자에 앉아 책을 펼쳤다. 읽다 보니문득 스무 살의 내가 스쳐 지나갔다. 고향을 떠나낯선 도시에서 혼자 살기 시작했던 그때. 전공은 진작에 접어두고해보고 싶은 건 다 해봐야 직성이 풀렸다. 이것도 궁금하고저것도 해보고 싶어..

Intro 안녕하세요. 환이s입니다 👋 지난 글에서는 데이터 레이크하우스 플랫폼의 여덟 번째 스택으로 ArgoCD를 Kubernetes 위에 구축하고 Harbor private registry와 연동하는 과정을 정리해 봤습니다. 이번 글에서는ArgoCD의 App of Apps 패턴을 활용해서Kafka, Airflow, Spark 등 플랫폼 전체 스택을 GitOps로 관리하는 방법을 정리해보려고 합니다. ArgoCD를 설치했다고 해서 GitOps가 완성된 것은 아닙니다.어떤 패턴으로 앱을 관리할지 설계하는 것이 핵심입니다. 이번 글에서는App of Apps 패턴의 개념과 왜 사용하는지Git 저장소의 디렉토리 구조 설계 방법Root Application 설정 방법실제 앱 추가/삭제 워크플로우Web UI에..

Intro 안녕하세요. 환이s입니다 👋 지난 글에서는 데이터 레이크하우스 플랫폼의 일곱 번째 스택으로 Superset을 Kubernetes 위에 구축하고Trino와 연동해서 Delta Lake 데이터를 시각화하는 과정을 정리해 봤습니다. 이번 글에서는 여덟 번째 스택,ArgoCD를 Kubernetes 환경에 구축하고플랫폼 전체를 GitOps 방식으로 관리하기 위한 기반을 구성하는 과정을 정리해보려고 합니다. 지금까지 Kafka → Spark → Delta Lake → Trino → Superset 까지 구축했다면,이제 이 모든 스택을 코드로 관리하고 자동으로 배포하는 도구가 필요합니다. 그 역할을 담당하는 것이 바로 ArgoCD입니다. 이번 글에서는Harbor private registry에서 이미..

Intro 안녕하세요. 환이s입니다 👋 지난 글에서는 데이터 레이크하우스 플랫폼의여섯 번째 스택으로 Prometheus + Grafana를 Kubernetes 위에 구축하고클러스터 모니터링 환경을 구성하는 과정을 정리해 봤습니다. 이번 글에서는 일곱 번째 스택,Superset을 Kubernetes 환경에 구축하고Trino와 연동해서 Delta Lake 데이터를 시각화하는 과정을 정리해보려고 합니다. 지금까지 구축한 파이프라인에서Kafka → Spark → Delta Lake → Trino까지 데이터가 흘러왔다면,이제 이 데이터를 비즈니스 관점으로 시각화할 도구가 필요합니다. 그 역할을 담당하는 것이 바로 Superset입니다. 이번 글에서는Trino 드라이버가 포함된 커스텀 이미지를 빌드하고 Harb..

Intro 안녕하세요. 환이s입니다 👋 지난 글에서는 데이터 레이크하우스 플랫폼의 다섯 번째 스택으로 Airflow를 Kubernetes 위에 구축하고 Spark Job을 스케줄링하는 전체 파이프라인을 정리해 봤습니다. 이번 글에서는 여섯 번째 스택, Prometheus + Grafana를 Kubernetes 환경에 구축하는 과정을 정리해보려고 합니다. 지금까지 구축한 Kafka, Spark, Ceph, Trino, Airflow가 실제로 잘 동작하고 있는지 한눈에 확인하려면 모니터링 환경이 필요합니다. 그 역할을 담당하는 것이 Prometheus와 Grafana입니다. 이번 글에서는kube-prometheus-stack으로 Prometheus + Grafana + Alertmanager + Node..

Intro 안녕하세요. 환이s입니다 👋 지난 글에서는 데이터 레이크하우스 플랫폼의 네 번째 스택으로 Trino + Hive Metastore + PostgreSQL 3계층 구조로 Delta Lake SQL 조회 환경을 구축하는 과정을 정리해 봤습니다. 이번 글에서는 다섯 번째 스택, Airflow를 Kubernetes 환경에 구축하는 과정을 정리해보려고 합니다. Spark Streaming으로 처리된 데이터는 Delta Lake 포맷으로 Ceph S3에 쌓이게 됩니다. 이 흐름을 주기적으로 실행하고 스케줄링하려면 워크플로우 오케스트레이터가 필요한데, 그 역할을 담당하는 것이 바로 Airflow입니다. 이번 글에서는Helm으로 Airflow를 Kubernetes 위에 설치하는 방법CeleryExecut..

시작하기 전에 마음이 단단한 사람을 보면가끔 궁금해진다. 저 사람은 어떻게 저렇게쉽게 흔들리지 않을 수 있을까. 누군가의 말 한마디에도,뜻대로 풀리지 않는 하루에도,크게 무너지지 않고자기 자리를 지키는 사람. 나도 그런 사람이 되고 싶었다. 감정에 쉽게 끌려다니지 않고,남의 시선보다 내 기준으로 살아가는 사람. 그 마음 하나를 붙들고이 책을 펼쳤다. 웨인 다이어의 『행복한 이기주의자』는 그렇게 시작된 독서였다.이기주의자라는 말이 불편하지 않았냐고? 처음 제목을 봤을 때 솔직히 조금 낯설었다. 이기주의자. 우리는 그 단어를 대개 부정적으로 배운다.자기만 아는 사람,타인을 배려하지 않는 사람. 그런데 이 책에서 말하는 이기주의는그런 이기주의가 아니었다. 자신을 먼저 온전히 아끼고,자신의 감정을 솔직하게 인..

Intro 안녕하세요. 환이s입니다 👋 지난 글에서는 데이터 레이크하우스 플랫폼의 세 번째 스택으로 Strimzi Operator 기반의 Kafka 클러스터를 Kubernetes 위에 구축하는 과정을 정리해 봤습니다. 이번 글에서는 네 번째 스택, Trino를 Kubernetes 환경에 구축하는 과정을 정리해보려고 합니다. Kafka에서 수집되어 Spark Streaming으로 처리된 데이터는 Delta Lake 포맷으로 Ceph S3에 쌓이게 됩니다. 이 데이터를 SQL로 조회하려면 쿼리 엔진이 필요한데, 그 역할을 담당하는 것이 바로 Trino입니다. Trino를 Kubernetes 위에서 운영하다 보면 단순히 쿼리 엔진 하나를 띄우는 것에서 끝나는 게 아니라,Hive Metastore가 Del..