https://backpressured.dev/Recent content on BackpressuredHugokoThu, 11 Jun 2026 00:00:00 +0000https://backpressured.dev/posts/cdc-small-file-hidden-cost/Thu, 11 Jun 2026 00:00:00 +0000https://backpressured.dev/posts/cdc-small-file-hidden-cost/Athena 비용은 스캔량이 전부가 아닙니다. CDC 파이프라인이 만든 수백만 개의 Small File이 S3 Request 비용과 쿼리 성능을 어떻게 잠식하는지, 그리고 어떻게 해결했는지를 공유합니다.https://backpressured.dev/about/Mon, 01 Jan 0001 00:00:00 +0000https://backpressured.dev/about/<p>안녕하세요, 장재혁입니다.</p> <p>인도 핀테크 회사에서 데이터 플랫폼을 만들고 운영하고 있습니다. Spark, Flink, Debezium, Airflow, Iceberg 같은 것들을 주로 다루고, 요즘은 데이터 스택 모던화와 AI-ready 데이터 플랫폼 설계에 관심이 많습니다.</p> <p>운영하면서 배운 것들을 틈틈이 기록해보려 합니다.</p> <h2 id="tech-stack">Tech Stack</h2> <ul> <li><strong>Processing:</strong> Spark, Flink, dbt</li> <li><strong>Streaming &amp; CDC:</strong> Debezium, Kafka, Kinesis, NiFi</li> <li><strong>Storage &amp; DW:</strong> S3, Athena, Iceberg, DynamoDB</li> <li><strong>Orchestration:</strong> Airflow</li> <li><strong>DevOps &amp; Infra:</strong> Docker, Jenkins, SAM, CloudFormation, Lake Formation</li> <li><strong>Monitoring:</strong> Prometheus, Grafana, CloudWatch, Kibana</li> <li><strong>Cloud:</strong> AWS</li> <li><strong>Languages:</strong> Python, SQL</li> </ul> <h2 id="writing">Writing</h2> <ul> <li><a href="https://blog.afinit.com/cdc-incremental-replication">CDC가 데이터 플랫폼을 바꾸는 방식: CDC-based Incremental Replication</a></li> <li><a href="https://blog.afinit.com/cdc-pipeline-debezium-flink">CDC 파이프라인을 Debezium과 Flink로 재설계한 이유</a></li> <li><a href="https://blog.afinit.com/nifi-apache-flink-sms-pipeline">NiFi에서 Apache Flink로, 실시간 SMS 파이프라인 개선기</a></li> </ul> <h2 id="contact">Contact</h2> <ul> <li><a href="https://linkedin.com/in/jaehyuk-jang-bab185178">LinkedIn</a></li> <li><a href="https://github.com/jaehyukjang">GitHub</a></li> <li>Email: <a href="mailto:jjhyuk92@gmail.com">jjhyuk92@gmail.com</a></li> </ul>