안녕하세요, 장재혁입니다.

인도 핀테크 회사에서 데이터 플랫폼을 만들고 운영하고 있습니다. Spark, Flink, Debezium, Airflow, Iceberg 같은 것들을 주로 다루고, 요즘은 데이터 스택 모던화와 AI-ready 데이터 플랫폼 설계에 관심이 많습니다.

운영하면서 배운 것들을 틈틈이 기록해보려 합니다.

Tech Stack

  • Processing: Spark, Flink, dbt
  • Streaming & CDC: Debezium, Kafka, Kinesis, NiFi
  • Storage & DW: S3, Athena, Iceberg, DynamoDB
  • Orchestration: Airflow
  • DevOps & Infra: Docker, Jenkins, SAM, CloudFormation, Lake Formation
  • Monitoring: Prometheus, Grafana, CloudWatch, Kibana
  • Cloud: AWS
  • Languages: Python, SQL

Writing

Contact