안녕하세요, Andrew입니다. 데이터 엔지니어라면 한 번쯤 이런 상황에 직면해 보셨을 겁니다. "분명 어제까지 잘 돌아가던 파이프라인인데, 오늘은 왜 이렇게 느리지?", "로그를 보니 작업 시간이 평소보다 2~3배는 더 걸렸네?"이럴 때 가장 먼저 떠오르는 해결책은 무엇인가요? 아마 많은 분들이 "클러스터 스펙을 올려야 하나?", "노드 수를 늘려야 하나?" 하고 생각하실 겁니다. 저 역시 그랬으니까요. 하지만 경험상, 돈을 더 쓰기 전에 먼저 확인해야 할 것들이 있습니다. 오늘은 Spark 파이프라인이 느려터졌을 때, 튜닝보다 먼저 봐야 할 구조적인 문제들과 그 해결책에 대해 이야기해 보겠습니다.1. 클러스터를 키우기 전에: 돈보다 먼저 봐야 할 것들작업 시간이 길어지는 현상을 발견했을 때, 클러스터..
