한국에서 첫 번째 Apache Airflow 커미터가 되었습니다.

https://lists.apache.org/thread/r26yrozgnqny2dt82ptx05bxrdjoq3hp

Airflow와의 만남

딱히 운명을 믿는 편은 아니지만, Apache Airflow와의 인연은 꽤 우연에서 시작되었습니다.

2022년, SK Telecom에서 운영하는 DEVOCEAN YOUNG에서 미션으로 듣게 된
DEVOCEAN 테크 세미나에서 처음 Apache Airflow라는 이름을 접했습니다.

첫인상은 솔직히 말해서 “이게 뭐지?”였습니다.

잘 이해되지는 않았지만 미션이었기에 힘들게 정리했던 기억이 납니다.
이때의 Airflow는 제게 그저 ‘한 번 들어본 키워드’ 정도였습니다.

두 번째 만남은 우분투 한국 커뮤니티의 옛 영상을 보다가 우연히 접한
2018년 서울 세미나에서 준현님께서 Apache Airflow를 소개하시는 발표였습니다.

하지만 이때까지도 Airflow에 대한 제 인식은 여전히 이 정도였습니다.

“그래 뭐라도 하겠지, 유명한 도군데” 딱 이정도 였습니다.

그러다 결정적인 계기는 부산에서 준원님, 상곤님과 커피를 마시던 자리에서 생겼습니다.
상곤님께서 이런 말을 하셨습니다.

Apache Airflow는 이미 와 있는 미래다.

저보다 훨씬 잘하는 분들이 세 분이나 같은 이야기를 한다면,
“한 번쯤은 제대로 봐도 되지 않을까?”라는 생각이 들었습니다.

그렇게 2023년부터 Apache Airflow를 본격적으로 사용해보기 시작했습니다.

Airflow를 쓰며 생기는 궁금증

cron으로 돌리던 작업에서 Airflow를 쓰다보면 확실히 좋긴 좋은데…
혼자서 Airflow를 쓰다 보면 자연스럽게 이런 생각이 듭니다.

이거… 내가 잘 쓰고 있는 게 맞나?

다른 사람들은 어떻게 쓰는지 궁금해지고,
dataset 기반 event-driven 패턴을 알게 되었을 때는 기존에 제가 쓰던 방식이 이렇게 느껴지기도 했습니다.

내가 질문하려고 만든 커뮤니티

자연스럽게 사례를 공유하고, 질문하고, 토론할 수 있는 공간이 필요하다고 느꼈습니다.

고인물의 공익을 위해 만든 멋진 결정이었다면 좋겠지만,
뉴비었던 제가 질문할 곳이 필요해서 만든 커뮤니티에 가까웠던 것 같아요.
간지가 안 나네요ㅋㅋㅋㅋ

초기에는 아무 권한도 없어서 누구한테 허락받아야하는지 메일이나 DM을 여기저기 난사했던 기억이 납니다.
(지금 생각하면 꽤 아찔합니다 ㅎㅎ)

그걸 계기로 Kaxil님께서 Airflow Slack에 user-korea 채널을 만들어주시고,
Astronomer와 연결시켜 주셔서 굿즈 지원도 받게 되었습니다.
지금은 해프닝이 되었네요.

그렇게 2023년 말, Apache Airflow 한국 사용자 모임을 만들게 되었습니다.

(저 때문인지 모르겠지만 이런 문구가 웹사이트에 추가가 되었습니다.)

이렇게 제가 질문하려고 만든 커뮤니티였는데, 초기 슬랙만 있던 시절에는 질문만 올라오고 답은 없는 상황이 이어졌습니다.

그래서 오히려 제가 질문들에 대답하기 위해 공부하느라 꽤나 버거웠던 기억이 납니다.
대신 그 과정에서 스스로 많이 성장했던 것 같습니다.
혼자 쓰는데 vm을 여러 개 만들어서 RBAC권한 실험을 해봤던 기억도 나네요.

커뮤니티 운영, 또 다른 전환점

2024년에는 Snowflake의 Soo님께서 Snowflake World Tour Seoul 커뮤니티 부스 제안해주셨습니다.

커뮤니티에겐 큰 기회였지만, 당시 개인적으로도 여유가 거의 없는 상태였기에 혼자서는 도저히 감당하기 어렵다고 판단했고
급하게 운영진을 모집하게 되었습니다.

천운으로 이 때 정말 좋은 분들이 많이 합류해 주셨습니다.
특히 “Airflow에 코드로 기여해보고 싶다”고 말씀하시는 분들이 많았습니다.
지금은 다들 Airflow에 실제로 PR을 머지하며 목표를 이루셨네요.

반면 저는 당시에는 ‘일단 잘 쓰는 게 먼저지’라는 생각이 강해서 부끄럽지만 코드 기여에는 큰 관심이 없었습니다ㅋㅋㅋㅋ

코드 기여의 시작

2024년 말, 운영진 송년회 자리에서 건우님께서 갑자기 “2025년에는 코드 기여 활동을 해보자”고 제안해주셨습니다.

실행력이 좋은 건우님께서 직접 기여 모임을 만들어주시고 운영해주셨습니다.
저는 살짝 오케이맨이라 그 흐름에 자연스럽게 휩쓸려 참여하게 되었습니다.

초반엔 솔직히 많이 힘들었습니다.
먼저 가본 사람이 없다보니 엄한 곳에서 삽질을 많이 했었던 것 같아요.

Apache Airflow에는 약 3,600명에 달하는 기여자가 있습니다.
덕분에 이슈가 생기면 비교적 빠르게 해결된다는 큰 장점을 가진 오픈소스 프로젝트이기도 합니다.

하지만 동시에, 이슈가 올라오기를 기다렸다가 해결하는 방식으로는
원하는 이슈를 할당받기 어렵다는 뜻이기도 합니다.

실제로 하염없이 기다리다 이슈를 한 명도 할당받지 못한 채,
그냥 모여서 텐동만 먹고 헤어진 날도 있었습니다.

이 경험이 저에겐 꽤 무력하게 다가왔고, 솔직히 자존심이 많이 상했습니다.
그래서 전략을 바꾸게 되었습니다.

이슈를 따라가지 말고,
Airflow의 방향을 먼저 이해하자.

AIP를 통해 프로젝트의 청사진을 살펴보고,
메일링 리스트의 논의를 읽고,
여러 PR을 보며 “이 다음엔 뭐가 필요할까?”를 고민하기 시작했습니다.

그러다 보니, 아래와 같이 사고할 수 있게 되었습니다.

“Airflow 3에는 이런 게 필요하겠다.”
“지금 구조에서는 이런 문제가 생길 수 있겠다.”

자연스럽게 제가 기여해볼 수 있는 것들이 보이기 시작했습니다.

그 이후로는 이슈를 배정받는 경우도 늘었고,
스스로 이슈를 정의하고 해결하는 경험을 쌓을 수 있었습니다.

리뷰어로의 참여

PR을 보다 보면 이렇게 큰 프로젝트가 사실상 소수의 핵심 인원들의 헌신으로 유지되고 있다는 사실을 실감하게 됩니다.

그래서 이동 시간이나 자투리 시간에 리뷰에도 조금씩 참여하기 시작했습니다.
저의 목표는 명확했습니다. 리뷰어들의 시간을 아껴드리는 것.
핵심 관리자분들의 시간을 아껴드리면 Airflow가 얼마나 더 빠르게 발전할지 기대되었거든요.

그래서 먼저 airflow-site부터 손이 갔습니다.
구조가 생각보다 복잡하고 AI 노이즈가 많아서 꾸준한 관리가 필요했기 때문입니다.
직접적인 기여가 아니라 눈에 띄지 않을 수 있지만, 핵심 관리자의 시간을 아껴준다는 점에서 충분히 의미 있는 기여라고 생각해서 지금도 꾸준히 관리에 참여하고 있습니다.

물론 Airflow 코어 부분에서도 제가 아는 영역(webserver, testing, bundle, breeze 등)에서도 PR이 올라오면 최대한 리뷰하고 있습니다.

코드가 아닌 기여

아마 제가 커미터로 선정된 이유는 이 코드 외적인 기여도 적지 않은 비중을 차지했을 거라고 생각합니다.

Apache 재단에서는 흔히 “Community over code”라는 이야기를 합니다.
물론 프로젝트에 직접 쓰기 권한이 있다보니 어느정도 오너쉽이 있는 부분이 있는게 중요하긴 하지만
Apache 프로젝트에서 기여는 단순히 코드를 작성하는 것에만 국한되지 않습니다.

문서를 정리하고, 질문에 답하고, 발표를 하고,
사용자 커뮤니티를 만들고 유지하는 것 역시 모두 프로젝트를 지속 가능하게 만드는 기여로 여겨집니다.

코드 기여 측면에서는 저보다 훨씬 많은 기여를 하신 분들도 계시고,
그럼에도 아직 커미터가 아니신 분들도 많습니다.

아마도 Airflow 한국 사용자 모임을 만들고, 밋업과 워크샵을 진행하며,
한국 사용자들의 사용 사례와 질문을 모았던 시도들이 긍정적으로 평가되지 않았을까 조심스럽게 생각해봅니다.

물론 이 모든 것은 저 혼자가 아니라 운영진 분들과 함께 만든 결과입니다.

커미터가 된 후

이미 어느정도 하다보니 딱히 달라지는 것은 없는 것 같습니다. 기분이 좋다 정도…?

아이러니하게도 알면 알수록 모르는 게 많아집니다.

아직도 ‘잘 쓰는 것’이 무엇인지 명확하지 않고,
제 상황과 제 지식 안에서 최선을 다하고 있을 뿐이라는 느낌이 큽니다.
코드베이스 역시 제가 모르는 부분이 훨씬 많습니다.

그럼에도 분명한 건, 알수록 더 재밌어진다는 점입니다.

Apache Airflow는 2015년부터 이어져 온 오래된 프로젝트입니다.
모든 코드와 모든 선택에는 배경과 이유가 있고,
그 맥락을 이해하며 미래를 함께 그려볼 수 있다는 점이 점점 더 흥미롭게 느껴집니다.

마무리하며

돌아보면 운이 많이 따랐습니다.
하지만 그 운은 완전히 우연만은 아니었다고 생각합니다.
(물론 굴러들어온 운도 꽤 있긴 합니다.)

커뮤니티 활동은 다양한 기회의 표면적을 즐겁게 넓혀주는 일이라고 생각합니다.
그리고 그 안에서 더 깊이 관여할수록, 그 표면적은 과장 조금 보태면 배로 늘어나는 것 같습니다.

꼭 저희 커뮤니티가 아니더라도 커뮤니티에 참여해본 적이 없다면, 잘 몰라도 일단 출석부터 시작해보시길 권해드립니다.

그 출석이, 저의 경우처럼 생각보다 먼 곳까지 데려다 줄지도 모릅니다.

PS: 만약 Airflow 프로젝트 기여에 관심이 있는 분이 있으시다면 편하게 Airflow 한국 사용자 모임에서 저를 찾아주세요.
최대한 도움을 드리도록 하겠습니다.

홈페이지: https://www.airflow-kr.org/
포럼: https://discourse.airflow-kr.org/
오픈카톡: https://open.kakao.com/o/gM4hR8Pg