0. 들어가면서지난 9월 9일, AWS Big Data Blog에 Glue 6.0에서 Spark Declarative Pipelines(SDP) 를 쓰는 방법이 올라왔습니다. 처음 제목만 봤을 때는 "또 하나의 편의 기능인가" 싶었는데, 읽다 보니 생각이 좀 달라지더라고요. 제가 요즘 온프렘 HDFS/Hive 환경을 AWS로 옮기는 작업을 하고 있는데, 그 과정에서 계속 마음에 걸리던 지점이 하나 있었습니다. 비즈니스 로직보다 배선 코드가 길어지는 순간이요. 이 기능이 정확히 그 지점을 겨냥하고 있었습니다.다만 이 기능을 두고 "이제 Airflow 필요 없는 거 아니냐"는 이야기가 나오기 쉬운데, 결론부터 말씀드리면 그건 아닙니다. 대체가 아니라 경계 이동에 가깝습니다. 그 경계가 정확히 어디인지까지 같..

0. 들어가며DE to MLOps 시리즈 6일차입니다. 지난 며칠간 에이전틱 코딩(2일차), AI-Native 개발(4일차), 다중 에이전트(5일차)까지 기술의 "어떻게"를 파고들었습니다. 오늘은 잠시 시선을 넓혀, 시장의 "얼마나"를 데이터로 들여다보겠습니다. 숫자를 보는 이유는 분명합니다. 커리어와 학습의 방향을 정할 때, 시장이 실제로 돈을 어디에 쓰고 있는지는 가장 냉정한 나침반이기 때문입니다. 다만 시장 통계는 인용을 잘못하면 오히려 오해를 부르기 쉬운데, 에이전틱 AI가 특히 그렇습니다. 왜 그런지부터 짚어보겠습니다. 1. 같은 "에이전틱 AI"인데 왜 숫자가 25배 차이날까 도식화에이전틱 AI 시장 자료를 찾다 보면 혼란스러운 상황을 만납니다. 어떤 자료는 "약 90억 달러"라고 하고, 어떤..

0. 들어가며DE to MLOps 시리즈 5일차입니다. 어제 4일차에서는 AI-Native Development를 다루면서 "여러 에이전트를 협업시킨다"는 표현을 잠깐 스쳐 지나갔습니다. 오늘은 그 부분을 본격적으로 파보겠습니다. 바로 다중 에이전트 시스템(Multi-Agent System, 이하 MAS)입니다.사실 2일차에서 소개한 Claude Code 같은 CLI 에이전트도 내부적으로는 사용자 요청을 여러 하위 작업으로 쪼개어 워커 에이전트에게 위임하는 구조를 쓰고 있습니다. 즉 우리가 이미 쓰고 있는 도구의 속을 들여다보는 셈이기도 합니다. 오늘은 이 MAS가 왜 부상했는지, 어떤 기본 패턴들이 있는지, 그리고 실무에서 무엇을 조심해야 하는지를 정리해보겠습니다. 1. 왜 단일 에이전트를 넘어서게 되..

0. 들어가면서몇 주 전 Iceberg 테이블에 MERGE를 하다 동시 쓰기 충돌을 만났습니다. "Found conflicting files that can contain records matching true". 검색하면 자료가 나오는 에러였고, 파티션 스펙에 구분 컬럼을 추가하고 MERGE 조건에 상수 술어를 넣어 충돌 감지 범위를 좁혔습니다. 조치는 유효했고, 3주 동안 같은 에러가 한 번도 나오지 않았습니다. 그러다가 아래의 에러 메세지를 마주하게 됩니다.Runtime file filtering is not possible: the table has been concurrently modified.Row-level operation scan snapshot ID: 431882613635636801..

0. 들어가며DE to MLOps 시리즈 4일차입니다. 어제 3일차 실습에서는 CLI 에이전트에게 "무엇을 만들지"만 지시하고 "어떻게 만들지"는 비운 채 파이프라인을 맡겨보았습니다. 그리고 그게 놀랍도록 잘 굴러갔습니다.오늘은 그 경험의 정체를 짚어보려 합니다. 바로 AI-Native Development(AI 네이티브 개발), 더 정확히는 그 핵심 메커니즘인 의도 기반 개발(Intent-Driven Development)입니다. 2026년 소프트웨어 엔지니어링의 판을 바꾸고 있는 이 패러다임이 무엇인지, 그리고 왜 데이터 엔지니어에게도 중요한지 정리해보겠습니다. 1. AI-Native란 "AI를 붙인 것"이 아니다가장 먼저 오해부터 걷어내야 합니다. 많은 분들이 "AI-Native = 제품에 AI 기..

0. 들어가며DE to MLOps 시리즈 3일차입니다. 오늘은 지난 2일차에서 에이전틱 코딩의 이론(제안에서 위임으로, plan-build-test-ship 루프)을 다뤘던 것을 예제로 만들어보았고, 이를 실습해보는 내용으로 채울 예정입니다. 실습에 앞서 먼저 환경 구성을 해봐야 할 텐데, 예제의 실행환경 및 사용 프로그램들은 다음과 같습니다.[실습환경]- Apple Silicon Mac(M2 Max)- Claude Code- Docker Desktop이번 예제는 도커를 이용해 Spark 클러스터를 구성하고, 로그 집계 데이터 파이프라인을 생성하는 것이 목표입니다. 단, 모든 환경 세팅부터 코드·테스트까지 전부 CLI 에이전트에게 위임하는 것이 포인트입니다. 미리 공부해서 준비하지 않고, 막히면 어떤 부..

0. 들어가며DE to MLOps 시리즈 2일차입니다. 어제는 2026년 IT 트렌드 10선을 훑으며 큰 지도를 그렸습니다. 오늘은 그중 개발자 실무에 가장 직접적으로 꽂히는 키워드, Agentic Coding(에이전틱 코딩)을 깊게 파봅니다.지난 1~2년 사이 개발 도구에 대한 대화의 주제가 완전히 바뀌었습니다. 예전엔 "Copilot이냐 Cursor냐"를 두고 다퉜다면, 2026년 초에 오면서 각 도구가 자율성·모델 유연성·가격·아키텍처에서 서로 다른 트레이드오프를 갖는 다변화된 생태계로 성숙했습니다. 이제 질문은 "어떤 자동완성이 낫냐"가 아니라 "작업을 얼마나 맡길 수 있냐"로 옮겨갔습니다. 1. 자동완성과 에이전트는 무엇이 다른가가장 먼저 짚어야 할 개념 차이입니다. 많은 분들이 "AI 코딩 =..

0. 들어가면서최근 Glue 파이프라인을 이용하다가 애를 먹은 경험이 있어서, 같은 실수를 반복하지 않겠다는 의지와 저와 같은 경험(?)을 오래하지 않기를 바라는 마음으로 글을 써봅니다. 혹시 여러분은 AWS Glue 잡을 돌리다가 이런 에러를 만난 적 있으신가요?AccessDeniedException: Insufficient Lake Formation permission(s) on 물론 위의 에러만 보고서 "내가 권한을 안줬나?" 싶어, IAM 정책에서 확인해보면 glue:GetTable도 s3:GetObject도 다 붙어 있습니다. 콘솔에서 그 테이블이 보이기까지 합니다. 그런데도 잡은 계속 죽습니다. 저는 온프렘 HDFS/Hive 환경을 AWS로 옮기는 마이그레이션 프로젝트를 이끌면서 이 에러와 꽤..