0. 들어가며지난 세 편에서 CNN, RNN, LSTM을 정리해봤는데요. 다시 보면 셋 다 공통점이 하나 있습니다. 정답 레이블이 있어야 학습이 됐다는 거죠. 이미지에는 "고양이"라는 label이, 문장에는 "긍정"이라는 label이 붙어 있어야 했잖아요. 그런데 현실에서 일하다 보면 이게 제일 아쉬운 지점이더라고요. 데이터는 쌓여 있는데 레이블이 거의 없거나, 붙이려면 사람 손이 한참 들어가야 하는 경우가 훨씬 많으니까요. 로그도 그렇고 거래 기록도 그렇습니다.그래서 이번에 다룰 오토인코더(AutoEncoder)는 질문 자체가 좀 다릅니다. "정답이 없어도 데이터 자체에서 뭔가 배울 수 있을까?" 아이디어는 의외로 단순한데요, 입력을 좁은 통로로 압축했다가 다시 원래대로 복원하게 시키는 겁니다. 잘 복..

0. 들어가며DE to MLOps 시리즈 8일차이자, Week 2의 첫 글입니다. 지난 한 주는 에이전트와 개발 방식이 어떻게 바뀌고 있는지에 초점을 뒀는데요, 이번 주부터는 제 주 무대인 데이터 엔지니어링 쪽으로 이야기를 가져와 보려고 합니다.첫 주제로 고른 건 조금 도발적인 문장입니다. "2026년 데이터 엔지니어링은 AI의 백본(backbone)이 되었다." 사실 저도 이 표현을 처음 봤을 때는 그냥 흔한 마케팅 문구인가 싶었습니다. 그런데 요즘 온프렘 환경을 클라우드로 옮기는 작업을 하고, 팀에서 AI 관련 요구가 하나둘 들어오는 걸 겪다 보니, 이 말이 생각보다 진짜였구나 하는 걸 체감하게 되더라고요. 오늘은 왜 이 말이 빈말이 아닌지, 그리고 그게 우리 데이터 엔지니어의 일을 어떻게 바꾸고 있..

0. 들어가며DE to MLOps 시리즈 7일차입니다. 오늘은 새로운 주제 대신, 지난 6일을 돌아보는 회고 시간을 가지려 합니다. 매일 글을 쓰다 보면 나무 하나하나에 몰입하게 되는데, 일주일에 한 번쯤은 숲 전체를 보는 게 필요하다고 생각합니다. 이번 주에 다룬 여섯 편이 사실 하나의 이야기였다는 걸, 저 자신도 이 회고를 쓰며 다시 확인했습니다. 1. 이번 주 전체 지도 도식화먼저 Week 1의 여섯 편이 어떻게 연결되는지 한 장으로 정리했습니다. 돌아보면 이번 주의 흐름은 세 단계였습니다. 트렌드로 큰 지도를 그리고(1일차), 개발 방식의 전환을 파고들고(2~5일차), 마지막에 시장의 현실로 착지했습니다(6일차). 1일차에서는 2026년 IT 트렌드 10선으로 "하이프에서 실증으로"라는 큰 흐름과..

0. 들어가며지난 글 RNN에서는 순환 신경망의 구조와 한계를 살펴봤습니다. 마지막 실험에서 확인했듯, RNN은 시퀀스가 길어지면 맨 앞의 정보를 끝까지 들고 가지 못했습니다. 원인은 두 가지였습니다.기울기 소실: BPTT 과정에서 같은 행렬이 반복해 곱해지며 먼 과거로 가는 기울기가 사라집니다.기억 통로의 취약함: 은닉 상태가 매 시점 tanh를 통과하며 이전 정보가 계속 덮어써집니다.그래서 지난 글 마지막에 이런 질문을 남겨뒀습니다. 무엇을 기억하고, 무엇을 잊고, 무엇을 내보낼지 모델이 스스로 조절하게 하면 어떨까요?이번 글에서 다룰 LSTM(Long Short-Term Memory)이 정확히 그 답입니다. Hochreiter와 Schmidhuber가 1997년에 제안한 구조로, 이름 그대로 "긴 ..

0. 들어가며지난 글에서는 이미지를 다루는 CNN을 살펴봤습니다. CNN은 "가까운 픽셀끼리 관련이 있다"는 공간적 가정을 구조에 담아 이미지에서 큰 성공을 거뒀습니다. 그런데 우리가 다루는 데이터에는 공간이 아니라 순서가 핵심인 것들이 있습니다. 문장, 음성, 로그 스트림, 주가 시계열이 그렇습니다. 지난 글 마지막에 예로 들었던 "나는 밥을 먹었다"와 "밥을 나는 먹었다"처럼, 구성 요소가 같아도 순서가 달라지면 의미가 달라집니다. 데이터 엔지니어링 관점에서 보면 이벤트 로그의 순서가 뒤바뀌면 사용자 행동의 해석이 완전히 달라지는 것과 같습니다.이번 글에서 다룰 RNN(Recurrent Neural Network, 순환 신경망)은 바로 이 "순서"를 다루기 위해 설계된 구조입니다. 순서는 다음과 같이..

0. 들어가며딥러닝 시리즈의 첫 번째 주제로 CNN(Convolutional Neural Network, 합성곱 신경망)을 다뤄보겠습니다.요즘에는 챗GPT, 제미나이, 클로드와 같은 거대언어모델(LLM, Large Language Model)이 딥러닝의 중심에 있지만, 이미지 인식 분야에서 "딥러닝이 진짜 된다"는 사실을 세상에 증명한 것은 CNN이었습니다. 2012년 AlexNet이 이미지 인식 대회(ILSVRC)에서 기존 방식들을 큰 격차로 따돌린 사건이 오늘날 딥러닝 붐의 출발점으로 꼽힙니다. 또한 이 시리즈 후반부에서 다룰 Vision Transformer(ViT), Diffusion 모델의 U-Net도 결국 CNN이 정립한 개념들 위에서 발전했습니다.이번 글에서는 다음 순서로 CNN을 정리해보겠..

0. 들어가면서지난 9월 9일, AWS Big Data Blog에 Glue 6.0에서 Spark Declarative Pipelines(SDP) 를 쓰는 방법이 올라왔습니다. 처음 제목만 봤을 때는 "또 하나의 편의 기능인가" 싶었는데, 읽다 보니 생각이 좀 달라지더라고요. 제가 요즘 온프렘 HDFS/Hive 환경을 AWS로 옮기는 작업을 하고 있는데, 그 과정에서 계속 마음에 걸리던 지점이 하나 있었습니다. 비즈니스 로직보다 배선 코드가 길어지는 순간이요. 이 기능이 정확히 그 지점을 겨냥하고 있었습니다.다만 이 기능을 두고 "이제 Airflow 필요 없는 거 아니냐"는 이야기가 나오기 쉬운데, 결론부터 말씀드리면 그건 아닙니다. 대체가 아니라 경계 이동에 가깝습니다. 그 경계가 정확히 어디인지까지 같..

0. 들어가며DE to MLOps 시리즈 6일차입니다. 지난 며칠간 에이전틱 코딩(2일차), AI-Native 개발(4일차), 다중 에이전트(5일차)까지 기술의 "어떻게"를 파고들었습니다. 오늘은 잠시 시선을 넓혀, 시장의 "얼마나"를 데이터로 들여다보겠습니다. 숫자를 보는 이유는 분명합니다. 커리어와 학습의 방향을 정할 때, 시장이 실제로 돈을 어디에 쓰고 있는지는 가장 냉정한 나침반이기 때문입니다. 다만 시장 통계는 인용을 잘못하면 오히려 오해를 부르기 쉬운데, 에이전틱 AI가 특히 그렇습니다. 왜 그런지부터 짚어보겠습니다. 1. 같은 "에이전틱 AI"인데 왜 숫자가 25배 차이날까 도식화에이전틱 AI 시장 자료를 찾다 보면 혼란스러운 상황을 만납니다. 어떤 자료는 "약 90억 달러"라고 하고, 어떤..