안녕하세요. 에디터 찬비입니다. 

 👉 1편: '딸깍' 데이터 주세요!가 전부는 아닙니다

 👉 2편: 그렇다면 분석은 어렵습니다

연초부터 데이터 분석가의 일의일기를 세 편째 연재하고 있는데요, 오늘은 그 마지막 편으로, 예고했던 것처럼 AI 시대, 데이터 분석가의 미래를 이야기해보겠습니다.

최근 들어 AI가 빠르게 변하면서 이걸 제가 쓸 자격이 있을지에 대한 고민에 실제로 글을 쓰기 시작하기까지 시간이 좀 걸렸습니다. 그래도 저의 고민을 풀어두면 구독자 여러분도 하나씩 풀어주시지 않을까 하여 용기를 내어 써보아요. AI에 대체될지 고민하는 분석가가 아닌 여러분도, 분석가인 여러분도 공감하며 읽어주시길 바라는 마음으로 써봅니다.

최근 두어 달 동안 정말 흐름이 많이 바뀌었다는 것이 느껴져요. 어거스트에서 바이브 코딩이 무엇인가를 소개했던 것이 벌써 1년이 다 되어 가는데, 이제는 바이브 코딩을 해보지 않았다면 FOMO를 느낄 정도이고, 링크드인을 포함한 SNS에서 간증 글이 쏟아지는 것처럼 느껴집니다. 저의 회사에서도 클로드 코드를 활용해 만들어보는 것에 집중하는 스터디가 생기기도 하고, 클로드 코드 활용법 강의를 경쟁적으로 신청하기도 하더라고요.

얼마 전까지만 해도 저는 분석에서 AI를 사용하는 것에는 좀 회의적이었습니다. 머리 속에 있는 내용을 모두 끄집어내서 프롬프트를 쓰기는 귀찮고 간단한 프롬프트로는 도무지 원하는 답을 얻을 수 없었기 때문입니다. 디테일이 중요하지 않거나 내가 잘 모르는 것에 대한 리서치는 만족스러웠는데, 분석은 아무래도 디테일이 중요하고 의식적으로 인지하지 못하는 도메인 지식에 기반한 맥락이 있잖아요. 그렇다 보니 ‘참, 너도 별 수 없구나’ 하고 자꾸 포기하게 되더라고요.

검증에 대한 피로도 한몫했습니다. 종종 큰 고민 없이 AI로 작성한 게 분명한 문서로 분석 요청을 받게 되었는데, 그런 문서들은 어디에서부터 손대야 할지 모르겠더라고요. AI 덕분에 모두가 데이터 분석을 할 수 있다고 신나있는데, 실제로 들여다보면 논리적 비약이 있거나, 맥락과 상황에 맞지 않는 분석이 그럴싸하게만 쓰여 있는 경우가 많았습니다. AI가 작성한 쿼리에 뭔가 문제가 있다며 검토해 달라는데, 쿼리가 끝이 없었던 적도 있었고요. 이것이 쌓이다 보니 아예 AI가 작성한 ‘포맷’인 경우에는 열자마자 검토할 의욕을 잃기도 했었습니다.

그러다 어느 순간 마음을 고쳐먹었어요. 아침에 업무 시작하기 전에 뉴스레터와 아티클을 1-2개씩 읽으면서, 온라인에서 DA들도 AI를 사용한다는 경험 글을 보면서, 이들과 내 상황의 차이점은 뭘까 생각해 봤습니다. 남 탓을 하는 게 아니라 내가 이 상황을 바꿀 순 없을까 싶었던 거죠. AI가 해온 분석을 보면서 답답해했던 것도, 분석 요청 문서가 사내 상황과 맞지 않았던 것도 도메인 지식과 히스토리를 금방 (혹은 AI가) 검토하지 못해서 일어나는 일일 것 같더라고요. 그렇다면 DA가 당연하게 쓰고 있는 정보, 검토할 때 고려하는 사항을 잘 정리해 두면 되지 않을까 싶었습니다. 그리고 이왕 이렇게 시도해 보기로 한 것, 너무 큰 문제를 한 번에 짠 해결하지 않겠다고 결심했어요. 처음부터 목표 만족 수준을 60%로 놓고 시작하는 것이죠. 

제가 시도하고 있는 것은 자연어로 SQL 쿼리를 산출하는 봇을 만드는 것입니다. 현재 저의 회사는 SQL을 모르는 분들은 데이터 추출과 분석이 어려운 환경입니다. 작년 연말에는 보안상 전체 DB를 열 수 없고, 자연어로 쿼리를 만들 수 있는 툴을 도입하는 게 빠를 거란 답변을 받았는데, 그 툴을 목전에 두고 있어요. 어차피 세팅할 거라면 미리 작은 것부터 해두면 좋겠다 싶어 간단하게 시작해 보기로 했습니다. 현재 목표는 분석가가 5-10분이면 추출할 수 있는, 테이블 1-2개만 사용하는 10줄 이내 쿼리 정도를 봇으로 산출해낼 수 있는 것입니다. 일단은 구글 젬스를 활용해 시도해 보고 있어요.

기존에 정리했던 문서도 AI가 읽기 쉽도록 요약하고 정리해 하나의 도메인 문서로 만들기 시작했어요. 회사의 큰 정책 히스토리부터 기존에 진행했던 분석까지 정리해서 AI에 넣어보는 것이 목표입니다. 그렇게 AI도 사람도 보기 쉬운 문서를 만들고 계속해서 업데이트 해나가려고요.

이러한 작업을 통칭해 ‘컨텍스트 엔지니어링’이라고 한다고 합니다. LLM이 과제를 그럴듯하게 해내기 위해 당장의 유저 프롬프트를 넘어서 참고할 수 있는 맥락을 제공하는 것입니다. 여기에는 모든 것의 기반이 되는 도메인 문서, 예시가 쌓인 문서나 데이터베이스, 기존에 대화하면서 쌓아왔던 나에 대한 정보(장기 메모리)와 이번 대화의 맥락(단기 메모리)이 모두 포함됩니다. 기존에 데이터 분석가가 해왔던 작업을 AI가 참고하기 용이할수록 다른 구성원도 찾기 쉽고, 더 좋은 결정을 내릴 수 있을 것입니다.

최근에 친구와 했던 대화가 기억이 나요. 친구는 AI를 현명하게 활용해서 자기 업무시간에 하는 반복 작업을 자동화 해두었지만, 회사에는 이야기하지 않았대요. 내 자리가 안전하다는 확신이 들지 않았기 때문입니다.

사실 저도 비슷한 생각을 했어요. 내가 업무에 써먹는 나만의 지식을 이렇게 다 문서화한다면, 나의 자리는 안전한 걸까? 첫 번째 레터에서 데이터 분석가가 생기게 된 배경으로 데이터 종류와 양이 늘어나면서 다루기 어려워졌기 때문에 이에 특화된 사람들이 필요했다고 이야기했어요. 그런데 갑자기 AI로 그럴듯하게 데이터를 다룰 수 있게 되었습니다. 그렇다면 분석가는 더 이상 필요가 없는 걸까요? 

일단, 쿼리만 잘하는 데이터 분석가는 확실히 대체될 수 있습니다. AI가 지금 혼자서 할 수 없는 것, 그러니까 그동안 쌓여 온 비즈니스 로직이나 도메인 지식을 잘 알고 이를 분석에 적용할 수 있는 사람은 한동안은 대체되기 어려울 것입니다. 하지만 그 역시도 잘 정리된 마크다운 파일로 압축될 수 있다면 많은 수의 분석가가 필요하진 않을지도요. 결국 분석만 잘하는 분석가는 지금보다는 덜 필요할 것 같습니다. 손으로 직접 코드를 쓰고 시각화를 하기보다 AI가 낸 결과가 신뢰할 수 있는지 확인하고, 옳은 방향으로 해석했는지 검증하는 일을 더 많이 할 테니까요.

분석가가 대체된다기보다, 분석가가 담당하는 롤이 좀 더 넓어지지 않을까 싶습니다. 제가 생각한 새로운 롤은 두 가지인데요, 위에서 이야기했던 컨텍스트를 만드는 것, 그리고 이를 바탕으로 조직 전체의 분석 수준을 관리하는 것입니다.

AI가 분석을 잘하려면 컨텍스트가 필요합니다. 그리고 이 컨텍스트를 제일 잘 아는 사람은 그런 지식을 이미 체득해 적재적소에 꺼내 쓰던 분석가죠. 아마도 분석가는 이러한 컨텍스트를 관리하는 롤을 담당하게 되지 않을까 싶어요. 조직은 계속해서 변하는데, 그에 맞춰 AI로 가장 잘 분석할 수 있는 형태로 업데이트하면서 관리하는 거죠. 

이를테면 “우리 리텐션을 개선해야 해요”와 같은 간단한 문장에 대해 분석가는 비즈니스 맥락을 읽고 구체적이고 정량적인 질문을 산출하며 문제를 정의합니다. 그리고 그 문제에 기반해 분석을 수행하죠. 컨텍스트를 관리한다는 것은 유저가 추상적인 질문을 던지더라도 도메인에 대한 이해를 바탕으로 구체화할 수 있는 적절한 질문을 던져줄 수 있게 한다는 의미입니다. 

그러기 위해선 조직의 프로덕트 정책 히스토리, 주로 쓰이는 지표에 대한 정의 등 도메인 지식, 기존에 분석했던 자료를 기반으로 지표 간의 관계나 지표를 해석할 때 주의해야 하는 점을 정리한 분석 맥락을 문서화해 입력해야 합니다. 그리고 입력한 내용을 AI가 잘 이해했는지 테스트하는 기술적인 부분까지도 분석가가 맡을 수 있을 것 같아요.

이렇게 AI라는 툴을 잘 만들어두어도 결국 데이터를 해석하고 비즈니스에 적용하는 것은 사람이 하는 일입니다. 그렇기에 분석가 개인, 또는 분석팀을 넘어서 조직이 전반적으로 분석을 더 잘 설계하고 쓸 수 있게 하는 것까지 분석가의 롤이 확장되지 않을까 싶어요. AI를 포함해 조직이 데이터를 더 잘 쓸 수 있도록 환경을 설계하는 거죠. 전반적으로 데이터 리터러시를 개선하기 위한 교육을 한다거나, 뽑을 데이터를 고민하기 전 이 데이터가 왜 필요한지 목적부터 생각하도록 하는 프로세스나 문화를 만들고, 지표의 논리적인 흐름을 이해하고 적합하게 해석할 수 있도록 가이드를 제공하는 것이 그 일환이라고 볼 수 있겠습니다.

사실상 대체된다고 볼 수 있을 만큼 급격한 변화 같긴 하네요. 게다가 어느 정도 연차가 있는 시니어 분석가에게 더 적합한 변화라고 볼 수도 있겠습니다. 당장 일어날 변화는 아니겠지만, 결국 대체되지 않으려면 “본업”이라고 생각했던 분석 외에 AI 시대에 필요로 하는 롤을 더 찾아 맡아야 하지 않을까, 가 현재 제 생각입니다.

이렇게 한 치 앞도 잘 보이지 않지만, 뒤처지지 않으려면 AI 쓰는 것에 빠르게 적응해야 한다는 메시지를 담은 아티클이 반복적으로 보입니다. 그렇게 AI 툴을 스터디해서 한참 쓰고 나면 왠지 모르게 공허해지더라고요. 자꾸 일을 AI가 다 해버리고 저는 뒷전으로 밀리는 듯 느껴져서일까요? 일은 AI가 하더라도 그 과정에서 새로운 것을 발견하고, 배우고, 성취하는 느낌은 여전히 제가 가져가고 싶어서인 걸까요? 그래서 저는 AI를 쓸 때 지키려고 하는 원칙들이 있습니다. 

최근 읽은 아티클, ‘AI가 주니어 개발자를 쓸모 없게 만들고 있다’에서는 시니어 개발자가 가치 있는 이유를 소개하며, 어떤 코드가 좋은 코드인지 알고, 수많은 실패를 통해 노하우를 쌓을 수 있으려면 AI를 잘 활용해야 한다고 말해요. 마치 수학의 정석을 풀 때 답지를 보지 않고 고군분투하는 시간이 나의 실력을 만들 듯, 이 작업을 내 것으로 만들기 위한 시간을 의식적으로 보내야 한다는 것입니다. 빠르고 단순하게 결과를 출력하는 시간과 실제로 기술을 쌓는 시간을 구분하고, 시간적 여유가 있을 때 어려운 문제를 혼자 풀려고 노력하며 감각을 익힐 것을 제안합니다. 또한 답이 ‘왜’ 나왔는지 이해하려고 노력하는 것의 중요성을 강조합니다.

이것은 25년 6월에 나왔던 MIT 연구, ‘Your Brain on ChatGPT’와도 일맥상통해요. 연구에서는 참여자를 (1) LLM을 사용할 수 있는 그룹 (2) 검색엔진을 사용할 수 있는 그룹 (3) 도구를 사용할 수 없는 그룹 등 세 가지 그룹으로 나누어 4개월간 에세이 쓰기를 반복해서 진행했어요.

이 과정에서 뇌 활동을 측정한 결과 AI를 사용한 그룹에서는 뇌 영역 간 연결성이 약하게 나타났고(즉, 뇌로 생각을 덜 했다는 의미겠죠), 4개월 후 도구 없이 글을 썼을 땐 처음부터 직접 써온 그룹보다 낮은 성과를 보였다고 해요. 계속해서 생각하는 사고회로를 사용해야 나의 자체적인 역량도 키울 수 있다는 의미입니다.

이 두 가지 자료를 바탕으로 저도 AI를 전략적으로 활용하기 위한 두 가지 원칙을 세웠어요. 첫 번째는 어떤 일을 하든 AI를 먼저 쓰지 않는 것입니다. 초안이나 첫 고민은 내가 먼저 하고, 그 후에 AI를 쓰는 거예요. 비록 시간은 더 오래 걸릴지라도 이후에 마주할 문제에서 판단력을 높이기 위함입니다.

두 번째는 시간을 두고 AI가 준 결과물을 리뷰하는 시간을 갖는 거예요. 특히, 아예 생각하지도 못했던 방법을 AI가 제안했을 때, 왜 이 제안이 적절한지, 이 제안은 어떤 내용을 담고 있는지를 정리하면 다음에 비슷한 상황에서 내가 이 해결책을 제안할 수 있게 될 테니까요. AI가 써준 답변을 나만의 언어로 정리해 보는 것도 도움이 되더라고요.

마지막으로, AI가 제한적으로만 개입하도록 하거나, AI가 준 결과물을 다시 정리하면서 꼭 저만의 관점을 한 가지라도 넣는 것입니다. 반복 작업은 AI가 처음부터 끝까지 다 해내도록 처리하는 게 좋겠지만, 중요한 분석일 땐 통째로 AI에게 시키면 오히려 검증하는 것도 번거롭고, 제가 한 일 같이 안 느껴지더라고요. 그래서 ‘이 부분만 도와줘’ 하고 개입할 수 있는 여지를 줄이고 제가 직접 나머지를 처리하기도 하고, AI가 적어준 결과물을 제가 직접 다시 정리하면서 새로이 볼 수 있는 것들을 넣어보려고 합니다.

결국 어떤 연차이든 지금 시기에 AI로 다양한 시도를 해보는 건 중요하겠구나 싶습니다. Lenny’s Podcast에 출연한 앤트로픽의 디자인 헤드인 제니 웬(Jenny Wen)은 앤트로픽으로 이직한 이유가 실무자(individual contributor, IC)로서 급변하는 도구·프로세스를 몸으로 익히기 때문이었다고 합니다. 지금 시기에 익히지 않으면 좋은 매니저가 될 수 없다고 느꼈다고요. 주니어이든 시니어이든 팀장이든 디렉터이든 지금 시기에는 직접 시도해 보고 경험을 공유하면서 보내야 하는 시기인가 봅니다. 만약 데이터 분석가로 전향을 생각하셨던 분들이 있다면 현재의 업무에 데이터 분석을 접목하며 새로운 시도를 할 수 있는 기회일 수도 있겠고요. 

이제 막 취업을 준비한다면요? 이미 주니어를 벗어난 지 꽤 된 제가 말할 자격이 있는지 모르겠지만, 두 가지를 생각해 보았습니다. 무언가를 만들기가 훨씬 쉬워진 시기인만큼, 직접 작은 서비스를 띄워보고 그 데이터를 분석해보는 경험을 해보는 것은 어떨까요? 내가 직접 서비스를 개선하기 위해 데이터를 이리저리 만져 본 경험은 내가 이 직무에 맞는지, 어떤 일을 하는 것이 좋을지를 고민하는 좋은 출발점이자 다른 지원자와의 차별점이 될 수 있을 것 같습니다.

다른 하나는 회사에서 일하는 사람들과 마주하는 기회를 만들어보는 것입니다. 규모가 크고 유명한 회사가 아니더라도 인턴, 계약직으로 일할 수 있다면 회사 자체에 대해 파악할 수도 있고, 그때의 인연이 또 다음 기회로 이어지는 기회가 될 수도 있을 거예요. 그냥 커피챗을 신청해보는 것도 추천해요. 격식을 갖추고 준비를 잘 해간다면 보통 흔쾌히 시간을 내줄 것이고, 그렇게 내부의 이야기를 듣고 나면 새로이 보이는 세상이 있더라고요. 무엇보다 AI가 만들 수 없는 것은 커뮤니케이션하며 일이 되도록 만드는 능력이고, 그건 사람들과 마주쳐야만 쌓을 수 있습니다. 그런 점에서 사람들과 계속 마주하고 이야기하는 경험을 쌓는 것은 계속해서 중요해질 거예요. 

저는 너무 멀리 보지 않으려고 해요. 당장 내년에 무얼 하고 있을지도 잘 모르겠는걸요. 일단, 눈앞의 것들에 집중하면서 역량을 조금씩 쌓아가보려 합니다.

**다음 달에도 일의일기는 계속됩니다 😬 일의일기 기고도 받으니 많은 관심 부탁드려요!