구글 클라우드, 데이터팀의 고질적 반복 작업 문제 해결을 위한 혁신 약속
구글 클라우드가 데이터팀의 오랜 골칫거리였던 단순 반복 작업 문제를 해결하기 위해 AI 에이전트들을 대거 선보였다.
데이터 준비 및 이동에 드는 시간과 노력이 전체 워크플로우의 80%를 차지한다는 점에서, 이번 발표는 데이터 전문가들의 업무 방식을 근본적으로 바꿀 중대한 변화로 평가된다. 특히, 자연어 기반의 자동화 파이프라인 구축 기능은 데이터 엔지니어링의 문턱을 낮추고, 모든 데이터 관련 직무 종사자들이 창의적이고 가치 있는 분석에 더 집중할 수 있는 환경을 조성할 것으로 기대된다.
데이터를 시각적으로 분석하고 조작하는 한 직원의 모습. AI 에이전트 도입으로 데이터 전문가들의 업무 효율이 향상될 것으로 기대된다. [사진 = 코리아비즈니스리뷰 자료 사진]
데이터 엔지니어링의 혁신: AI 에이전트, 데이터 준비 병목 현상을 해결하다
구글 클라우드는 데이터 엔지니어링의 고질적인 문제인 데이터 준비 병목 현상을 해결하기 위해 AI 에이전트들을 출시했다. 이 에이전트들은 데이터 수명 주기 전체에 걸쳐 복잡하고 반복적인 작업을 자동화하는 데 초점을 맞추고 있다.
구글 클라우드의 데이터 클라우드 담당 야스민 아흐마드 전무는 "데이터 전문가들이 데이터 찾기, 정리하기, 고품질 데이터에 접근하기가 얼마나 힘든지 불만을 토로하고 있다"며, "사용자들의 워크플로우 중 무려 80%가 데이터 정리나 엔지니어링처럼 힘들고 단순 반복적인 일에 묶여 있다"고 지적했다. 이러한 현실을 개선하기 위해 구글은 세 가지 주요 AI 에이전트를 내놓았다.
첫째, 빅쿼리 데이터 엔지니어링 에이전트는 자연어 프롬프트만으로 복잡한 데이터 파이프라인을 자동으로 구축하는 역할을 한다. 사용자가 여러 단계의 워크플로우를 설명하면, 에이전트가 기술적인 구현을 알아서 처리하여 데이터 가져오기, 변환, 품질 검사까지 모두 수행한다. 이 에이전트는 복잡한 SQL과 파이썬 스크립트를 자동으로 작성하고, 이상 탐지 및 오류 해결까지 지원하여 데이터 엔지니어의 생산성을 극대화한다.
둘째, 데이터 사이언스 에이전트는 주피터 노트북(Jupyter Notebook)과 같은 데이터 과학 환경을 지능형 작업 공간으로 탈바꿈시킨다. 머신러닝 워크플로우를 자동으로 처리하며, 데이터 분석 및 모델링 과정을 간소화하여 데이터 과학자들이 핵심적인 연구에 집중할 수 있도록 돕는다.
셋째, 향상된 대화형 분석 에이전트는 코드 인터프리터 기능을 탑재하여 비즈니스 사용자도 고급 파이썬 분석을 손쉽게 수행할 수 있도록 했다. 이를 통해 데이터 전문가가 아닌 현업 담당자들도 데이터에 직접 접근하고 의미 있는 통찰력을 얻는 것이 가능해졌다.
AI 에이전트와 전문가의 협업, 새로운 업무 방식의 탄생
구글 클라우드가 제시하는 AI 에이전트는 기존의 데이터 엔지니어링 도구를 대체하는 것이 아닌, 전문가들의 '파트너'이자 '협력자' 역할을 수행하는 데 중점을 둔다. 야스민 아흐마드 전무는 "엔지니어들은 여전히 기존 도구들을 잘 알고 있으며, 에이전트를 전문가 파트너로 생각하고 있다"고 말했다. 구글의 접근 방식은 에이전트가 생성한 코드를 투명하게 공개하고, 전문가들이 이를 확인하고 수정할 수 있도록 하는 데 있다.
실제로 데이터 엔지니어들은 에이전트가 자율적으로 파이프라인을 구축하는 과정을 실시간으로 모니터링할 수 있으며, 필요에 따라 코드를 직접 수정하거나 추가적인 지시를 내려 파이프라인을 맞춤 설정할 수 있다. 이러한 협업 모델은 전문가의 전문성을 잃지 않으면서도 단순 반복 작업을 줄여 생산성을 높이는 효과를 가져올 수 있다. 이는 수동 작업에 익숙한 데이터 엔지니어들이 새로운 기술에 대한 거부감 없이 AI를 업무에 통합할 수 있는 중요한 발판이 될 것으로 보인다.
API 기반의 개방형 생태계 구축, 경쟁력 확보의 핵심
구글 클라우드는 독점적인 도구를 넘어, 제미니 데이터 에이전트 API를 통해 개방형 데이터 에이전트 생태계를 구축하고 있다. 이는 개발자들이 구글의 자연어 처리 및 코드 해석 기능을 자신들의 애플리케이션에 쉽게 내장할 수 있도록 하는 전략이다. 야스민 아흐마드는 "이런 에이전트들의 이면에는 모두 API들이 구축되어 있다. 우리는 이 API들을 파트너들에게 제공할 계획"이라고 언급했다.
이러한 API 제공은 노트북 제공업체, 데이터 파이프라인 도구 개발사 등 다양한 독립 소프트웨어 공급업체(ISV)들이 구글의 강력한 AI 기술을 활용하여 혁신적인 서비스를 개발할 수 있는 기회를 제공한다. 이는 구글 클라우드 플랫폼의 확장성을 강화하고, 데이터 AI 분야의 기술 혁신을 가속화하는 중요한 역할을 할 것으로 전망된다. 경쟁사인 데이터브릭스, 스노우플레이크, 마이크로소프트 등도 데이터 전문가를 돕기 위한 자체 AI 기술을 개발하고 있지만, 구글의 API 기반 개방형 전략은 더욱 폭넓은 파트너십과 기술 통합을 가능하게 할 것으로 보인다.
KBR Insight
구글 클라우드의 AI 에이전트 출시는 기업의 데이터 운영 방식을 근본적으로 재편할 가능성을 시사한다. 특히 데이터팀 인력의 80%가 단순 반복 작업에 묶여 있다는 현실은 많은 기업이 직면한 인력 효율성의 문제점을 단적으로 보여준다.
구글의 솔루션은 이러한 비효율성을 해소하고, 데이터 전문가들이 데이터에서 새로운 가치를 창출하는 데 집중할 수 있도록 돕는 데 의의가 있다.
하지만 새로운 기술 도입에는 신중한 접근이 필요하다. 기업들은 AI 에이전트가 생성한 결과물에 대한 거버넌스와 감독 체계를 미리 구축해야 한다.
구글이 투명한 코드 확인 기능을 제공한다고 해도, 광범위하게 배포하기 전에 자율 에이전트 운영을 위한 명확한 프레임워크를 마련하는 것이 필수적이다. 또한, API의 개방성은 맞춤형 에이전트 개발이 중요한 경쟁 요소가 될 것임을 의미한다.
기업들은 구글의 기본 서비스를 활용하여 고유한 비즈니스 프로세스와 데이터 문제 해결에 특화된 도메인 맞춤형 에이전트를 어떻게 구축할지에 대한 전략을 고민해야 할 시점이다.