데이터는 오늘날 업무 처리에서 가장 중요한 자산 중 하나입니다. 많은 분이 웹상의 데이터를 모아 분석하고 싶어 하십니다. 하지만 막상 시작하려면 프로그래밍 언어의 벽에 부딪히곤 하죠. 파이썬 문법부터 배워야 한다는 부담감이 큽니다.
지금까지는 데이터를 수집하려면 복잡한 코드를 직접 짜야 했습니다. 하지만 이제는 상황이 완전히 달라졌습니다. AI 기술이 발전하면서 프로그래밍 문법을 몰라도 데이터를 다룰 수 있게 되었으니까요. 오늘은 그 방법에 대해 차근차근 이야기해 보려고 합니다.
데이터 수집이 그동안 어려웠던 이유
보통 웹 크롤링을 하려면 파이썬이라는 언어를 공부해야 합니다. 그리고 셀레니움 같은 도구를 설치하고 환경을 설정해야 하죠. 이 과정에서 많은 초보자가 지쳐서 포기합니다. 준비 과정만으로도 벅차기 때문입니다.
게다가 웹사이트는 수시로 모양이 바뀝니다. 사이트 화면 구성이 조금만 바뀌어도 잘 돌아가던 코드가 에러를 뿜어냅니다. 그때마다 코드를 다시 수정해야 하는데 이건 숙련된 프로그래머에게도 귀찮은 일입니다. 비전공자에게는 더욱 큰 장벽으로 다가옵니다.
하지만 이제는 문법 공부에 수십 시간을 쏟을 필요가 없습니다. 우리가 집중해야 할 곳은 코딩 기술이 아닙니다. 어떤 데이터를 가져와서 어떻게 보여줄지에 대한 기획력이 훨씬 중요해졌습니다.
무료로 구축하는 강력한 분석 환경
AI 코딩 도구라고 하면 보통 비싼 이용료를 떠올립니다. 매달 고정적으로 나가는 비용은 부담스러울 수밖에 없습니다. 하지만 비용 없이도 훌륭한 환경을 만들 수 있습니다. 바로 VSCode와 Gemini CLI를 조합하는 방법입니다.
VSCode는 전 세계 프로그래머가 가장 많이 쓰는 무료 코드 편집기입니다. 여기에 구글의 Gemini를 터미널 환경에서 쓰는 도구를 붙이면 됩니다. 이렇게 하면 돈을 들이지 않고도 강력한 AI 비서와 함께 일할 수 있습니다.
이 조합은 가볍고 설치도 간단합니다. 복잡한 설정 없이 바로 실무에 적용할 수 있다는 점이 큰 장점입니다. 처음 시작하는 분들에게 이보다 더 좋은 선택지는 드뭅니다.
코딩 문법 대신 프롬프트로 대화하기
이제 코드는 사람이 직접 쓰지 않습니다. 대신 우리는 AI에게 작업을 지시하는 역할에 집중합니다. 이것을 프롬프트 엔지니어링이라고 부릅니다. 원하는 데이터가 무엇인지 명확하게 글로 적어주면 됩니다.
예를 들어 인터넷 서점의 베스트셀러 목록을 가져오라고 시켜보세요. AI가 알아서 필요한 코드를 작성하고 실행까지 도와줍니다. 여러분은 문법을 외우는 대신 작업지시서를 잘 쓰는 법만 익히면 됩니다.
이 과정은 마치 능숙한 조수에게 업무를 맡기는 것과 비슷합니다. 여러분이 숲을 보고 방향을 잡으면 AI는 나무를 심고 길을 닦습니다. 이렇게 일하는 방식을 요즘은 바이브 코딩이라고도 부릅니다.
스스로 오류를 수정하는 자동화 흐름
AI가 짜준 코드라고 해서 항상 완벽하지는 않습니다. 실행하다 보면 당연히 오류가 발생할 수 있습니다. 예전에는 이 오류를 사람이 직접 검색해서 고쳐야 했습니다. 원인을 모르면 며칠씩 고생하기도 했죠.
하지만 이제는 오류 해결 방식도 다릅니다. 에러 메시지를 복사해서 다시 AI에게 보여주면 됩니다. 그러면 AI가 스스로 무엇이 잘못되었는지 분석하고 수정된 코드를 다시 제안합니다.
우리는 이것을 셀프 힐링이라고 부릅니다. 문제가 생겨도 당황할 필요가 없습니다. 그저 AI에게 상황을 설명하고 다시 고치라고 시키면 되니까요. 덕분에 포기하지 않고 끝까지 결과물을 만들어낼 수 있습니다.
보고서와 대시보드까지 한 번에
데이터를 모으는 것만으로는 충분하지 않습니다. 모은 정보를 보기 좋게 가공하고 시각화해야 비로소 가치가 생깁니다. AI를 활용하면 이 과정도 자동화할 수 있습니다.
수집한 데이터를 바탕으로 그래프를 그리고 보고서를 만들 수 있습니다. 심지어 마크다운으로 작성된 내용을 PPT 슬라이드로 변환하는 것도 가능합니다. 보고서 작성 시간이 획기적으로 줄어듭니다.
더 나아가 스트림릿 같은 도구를 쓰면 나만의 웹 대시보드도 뚝딱 만듭니다. 복잡한 웹 개발 지식이 없어도 됩니다. 여러분이 모은 데이터를 웹페이지 형태로 띄워서 다른 사람들에게 공유해보세요.
실전 데이터를 다루는 것이 중요합니다
이론만 공부해서는 실력이 늘지 않습니다. 실제 우리가 자주 쓰는 웹사이트의 데이터를 다뤄봐야 합니다. 온라인 서점이나 커피 전문점 위치 정보 같은 살아있는 데이터로 연습하세요.
부동산 정보나 뉴스 기사를 모아보는 것도 좋습니다. 이렇게 만든 결과물은 훌륭한 포트폴리오가 됩니다. 단순한 학습을 넘어 업무 자동화 도구로 바로 쓸 수도 있습니다.
이 모든 과정은 박조은 님의 인프런 강의에서 상세하게 배울 수 있습니다. Gemini CLI를 활용해 웹 크롤링부터 분석까지 한 번에 끝내는 방법을 다룹니다. 비용 걱정 없이 전문가처럼 데이터를 다루고 싶다면 이 강의를 참고해보시기 바랍니다.
강의 링크
이 글에서 다룬 내용에 대해 더 알고 싶으시다면 아래 링크의 강의를 참고하시면 됩니다.
이 링크를 통해 구매하시면 제가 소정의 수익을 받을 수 있습니다.
(딸깍! AI로 전문가처럼 웹 크롤링 & 데이터 분석(w. GEMINI CLI)| 박조은 – 인프런 강의)
