포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.
웹 크롤링이 단순히 정보를 긁어오는 기술이 아니라, 검색 엔진의 기반이 되며 수많은 서비스의 데이터 흐름을 연결하는 핵심 역할을 하고 있다는 점이 인상 깊었다.강의에서는 웹 페이지가 HTML이라는 구조적 언어로 작성되어 있고, 크롤러는 이 구조를 읽고 필요한 정보만을 추출해 가는 방식으로 동작한다는 점을 설명했다. 나는 이 과정에서 웹 크롤링이 마치 웹을 탐험하는 자동화된 로봇과 같다는 비유가 가장 이해가 쉬웠다. 링크를 따라가며 데이터를 수집하고, 이를 다시 분석 가능한 형태로 저장한다는 구조는 단순한 기술을 넘어, 데이터 기반 의사결정 시대에서 매우 중요한 기능을 담당한다. 또한 크롤링을 진행할 때 반드시 지켜야 하는 윤리적 기준과 robots.txt의 의미에 대해서 배웠던 기억이 떠올랐다. 특히 모든 사이트가 크롤링을 허용하는 것은 아니며, 서비스 제공자의 정책을 준수하는 것이 필수적이라는 부분은 실제 실무에서 반드시 기억해야 할 요소라고 느꼈다.이번 학습에서는 크롤링의 실제 활용 사례도 함께 소개되었는데, 이 부분이 매우 흥미로웠다. 예를 들어 전자상거래 플랫폼의 가격 비교 서비스, 기사 모아 보기 서비스, 여행지 예약 정보 수집 등 다양한 분야에서 크롤링이 핵심 역할을 하고 있다는 점은 이전까지 명확히 인식하지 못했던 부분이었다. 특히 마케팅 측면에서도 고객 리뷰 분석, 경쟁사 모니터링, 트렌드 키워드 수집 등 크롤링 데이터가 활용되는 방식은 앞으로 내가 실무에서 직접 적용해보고 싶은 영역이기도 했다. 기술을 단순히 기술로 이해하는 것이 아니라 실제 업계 사례와 연결해 설명해 주니 훨씬 실감 나고 현실적인 배움이 되었다.
또한 이번 강의를 통해 느낀 가장 큰 변화는 ‘데이터를 능동적으로 모을 수 있다’는 가능성을 발견했다는 점이다. 이전에는 필요한 데이터를 누군가가 제공해 주기만을 기다리는 입장이었다면, 크롤링을 이해한 이후로는 내가 직접 데이터를 수집하고 분석하며 새로운 인사이트를 만들 수 있다는 자신감이 생겼다. 물론 아직 실습 단계에 진입하려면 해야 할 공부도 많고, 크롤링을 구현하기 위해서는 Python과 같은 프로그래밍 언어에 대한 이해도 필요하다. 하지만 이번 학습은 그러한 기술적 진입장벽을 두려움이 아니라 기대감으로 바라보게 해줬다는 점에서 매우 의미가 있었다. 웹 크롤링은 생각보다 복잡한 기술처럼 보이지만, 개념을 올바르게 이해하고 난 뒤에는 충분히 접근 가능한 영역이라는 것을 깨닫게 해준 강의였다.