웹 크롤링

뜻풀이

쉬운 AI 사전

1. [명사] (데이터) 프로그램이 웹 페이지를 돌아다니며 링크를 따라 가 문서를 자동으로 모으는 일.

실무 AI 사전

1. [명사] (데이터) 검색 엔진이 인터넷 전체를 수집하는 것이 대표적이다. AI 학습 데이터 수집에도 쓰여 왔다. robots.txt와 사이트 이용약관, 저작권, 서버 부담을 확인해야 하고 최근에는 AI 크롤러 차단 요구도 늘고 있다.

전문 AI 사전

1. [명사] (데이터) 시드 URL에서 시작해 하이퍼링크를 따라 웹 문서를 체계적으로 탐색하고 수집하는 과정. 방문 큐, 중복 URL 제거, 예의(politeness) 정책, robots 규약 준수 등을 구현한다. 수집한 원문은 정제와 중복 제거를 거쳐 사전 학습 말뭉치나 검색 색인이 된다.

관용구/함께 쓰는 말

• robots.txt - 크롤러에게 접근 가능한 범위를 알려 주는 사이트의 안내 파일.
• 시드 URL - 크롤링을 시작하는 첫 주소.

쉬운 비유

도서관 사서가 서가를 돌며 책 목록을 만드는 것과 같다. 길을 따라 걸으며 무엇이 있는지 모으는 일이다.

예문

• 뉴스 사이트를 웹 크롤링해 기사 데이터를 모으되 robots.txt를 확인했다.
• 검색 엔진은 웹 크롤러로 새 페이지를 계속 찾아낸다.
• AI 학습용 크롤러를 막겠다는 사이트가 늘고 있다.

헷갈리는 용어 비교

웹 스크래핑

크롤링은 여러 페이지를 링크로 돌아다니며 모으는 일이고, 스크래핑은 한 페이지에서 필요한 정보를 뽑아내는 일이다. 실제로는 함께 쓰이는 경우가 많다.

맞춤법/표기법

바른 표기

웹 크롤링

주의할 표기

웹 크롤링하기

원어

web crawling

다른 이름

크롤링, 웹 크롤러, 크롤러, 웹크롤링, web crawler, 스파이더

참고

외래어 표기는 크롤링. 크롤러는 수집하는 프로그램이다.

관련어