크롤링을 하며 접근이 막혀 안 되는 경우가 있었는데, 이외에도 크롤링은 되지만 저작권 문제와 같이 법적으로 문제가 있을 수 있는 경우를 조심해야 한다. 그래서 문제점이 발생할 수 있는 것을 사전에 확인할 방법에 대해 알아보았다.웹사이트에서 데이터를 수집하기 전에 robots.txt 파일을 통해 이를 확인할 수 있다. 이 파일은 웹사이트 소유자가 웹 크롤러(예: 검색 엔진 또는 자동화 스크립트)에 대해 크롤링 가능한 경로와 불가능한 경로를 명시적으로 안내하는 표준 파일이다.(이 글은 Cloudflare의 What is robots.txt? 내용을 참고하여 작성되었다. + GPT..)1. robots.txt란?robots.txt는 웹사이트 루트 디렉토리에 위치한 텍스트 파일로, 크롤러가 따라야 할 규칙을 정..
