Tech./블로그
"robots.txt를 찾을 수 없음" 해결 방법
Robots.txt 다운로드 티스토리 블로그를 운영하면서 검색 엔진에게 내 사이트 정보를 수집할 수 있도록 설정해주는 것은 중요합니다. 이를 위해서는 검색 엔진 크롤러가 우리 블로그 정보를 수집할 수 있도록 하는 작업이 필요한데, 구글 검색 콘솔과 네이버 웹마스터에서 등록할 때 때때로 "robots.txt를 찾을 수 없음" 이라는 오류가 뜨기도 합니다. 아래 설명에서는 이 오류를 해결하는 방법에 대해 설명하겠습니다. 우선 해야할 일은 구글 크롤러 Robots.txt 파일을 설정하는 것입니다. 상단에 첨부한 "robots.txt" 파일을 다운로드한 후, 파일 내용 중 User-agent, Allow, Sitemap 등의 코드를 수정해주어야 합니다. 이렇게 수정한 파일을 본인의 사이트 주소에 맞게 저장하면 ..