티스토리를 시작할 때부터 꾸준히 크롤러 오류가 나타납니다. 크롤러가 뭐길래 자꾸 오류를 내뿜는 것일까요? 꼭 수정해야 하는 것일까요? 크롤러란? 크롤러는 검색엔진이 웹상의 정보들을 탐색하고 색인하기위해 페이지의 내용을 읽는 프로그램을 뜻합니다.이런 프로그램을 로봇, 웹로봇, 웹봇 등으로 부르기도 하죠.사람이 직접 일일히 사이트마다 들어가서 어떤 내용이 있는지 검색엔진에 등록하는것은 불가능 하니까요.크롤러가 아무 페이지나 다 수집하는 것은 아니고, 수집을 하지 못하도록 거부를 하게되면 크롤러는 그 페이지를 그냥 지나치게됩니다. 크롤러가 왜 중요한가? 구글 애드센스는 독자적인 크롤러를 사용해서 페이지 내용과 관련이 깊은 광고를 화면에 출력하게 합니다.(한국어는 잘 파악하지 못하는 것 같지만..)크롤러가 제대..