티스토리 구글 애드센스 크롤러 오류 원인 및 해결 방법

iTIPs/광고 2013. 7. 7. 14:50

지난번에도 애드센스 크롤러 관련 오류에대해 포스팅 한 적이 있었는데요,

2013/07/01 - [COMPUTER TIP] - 티스토리에서 구글 애드센스 크롤러 오류 수정

결론적으로 크롤링 오류를 없애는데 실패했습니다.

사실 이게 소용이 있을거라고 기대하진 않았습니다..

왜냐하면 메타태그를 삽입해줄 수 있는 위치도 티스토리 사용자에게는 한계가 있고, 메타태그보다는 robots.txt가 더 상위에 있는 것 같기 때문입니다.

크롤링 오류는 왜 발생하는가

(lifeandfun.tistory.com은 최근에 부가적으로 운영하는 블로그입니다.)

아직도 어김없이 크롤링 오류가 발생하고 있습니다.

자신의 "티스토리 주소"/robots,txt에 접속하시면 내용을 확인할 수 있습니다,

/owner

/admin

/search

/tag

하위 주소들은 크롤러가 접근하지 못하게 막혀있습니다.

굳이 크롤링 할 필요도 없는 주소이구요,

그렇다면 왜 광고가 게재되지도 않는 위치에서 크롤링 오류가 발생하는 것일까요?

구글 애드센스 크롤러는 광고가 게재된 위치만을 크롤링합니다.

다시한번 크롤링 오류가 어디서 났는지 확인해 볼까요?

크롤링이 거부된 /admin 주소에서 크롤러 오류가 났는데 전부다 skin영역에서 발생했습니다.

스킨을 수정하며 미리보기를 할때마다 그곳에도 광고가 게재되기 때문에

크롤러가 굳이 크롤링 하지 않아도 될 주소에 접근한 것이지요.

그렇다면 해결법은 없는가?

현재 /tag 에대한 크롤링 오류는 사라진 상태인데요,

솔직히 이건 왜 사라진건지는 모르겠습니다.

추측컨데, 포스트 영역 외에 광고를 달아두신분들은 http://nubiz.tistory.com/tag 이렇게 본인 블로그의 /tag로 접속했을때도 광고가 노출 되는 상황이라고 추측됩니다. (누군가 태그목록을 확인할 때, 로봇이 접근할 수 없는 영역인데 광고가 게재되니 크롤러 오류가 발생하는 것이죠)

http://www.beintous.net/2013/07/blog-post_4.html

저는 이 방법대로 해서 tag오류는 사라졌는데.. 글쓰신분은 또 게속 발생하신다고 합니다.

제가 내린 결론은..

그냥 신경쓰지 말고 살아야겠다는 것입니다.

티스토리 안에서 블로그를 운영하는 한 오류가 눈에 거슬린다해도 어쩔 수 없습니다.

수익에 큰 영향을 주진 않으니까요~

그래도 오류를 최소화 하고자 하신다면, 스킨 수정하실때, 미리보기를 안하시면 됩니다.

2014.04.05 드디어 해결했습니다!

[COMPUTER TIP] - 티스토리 구글 애드센스 크롤링 오류 말끔히 해결!