지난번에도 애드센스 크롤러 관련 오류에대해 포스팅 한 적이 있었는데요,

     

    2013/07/01 - [COMPUTER TIP] - 티스토리에서 구글 애드센스 크롤러 오류 수정

     

    결론적으로 크롤링 오류를 없애는데 실패했습니다.

     

    사실 이게 소용이 있을거라고 기대하진 않았습니다..

     

    왜냐하면 메타태그를 삽입해줄 수 있는 위치도 티스토리 사용자에게는 한계가 있고, 메타태그보다는 robots.txt가 더 상위에 있는 것 같기 때문입니다.

     

     

     

    크롤링 오류는 왜 발생하는가

     

    (lifeandfun.tistory.com은 최근에 부가적으로 운영하는 블로그입니다.)

    아직도 어김없이 크롤링 오류가 발생하고 있습니다.

     

     

    자신의 "티스토리 주소"/robots,txt에 접속하시면 내용을 확인할 수 있습니다,

    /owner

    /admin

    /search

    /tag

    하위 주소들은 크롤러가 접근하지 못하게 막혀있습니다.

     

    굳이 크롤링 할 필요도 없는 주소이구요,

     

    그렇다면 왜 광고가 게재되지도 않는 위치에서 크롤링 오류가 발생하는 것일까요?

     

    구글 애드센스 크롤러는 광고가 게재된 위치만을 크롤링합니다.

     

    다시한번 크롤링 오류가 어디서 났는지 확인해 볼까요?

     

    크롤링이 거부된 /admin 주소에서 크롤러 오류가 났는데 전부다 skin영역에서 발생했습니다.

     

    스킨을 수정하며 미리보기를 할때마다 그곳에도 광고가 게재되기 때문에

     

    크롤러가 굳이 크롤링 하지 않아도 될 주소에 접근한 것이지요.

     

     

    .


    그렇다면 해결법은 없는가?

    현재 /tag 에대한 크롤링 오류는 사라진 상태인데요,

     

    솔직히 이건 왜 사라진건지는 모르겠습니다.

     

    추측컨데, 포스트 영역 외에 광고를 달아두신분들은 http://nubiz.tistory.com/tag 이렇게 본인 블로그의 /tag로 접속했을때도 광고가 노출 되는 상황이라고 추측됩니다. (누군가 태그목록을 확인할 때, 로봇이 접근할 수 없는 영역인데 광고가 게재되니 크롤러 오류가 발생하는 것이죠)

     

    http://www.beintous.net/2013/07/blog-post_4.html

    저는 이 방법대로 해서 tag오류는 사라졌는데.. 글쓰신분은 또 게속 발생하신다고 합니다.

     

     

    제가 내린 결론은..

    그냥 신경쓰지 말고 살아야겠다는 것입니다.

    티스토리 안에서 블로그를 운영하는 한 오류가 눈에 거슬린다해도 어쩔 수 없습니다.

    수익에 큰 영향을 주진 않으니까요~

     

    그래도 오류를 최소화 하고자 하신다면, 스킨 수정하실때, 미리보기를 안하시면 됩니다.




    2014.04.05 드디어 해결했습니다!

    [COMPUTER TIP] - 티스토리 구글 애드센스 크롤링 오류 말끔히 해결!


     

     

    Posted by 뭐하라

    문제가 있나요?(?)

    내용상 오류가 있음 업데이트 필요 화면이 깨짐 기타 수정이 필요함
    • BlogIcon 수학방
      2013.07.08 13:40 신고

      말씀하신 것처럼 robots.txt의 설정이 meta 태그의 설정보다 우선순위가 높아서 그런 것 같아요.
      크롤링 오류가 많이 생긴다는 건 블로그에서 검색도 많이하고, 태그 페이지로 이동도 많다는 증거나 되니 어쩌면 좋은 일인지도 모르겟어요.

      • BlogIcon 뭐하라
        2013.07.09 22:56 신고

        그러게요.. ㅋㅋ 신경 안쓰고 싶은데 그게 쉽지 않네요 ㅜㅜ

    • BlogIcon 사진찍는삼촌
      2013.07.09 09:35 신고

      안녕하세요??
      위에 본문에 소개해주신 beintous 블로그..주인이예요^^;;;

      이 문제의 근본적인 해결은 티스토리 측에서 robots.txt 문서를 수정 할 수 있게 해주는 것인데요;;
      구글 블로거에서는 허용하고 있는만큼,,테스트 블로그를 운영할때 로봇을 막고 하곤 하는데....
      티스토리도 언른 열어주었으면 하는 마음 뿐입니다^^

      고객센터를 두드려 봐야겠지요??

      • BlogIcon 뭐하라
        2013.07.09 22:57 신고

        저는 오류가 사라졌는데..해결된게 아니고 단지 제 블로그 방문자들이 태그항목을 안봐서 그런것 같군요..


    • 2013.07.15 16:53

      비밀댓글입니다

    • BlogIcon ˇ
      2013.08.09 22:07 신고

      저도 엄청 많이 생겨요...ㅠㅠ 방법이 없다니..
      신경만 쓰이고...어렵네용....

    • BlogIcon 티바이트
      2013.08.23 22:50 신고

      크롤링 오류 뜨는게 이런거였군요!!

    • BlogIcon NC
      2013.10.12 13:22 신고

      아...저도 크롤링 오류가 뜨다가 사라지다가 계속 그러는데..
      이런 이유였군요..

    • BlogIcon 백전백승
      2014.06.14 11:05 신고

      그랬었군요. 애드센스 통계를 봤을 때 왜 크롤링 오류가 날까 의문이 항상 들었거든요.