크롤러 오류 관찰해 보니.. 광고 게재 제한 메시지는 또 뭐야?

구글 애드센스 크롤러 오류 왜 자꾸 말썽이냐? 이유가 뭐냐?

 

애드센스 크롤러 크롤링이 뭔가요?

문제를 살펴보기에 앞서 크롤러와 크롤링이 뭔지 알아보겠습니다. 크롤링은 간단히 말해서 애드센스 로봇이 웹사이트의 특정 페이지에 접근해 필요한 정보를 수집하는 것입니다. 이때 로봇을 크롤러라고 합니다. 크롤링 오류란 크롤러가 정보 수집을 특정 시간 내에 원활히 하지 못하면 내보내는 신호입니다. 크롤러 오류 표시는 문제 발생 시점을 나타내는 것으로 그 이후에 해결이 됐어도 오류 표시가 사라지기까지는 어느 정도 시간차가 발생하는 것으로 보입니다. 즉 표시를 보고 있는 중에 이미 그 페이지의 문제(크롤링 잘 안 되는)는 해결됐을 수 있습니다.

 

* 애드센스 설명에는 애드센스 크롤러와 검색엔진 크롤러가 다르다고 나와 있습니다. 서로 시스템이 다른 것으로 애드센스 문제를 서치 콘솔에서 해결하려는 것은 효과가 없을 것으로 보입니다.

 

크롤러 발생부터 문제 해결까지 걸리는 시간?

개인마다 다를 수는 있지만 크롤러 발생부터 소멸까지 관찰해 보니 첫 크롤러 오류가 발생하고 일주일 정도 추가적인 크롤러 오류가 발생하는 것을 발견했습니다. 기존 페이지에서 발생하기도 하지만, 새로 작성하는 포스팅에서 대부분 발생했습니다.

 

이는 크롤러 오류 발생 이전에 작성한 페이지들에 대한 정보는 이미 크롤링이 되어 있고, 새로 추가하는 페이지에 대한 크롤링은 필요한 상황이라 그런 것 같습니다.

 

크롤러 오류 표시와 발생 시점 관계?

이번에 첫 크롤러 오류가 18일에 표시됐는데, 오류 신고 날짜는 16일로 되어 있었습니다. 그 후 계속 포스팅을 이어갔고, 추가적인 크롤러 오류가 발생했는데, 관찰 결과 대략 크롤러 발생 시간과 표시되기까지 하루 정도의 갭이 존재하는 것으로 확인됐습니다.

 

전날에 발생한 크롤러 오류가 오늘 표시되는 것으로 보입니다.

 

 

반응형

 

크롤러 발생 기간? 추가 크롤러 오류는 언제까지 발생할까?

크롤러 오류는 처음 발생 후 일주일간 추가적인 오류를 발생시키는 것으로 관찰되었습니다. 추가적인 크롤러 오류는 대개 새로 올리는 포스팅에서 발생했으며 간간히 이전 페이지에서도 발생했습니다.

 

크롤러 표시는 언제 사라질까?

이전에도 오류를 경험해서 마지막 발생한 오류 메시지가 사라지기까지 일정기간 걸린다는 걸 알고 있었습니다. 또한 특별히 할 것이 없다는 것도 알고 있습니다.

 

그런데 이번에 관찰을 해보니 크롤러 오류 메시지는 발생일로부터 일주일 전후로 사라지는 것을 관찰했습니다. 늦어도 가장 뒤에 발생한 오류 메시지 날짜로부터 일주일 전후면 모든 메시지가 사라질 것으로 보입니다.

 

 

크롤러 오류 해결되기까지 걸리는 시간?

크롤러 오류가 16일 첫 발생 후 24일부터 추가로 발생하는 것이 없는 것으로 봐서는 일주일이면 크롤러가 정상으로 작동하여 추가적인 문제는 발생시키지 않는 것으로 보입니다.

 

크롤러 오류 메시지 뜬  페이지는 언제 정상이 될까?

크롤러 오류 표시는 발생 시점을 나타내는 것이고 해결이 됐다고 해도 사라지기까지 일정기간 시간차가 존재하는 것 같습니다.

 

오류 표시와 상관없이 그 페이지에 광고가 제대로 나온다면 이미 문제는 해결된 것으로 봐도 무방할 것 같습니다. 오류 표시는 발생 시점을 나타내는 것이고, 메시지 표시 기간은 어느 정도 확인하도록 프로그래밍되어 있는 것 같습니다. 광고가 일부 또는 완전히 나오는 것을 확인해서 일부 또는 완전히 해결됐다 판단해도 좋을 것으로 봅니다.

 

 

 

 

크롤러 오류 왜 발생할까?

다음은 크롤러 서버 오류에 대한 설명입니다.

크롤러가 사이트를 방문하려고 했지만 로드하는 데 시간이 너무 오래 걸려 서버에서 오류 메시지를 표시한 것으로, 서버 오류는 코드에 페이지 로드를 방해하는 결함이 있는 경우에도 발생합니다. 또한 사이트에 방문자가 너무 많아서 서버가 모든 요청을 처리할 수 없다는 의미일 수도 있습니다. 

 

설명 그대로 서버 문제일 수도 있고, 페이지에 접속자가 몰려서 그럴 수도 있다는 것입니다.

이것을 근거로 첫 오류 발생한 날 통계 데이터를 확인해 보니

 

보시면 15일에 올린 포스팅 중에 16일 방문수가 몰린 페이지를 관찰할 수 있었습니다. 평소보다 그만큼 방문수 수치가 증가한 것입니다.

 

이런 근거로 크롤러 오류 발생의 유력한 후보 중 하나로 지목할 수 있겠습니다. 그러고 보니 과거에도 특정 페이지에 방문수가 몰린 다음 크롤러 오류가 발생했던 경험이 있습니다. 그렇다고 특정 페이지에 방문자 몰렸을 때마다 발생한 것이 아니라 정확히는 알 수 없습니다.

 

크롤러 오류와 애드센스 수익?

가장 중요한 문제 같습니다. 결국 수익에 큰 영향이 없다면 걱정 안 해도 되겠죠?

 

크롤러 오류는 보통 새로 포스팅을 했을 때 발생했고, 그 이후에 작성하는 포스팅에 추가적으로 발생하는 경향이 있어  수익이 크게 줄었던 적은 없는 것 같습니다.  크롤러 오류 났던 페이지도 조금 시간이 더 걸릴 뿐 보통 하루 이틀 내에 광고가 제대로 붙는 거로 봐서는 수익에 크게 영향을 주지는 못하는 것 같습니다.

 

그러나 레드 표시인 광고 게재 제한 표시는 조금 다른 것 같습니다. 이 표시가 뜨고는 영향을 조금 받은 것 같습니다.

크롤러 오류도 신경쓰이는데 함께 레드 표시가 떴네요.

 

크롤링 오류와 관련해서는 할 수 있는 것도 특별히 없고 수익에 영향도 미미하고 늦어도 1~2주 후면 사라지기에 특별히 신경 쓸 필요도 없지만 광고 게재가 제한되었다는 표시는 조금 다른 것 같습니다.

 

22일쯤 메시지를 전달받았고, 블로그를 살펴보니 광고가 어느 정도 잘 나오고 있어 말 그대로 제한적으로 이루어지고 있는 것 같은데 수익은 다소 줄었습니다.

 

현재 빠른 문제 해결을 위해 무효클릭 의심 IP 신고하기와 문제 발생한 시점 이틀 전까지의 포스팅을 살펴보고 일부를 비공개로 전환했습니다. 포스팅 중에 문제가 된 케이스라면 이런 식으로 해결되리라 보고 있습니다.

 

애드센스 정책 설명에는 제한이 30일 이내이지만 경우에 따라서 더 오래간다고 하는데 빨리 해결됐으면 좋겠습니다.

 

*관찰 분석을 통해 얻은 데이터로 개인마다 다소 차이가 발생할 수 있습니다. 일반적인 경향을 봐주시면 좋겠습니다.