크롤러 오류 해결 방안 어느 정도 효과를 바로 확인 했음

크롤러 오류 수익에 영향을 줄 수 있다. 이미 영향받았다.

크롤러 오류가 너무 심하다 보니 이번 달은 시작부터 영향을 받고 있다. 지난달에도 크롤러 오류 때문에 수익에 영향을 적지 않게 받은 것으로 보인다.

 

크롤러 오류-호스팅 서버에 연결할 수 없음

 

이전에는 크롤러 발생하면 며칠에서 늦어도 15일 안에는 깔끔하게 사라졌는데 지난달부터는 늘었다 줄었다를 반복하면서 광고도 제대로 안 붙고 꽤 오랫동안 괴롭히고 있다.

 

이번 달 이제 이틀밖에 안 지났지만 문제가 해결될 기미는 안 보이고 수익은 평소보다 1/2 정도밖에 나지 않았다. 그래서 이래저래 크롤러 오류 해결하려고 시도해 보고 있는데 오늘 실질적인 진전을 좀 보았다.

 

한 번에 100% 해결은 되지 않았지만 현재 오류 나서 광고가 붙지 않던 페이지 중에 반절 이상에서 광고가 나오는 걸 바로 확인했으니  이번엔 도움이 됐다고 말할 수 있겠다.

 

크롤러 오류 문제 해결이 안 될 때는 포스팅 발행-> 애드센스 크롤링 -> 광고 송출 등 기본 원리에 대해 생각해 보자

내가 이번에 시도한 크롤러 오류 해결책은 크롤러 오류가 난 페이지를 수정해서 재발행하는 것이다.

 

첫 크롤링(광고 게재를 위한 페이지 정보 수집)은 글을 발행할 때 요청하게 되는데, 이때 서버랑 애드센스 크롤러랑 통신이 제대로 이루어지지 못해 정보를 제대로 전달받지 못하면 애드센스 크롤러는 오류를 발생시킨다.

 

문제는 크롤러 오류가 일단 발생하면 방문자들이 페이지에 접속했을 때 광고를 요청해도 그 페이지에서는 애드센스에서 광고를 송출할 수가 없다는 것이다. 

 

또한 오류난 페이지에서 애드센스 크롤러가 언제 다시 크롤링할지 모른다는 것이다. 그래서 기다리다 보면 다시 크롤링 작업이 정상적으로 이루어져 빠르면 며칠 내 또는 1~2주 사이에 완전히 복구되기도 하는 것이다. 다시 크롤링 시도할 때 문제가 또다시 발생한다면 해결되는 시간은 길어지는 원리라 보면 된다.

 

그래서 서버에 문제가 좀 있어서 서버가 불안정할 때 발행이 이루어지면 크롤링이 정상적으로 이루어지지 못해 오류가 나는 것이라 추측하고 있다. 

 

 

반응형

 

 

구글 고객센터에서 확인해보면 크롤링은 오류가 발생하면 보통 일주일 정도 지나서 다시 한다고 나와 있던 것 같은데...

 

뭐 그 전일 수도 그 후일 수도 있어서 며칠 또는 길게는 10을 정도 걸리는 것 같다. 그동안은 광고가 안 붙는다고 보면 된다. 오류 해결에 대한 판단은 오류 표시가 사라졌나 보다는 그 페이지에 광고가 붙었나 안 붙었나로 하면 될 것 같다.

 

아무튼 크롤러 오류가 발생하면 다시 크롤링을 거쳐 제대로 된 정보를 수집해 가기까지는 광고 송출이 안된다고 보면 된다.

 

그래서 딱히 해결책이 없어서 카더라에 따라 구글 서치 콘솔에서 색인 작업도 해보고 애드센스에 크롤러 액세스로 크롤링을 해보기도 하는데 둘 다 해봤지만 효과는 없었다. 해결되는 것처럼 보이는 건 시간상 우연의 일치로 보인다. 일단 즉각적인 해결이 안 되므로 그게 도움이 되는지 정확히 알 수 없다.

 

이번에 해보니 애드센스에서 수동 크롤러 액세스는 며칠 만에 크롤링됐다고 표시 떴는데도 그로부터 일주일이 지나도록 광고도 안 붙고 오류 표시도 사라지지 않았다.

 

구글 서치 콘솔 색인 작업 같은 경우에는 애드센스 고객센터에도 나와있듯이 서치 콘솔 크롤러랑 애드센스 크롤러랑 다른 시스템이라고 친절히 설명되어 있다. 구글 서치 콘솔 크롤러는 검색을 위한 색인을 만드는 역할을 하고 애드센스 크롤러는 발행된 페이지에서 광고 송출을 위해 정보를 수집해 가는 역할을 한다. 둘의 기능은 검색과 광고로 나뉜다고 보면 된다.

 

확인해 본 결과 서치 콘솔에 색인이 이미 만들어져 있어도 크롤러 오류가 발생하고 있는 것을 확인했다. 그러므로 둘은 관련이 없다고 말할 수 있다.

 

그런데 다시 곰곰이 생각해 보자. 정상적인 티스토리라면 글을 발행하고 빠르면 몇 분에서  몇십 분 후면 바로 광고가 붙는다.

 

티스토리에서 포스팅 발행과 동시에 애드센스 크롤러에 크롤링 요청을 하면 애드센스 크롤러는 발행된 페이지에 접근해 크롤링 작업을 하고 수집된 정보를 바탕으로 바로 광고를 송출하게 되는 것이다.

 

그런데 논리적으로 따져보면 크롤링 요청은 처음 글을 발행할 때뿐만 아니라 수정할 때도 발생하는 게 맞다.

 

글이 수정되었으면 그에 맞는 정보 수집도 다시 해야 한다. 그래서 오류가 난 페이지에 제목과 내용을 일부 수정하고, 일부 인용할 내용을 복사 붙여 넣기 했다면 서식이 딸려 들어갔으면 html모드에서 확인 후 제거도 해보고...(그런데 서식 들어간 페이지에서도 광고가 나오는 걸 보면 크게 상관은 없을 것 같은데... 어쨌든 수정 작업의 일환으로 정리하면서 재발행한다고 생각하면 될 것 같다.)

 

사진과 내용 순서를 바꿔 본다든지 하는 등의 수정 작업을 한 후 재 발행하면 크롤링 작업이 새로 요청되어 정상적으로 작동한다면 그 페이지에 바로 광고가 붙는 걸 확인할 수 있다.

 

그런 식으로 한 번에 안 되는 것은 2~3번 수정 작업을 했더니 광고가 붙기도 했다. 물론 광고가 그래도 안 붙는 것들도 아직 있는데... 바로 적용돼서 광고가 붙기도 하지만 시간이 좀 걸리는 경우도 있으니 다시 지켜본 후 광고가 여전히 안 뜨면 다시 시도해 볼 생각이다.

 

크롤러 오류는 그냥 놔둬도 빠르면 며칠이면 해결이 되기도 한다. 그런데 너무 오래 지속된다면 인위적으로 해결해 보는 수밖에 없다.

 

이게 크롤러 오류 해결에 도움이 되었으면 좋겠습니다.