[애드센스] 광고 크롤러 오류? 수익 손실 발생! 해결방법

애드센스를 사용하다 보면 애드센스 보고서에서  '광고 크롤러 오류가 있으며, 이 때문에 수익 손실이 발생할 수 있습니다.'라는 경고창이 나올 때가 자주 보일 때가 많습니다. 오늘은 이 크롤러 오류가 무엇이며 어떻게 해결해야 하는지 알아보겠습니다.

애드센스 광고 크롤러 오류

크롤링이란?

대부분의 검색 엔진에서는 크롤링이라는 걸 하는데, 이 크롤링은 간단히 말해 각 플랫폼(구글, 네이버, 다음 등)에서 어떠한 문서 및 게시글을 가져가는 그 행위를 크롤링이라고 합니다.

 

사실 웹사이트는 상당히 프라이빗 공간 입니다. 그래서 아무나 가져가도 되는 것이 있고 안되는 것이 있죠. 예를 들어 우리들은 검색엔진 플랫폼에게 '내 모든 게시글을 가져가서 게시해줘!'라고 생각하겠지만 사실 그렇지만은 않습니다.

 

게시글 같은 경우는 플랫폼에서 우리 사이트를 방문해 크롤링해 가져가지만, 관리자 페이지, 스킨 페이지 등은 가져가면 안 됩니다. 다행히도 티스토리는 자동으로 이 페이지들을 크롤링하지 못하게 설정해놨습니다. 

 

하지만, 이과정에서 어떠한 문제가 생기면 바로 광고 크롤러 오류가 있다는 오류 메세지를 보냅니다. 중요한 단어는 바로 '광고' 광고 크롤러 오류가 생겼다는 건 애드센스에서 굉장히 부정적인 시점으로 바라본다는 뜻입니다.

 

구글은 우리 게시글을 단순히 상단에 올려주기위해 게시자를 도와주는 게 아니라, 애드센스 광고를 노출시켜 광고주들에게 도움이 되게 하는 역할을 합니다. 그래서 해당 페이지에서 애드센스 광고가 계속 게시되어도 되는지, 안되는지를 판단하는 것이죠.

 

쉽게 말해, '해당 페이지는 광고 계정 정지를 해야 하는 페이지입니까?' 아니면 '광고 게재 제한을 걸어야 하는 페이지입니까?' 혹은 '애드센스 정책 위반 사항이 발생되어 수정해야 된다고 통보해야 합니까?'라고 계속해서 구글은 확인하게 됩니다.

 

이 때문에 구글은 게시글을 가져가기 위해 계속 크롤링을 합니다.

 

그런데! 이 과정을 할 수가 없으니 구글에서는 이 페이지에서 광고를 실어도 되는지 안되는지 판단 능력을 잃게 됩니다.  때문에 안내 메시지를 우리에게 보내주게 되는 거죠.

경고 메시지를 보내는 이유

아주.. 무서운 글로 우리를 겁먹게 하죠? 여기서 메시지를 잘 보시면 '수익 손실이 발생할 수 있습니다' 가정을 하네요? 네. 우리 페이지는 아무런 문제가 없는데도 구글은 저런식으로 경고 메세지를 띄우는 경우가 허다합니다. 

 

이유인 즉 애드센스에서 책임을 회피하기 위해서입니다. 

• 게시자의 잘못으로 해당 페이지를 크롤링할 수 없을 때
• 애드센스 또는 구글서치콘솔의 잘못으로 해당 페이지를 크롤링할 수 없을 때

대부분 게시자의 잘못인 경우는 없지만, 만약 애드센스 또는 구글서치콘솔에서 잘못해 광고를 띄우지 못해서 게시자들이 피해를 입기 전에 미리 '우리는 당신들 에게 미리 경고를 했다'라고 시도 때도 없이 보냅니다.

 

때문에 광고 크롤링에 대해서만 경고 메시지를 보내는 게 아니라, 여러 경고 문구들이 옵니다..

신경 써야 할 경고 문구?

크게 두 가 지로 나눠지는데

1. 확정적 구체적인 경고 문구
2. 가능성을 이야기하는 경고 문구

확정적으로 경고 문구를 날리는 경우에는 신경 써야 할 부분이지만 가능성을 이야기하는 경고 문구는 그냥 무시해도 됩니다. (구글의 책임 회피용)

위: 확정적인 경고 문구 / 아래: 가능성을 이야기하는 경고 문구

해결 방법은?

그래도 신경 쓰이는 이 문구 해결 방법은 있을까요? 네. 여러 가지가 있습니다.

 

첫 번째, 기다리면 대부분 해결된다.

제가 1년 넘게 블로그를 운영하면서 해당 크롤러 오류 경고 메시지를 어림잡아 10번은 받은 거 같은데, 1~2주 정도 지나면 경고 메시지가 사라졌고, 이 1~2주 사이에도 광고가 문제없이 게시되었었습니다.

구글의 문제로 애드센스가 일시적으로 크롤링 안 되는 경우가 있는데 이때 경고 메시지를 준 것뿐이라 기다리면 해결됩니다.

 

두 번째, 오류가 있는 URL 직접 확인

경고 메시지 오른쪽에 '작업'을 눌렀을 때 나오는 오류 URL을 직접 들어가서 해당 페이지가 제대로 나오는지 확인하는 방법이 있습니다. 여기서도 안 나오는 경우가 있는데, 이 경우는 게시자가 게시글을 삭제했거나 / 비공개 처리했을 때, 다양한 검색엔진에서는 이를 바로 인식하지 못합니다. 그래서 오류 메시지를 띄우지만 막상 문제는 없는 거죠.

TIP

 

 

위와 같은 상황 때문에 글이 삭제되었다고 해서 절대 삭제된 게시글을 그대로 퍼오거나 가져와 올리시면 안됩니다. 검색엔진에는 아직 데이터가 남아 있어서 이를 파악하지 못하기에 크롤링 오류가 발생하거나 중복해서 구글에 노출될 수 있으니 주의!

쉽게 말해 구글에서 게시글이 정상적인 줄 알고 크롤링해서 가져갔는데, 애드센스 광고 확인차 다시 확인해 봤더니 그 게시글이 비어있는 상태인 것이죠. 구글에선 분명 전에는 확인이 되었는데 지금은 확인할 수 없으니 크롤러 오류 메시지를 급하게 보냅니다. 

 

이경우에도 첫 번째와 마찬가지로 기다리면 해결이 됩니다. 

 

혹시 신경 쓰여서 직접 삭제하고 싶으시다면 구글서치콘솔 에서 비공개되거나 삭제한 게시글을 직접 삭제하셔도 됩니다.

 

세 번째, 해당 페이지의 외부 링크 혹은 내부 링크에 문제가 있는 경우

이 부분을 설명하기 전에 구글 SEO에 대해 먼저 아셔야 합니다. 제 블로그에서 해당 글을 잘 정리해놨으니 궁금하시면 아래 링크 타고 보시면 됩니다.

2022년 구글 상위 노출! SEO(검색 엔진 최적화) 최적화 글쓰기 방법

2022년 구글 상위 노출! SEO(검색 엔진 최적화) 최적화 글쓰기 방법

백링크 라는 의미를 아셨죠? 구글 SEO는 이 백링크를 아주 중요하게 봅니다. 만약 해당 페이지에 걸려있는 링크가 삭제되거나 잘못된 주소일 때 구글 SEO 아주 부정적인 시점으로 보기 때문에 바로 수정하시는 것을 추천합니다. (하지만 현실적으로 파악하긴 힘들죠...)

 

만약 페이지는 문제없이 잘 나오는데 왜 크롤러 오류가 발생했지? 라고 생각이 드신다면 백링크에 문제가 있는지 없는지를 확인해 보시는 것도 해결 방법 중 하나입니다. 

 

네 번째, 위에 방법을 모두 해봤는데 해결이 안 됐을 때

위의 방법들을 모두 해봤지만 해결이 안 됐다면 구글서치콘솔에 가서 해당 페이시를 다시 URL 등록해주셔야 합니다. 만약 해당 페이지가 등록되어있다고 나오면 아무것도 하지 마시고 기다리시면 됩니다.

한 줄 요약

구글은 자신들의 책임을 회피하기 위해 게시자들에게 경고 메시지를 시도 때도 없이 보낸다.

 

 

오늘은 광고 크롤러 오류 수익 손실 발생 해결방법에 대해 알아보았습니다. 혹시 도움이 되셨거나 유익하셨다면 공감 한번 부탁드립니다.

 

 

읽어주셔서 감사합니다🤟