[티스토리] 구글 애드센스 "광고 크롤러 오류" 해결 방법.

 

이번 시간에는  구글 애드센스  광고 크롤러 오류 에 대해서 알아보겠습니다. 구글 애드센스 사이트에서 종종 이 광고 크롤러 오류에 대한 알림이 뜨는데요. 저는 몇 주 전에 처음으로 이런 알림을 확인하고 해결 후, 어제 또 알림이 뜨더라고요. 

 

"광고 크롤러 오류가 있으며, 이 때문에 수익 손실이 발생할 수 있습니다."라는 한 줄 알림입니다. 애드센스 광고 게재를 하시는 분들은 종종 보게 되실 텐데요. 수익 손실이라는 무서운 말을 하는데, 확인 안 해볼 수 없겠죠? ㅋㅋ 우선 애드센스 광고 크롤러 오류가 무엇인지 애드센스 사이트 도움말에 검색을 해봤습니다. 

 

애드센스 크롤러 정보 크롤러는 스파이더 또는 로봇이라고도 하며 웹페이지 콘텐츠를 확인한 후 색인하는 Google의 소프트웨어입니다. 게시자의 사이트와 관련성이 높은 광고를 게재하기 위해 애드센스 크롤러가 해당 사이트를 방문하여 콘텐츠를 확인합니다. 크롤러 보고서는 주 1회 업데이트됩니다. 크롤러는 자동으로 실행되며 크롤링 주기를 늘리거나 줄일 수 없습니다. 

애드센스 크롤러는 Google 크롤러와 다릅니다. 두 크롤러는 따로 작동하지만 캐시를 공유합니다. 이렇게 하는 이유는 두 크롤러에서 동일한 페이지를 요청하여 게시자의 대역폭이 중복 소비되는 것을 방지하기 위해서입니다. 이와 마찬가지로 Search Console 크롤러도 독자적으로 작동합니다. 

크롤러 색인은 URL을 기준으로 합니다. 크롤러는 robots.txt 파일에 명시된 페이지나 디렉토리는 액세스하지 않습니다. Google 및 애드센스 Mediapartners 크롤러는 모두 게시자의 robots.txt 파일을 참조합니다. 이 파일에 특정 페이지나 디렉터리에 대한 액세스가 차단되어 있으면 해당 페이지나 디렉토리에서는 크롤링이 실행되지 않습니다.

 

 

 

설명이 너무 길어서 일부만 가져와 봤습니다. 애드센스 크롤러는 구글 크롤러와 다르다고 합니다. 애드센스 광고를 게재하지 않아도 내가 발행한 콘텐츠는 구글봇이 정보를 수집해 갑니다. 애드센스 크롤러는 내 사이트와 관련성이 높은 광고를 게재하기 위해서 콘텐츠를 확인하는데, 이 과정에서 뭔가 문제가 발생했다는 건데요. 그래서 광고 노출이 원활하게 이루어지지 않으니, 수익이 감소할 수밖에 없습니다. 

 

 

방문자 수와 수익이 반드시 비례하는 것은 아니지만 일정 페이지뷰 이상이면 보통 광고 클릭수 얼마에, 수익이 얼마는 발생하더라는 통계는 확인할 수 있는데요. 페이지뷰는 높은데 비해서 광고 클릭이 현저하게 낮다거나 할 때는 광고 노출이 제대로 되고 있는지 확인을 해 볼 필요가 있겠습니다. 

 

단가 낮은 광고로 인해서 수익이 낮은 건 이해할 수 있지만, 많은 페이지의 노출에도 불구하고 클릭이 없다는 것은 광고가 제대로 송출되지 않는 문제라고 할 수 있겠죠. 저도 몇 주 전에 광고 크롤러 오류를 처음 접했을 때 그런 상황이었습니다. 광고 게재율이 100% 설정 상태임에도 불구하고, 광고 자리가 비어서 제대로 뜨지 않는 걸 여러 번 목격했죠. 우선 해결 후에는 확실히 광고 클릭수가 증가하는 걸 확인할 수 있었습니다. 

 

스킨 변경이나 스킨 html 편집, 카테고리 수정 등 변화가 생길 때마다 방문자수와 애드센스 수익에 급격한 영향을 미치는 것 같습니다. 지금도 광고 크롤러 오류를 해결하는 과정에서 스킨 html 편집을 몇 번 했더니, 방문자 수에 직격탄을 맞았네요. 물론 곧 시간이 지나면 다시 안정화됩니다. 믿고 기다리면 되겠습니다. 

 

 

 

구글 애드센스 사이트에서 광고 크롤러 오류 알림 글을 확인하신다면, 그냥 닫기로 무시해 버릴 수도 있지만 작업을 클릭하여 들어가 봅니다. 알림이 뜨지 않을 때도, 설정 > 계정 > 상태 > 크롤러 오류에서 확인할 수 있습니다.

 

 

 

크롤러에서 ’차단된 URL’ 항목에 나열된 페이지에 액세스할 수 없어 콘텐츠 및 디스플레이 광고를 확인하지 못했습니다. 각 도메인 옆에 있는 '더하기(+)' 아이콘을 클릭해 해당 URL 목록을 확인하세요. 크롤러가 콘텐츠에 액세스하지 못하면 광고가 게재되지 않으므로 결과적으로 수익이 줄고 노출 범위가 축소됩니다. '오류' 항목의 링크를 클릭해 이러한 오류를 해결하는 방법을 알아보세요.

 

 

광고크롤러오류, 블로그광고, 블로그로 수익내기

 

더하기(+) 아이콘을 클릭하면 차단된 URL 목록이 나옵니다. 알 수 없는 오류와 URL 문제 : 페이지를 찾을 수 없음으로 나오고 있습니다. URL 목록을 다운로드해서 엑셀 파일로 저장했습니다. 중복되는 주소를 정리하여 2개의 URL을 확인해 보니, 잘못된 주소이거나, 비공개 또는 삭제된 글이었습니다. 

 

 

저번 오류와 마찬가지로 이번에도 카테고리 수정이나 비공개, 삭제된 주소에 대한 오류였어요. 이처럼 필요 없는 URL에 대한 문제라면 URL 검색 결과에서 삭제를 해주면 되겠습니다. 정상적으로 노출되어야 할 콘텐츠라면 문제의 원인 파악이 필요하겠죠.

 

 

 

구글 서치 콘솔 (Search Console) > Google 색인 > URL 삭제로 갑니다. 애드센스 광고 크롤로 오류를 접하시는 분들은 이미 서치콘솔 사용을 생활화하실 거라 생각합니다. 만일 서치 콘솔을 처음 접하시는 분들은 아래의 지난 포스팅을 확인하시면 도움이 되실 겁니다.

 

2017/12/11 - [▶ 정보/IT : 티스토리, 애드센스] - 티스토리, 구글 검색에 노출하는 방법-①

2017/12/12 - [▶ 정보/IT : 티스토리, 애드센스] - 티스토리, 구글 검색에 노출하는 방법-②

2017/12/16 - [▶ 정보/IT : 티스토리, 애드센스] - [티스토리] 구글 검색에 누락된 글, 이 방법으로 노출시키자!! ★

 

URL 삭제에서 일시적으로 숨기기를 클릭하면 "숨기려는 사이트 URL 을 입력하세요. (대소문자 구분)" 라고 나옵니다. 빈칸에 해당 URL을 복사하여 붙여 넣고 계속을 클릭하여 넘어갑니다.

 

 

 

페이지 검색 결과에서 일시적으로 숨기고 캐시에서 삭제하기로 설정하고 요청 제출을 클릭합니다. 이 방법은 소유하고 있는 URL을 검색결과에서 일시적으로 삭제합니다. 콘텐츠를 완전히 삭제하려면 소스 페이지를 삭제하거나 업데이트해야 합니다.

 

 

 

자세히 알아보기를 통해서 여러 가지 방법들을 확인할 수 있습니다. 우선 여기까지 해당 URL이 삭제할 목록에 추가되었습니다. 상태는 아직 보류이고, 하루~ 며칠 후에 삭제된 걸 확인할 수 있습니다. 애드센스 사이트에서도 크롤러 오류 페이지가 깨끗하게 비워진 걸 확인할 수 있습니다. 

 

 

 

서치 콘솔에 온 김에 구글 크롤링 오류도 한번 확인해 봅니다. 서치 콘솔 > 크롤링 > 크롤링 오류로 들어가 보면 오류가 제법 많이 있습니다. 주기적으로 체크를 해보시는 게 좋겠습니다. URL을 하나씩 클릭하고 들어가 봅니다.

 

 

 

URL을 열어보면 삭제되거나 비공개 주소도 있지만, 정상적으로 노출되어야 할 콘텐츠도 많았습니다. 그중에 필요 없는 URL은 위에서 했던 방법으로 모두 삭제 처리해줬습니다. 서치 콘솔 창을 2개 열어 두고, 복사하고 붙여 넣고 삭제하고를 반복했어요. 

 

위의 창을 닫을 때는 취소 눌러서 닫아도 되고, 수정됨으로 표시를 누를 경우는 크롤링 오류 페이지에서는 사라지지만 문제가 해결되지 않으면 나중에 다시 뜹니다. 그리고 대부분의 404 오류는 Google에서 사이트의 순위에 영향을 미치지 않으므로 해결할 필요 없이 무시해도 된다고 합니다. 저는 그냥 필요 없는 페이지는 모두 삭제 처리해주었습니다. 

 

티스토리, 애드센스를 하다보면 이런 오류들을 수시로 접하게 되고 그래서 배워나가는 부분이 많습니다. 그 분야에 전문가가 아닌 이상 근본적인 해결책은 찾지 못하더라도 수시로 체크하고 관리해 준다면 수익형 블로그를 운영함에 있어서 많은 도움이 되지 않을까 생각합니다.  

 

읽어주셔서 감사합니다. ♡