robots.txt는 블로그를 하시고 수익화를 위해서 운영하시는 분들이라면 많이 들어보셨을 것 같습니다. 그리고 저와 같이 타 사이트에서 노출이 거의 안 돼서 이 파일에 대해 궁금증을 가지고 계신 분들 또한 존재하실 거라 생각이 듭니다.
이 파일은 홈페이지 디렉토리 구조안에 존재하는 파일로 현재 티스토리 블로그에 대해 설명하자면 다음이 아닌 다른 포털사이트들(구글, 네이버 등등)이 내 블로그사이트를 수집할 수 있게 허용해 주는 파일입니다.
보통은 주력 사이트인 다음에서는 쉽게 노출이 되지만 아쉽게도 포털사이트 내에서 다음검색이 차지하는 비중이 작다 보니 타 사이트에도 제 티스토리 블로그가 노출이 되어야 방문자 유입이 많아지고 블로그가 점차 커질 수 있기 때문에 블로그 수익화를 꿈꾸는 이들이라면 중요한 파일이기도 합니다.
Robot.txt가 존재하지 않습니다.
주로 네이버 서치어드바이저에서 나타나는 오류로 이런 메시지가 나왔을 경우의 해결방안을 알려드리겠습니다. 그런데 인터넷상에 잘못 퍼져있는 해결방안이 눈에 띄었고, 그걸 또 다른 블로거들이 재 포스팅해서 올려놓은 것을 확인해서 우선 잘못된 해결책에 대해서 말해보겠습니다.
① 네이버 서치어드바이저 웹마스터도구 →검증→robots.txt를 클릭합니다.
② robots.txt 간단생생성에서 모든 검색로봇과 수집을 허용합니다를 선택 후 다운로드를 눌러줍니다.
③ 그럼 robots.txt파일을 다운로드하여 저장할 수 있습니다.
④ 다음 티스토리 블로그 스킨편집 안에 들어와서 파일업로드로 들어옵니다.
⑤ 아래 추가버튼을 눌러 방금 다운로드한 robots.txt파일을 넣어줍니다.
⑥ 그럼 image/robots.txt파일이 추가가 됩니다.
여기까지가 잘못된 방법이며, 오류해결과는 전혀 무관한 일을 하신 겁니다.
위에 파일들의 이름에 마우스를 가져다 보면 파일들은 모두 이미지라는 것을 확인할 수 있습니다. 스킨을 꾸밀 때 사용하는 이미지들을 모아놓은 곳이라 방금 넣은 파일도 이미지 폴더 안에 들어간 거라 이해하시면 됩니다.
티스토리 블로그의 설명을 보게 되면 아래와 같은 항목이 나와 있습니다.
'필수요소가 아닌 파일은 모두 images아래에 위치하게 됩니다.' 결국 검색에 영향을 미치는 중요한 텍스트 파일이 이미지 밑에 들어가서 이도저도 아닌 파일이 되어버리는 거죠 쉽게 설명하면 프로그램파일에 들어가야 할 파일이 바탕화면에 위치한 직박구리폴더 안에 들어가 있는 거나 마찬가지인 겁니다.
자신의 티스토리 Robots.txt 확인하기
실제 오류를 확인하려면, 우선 본인의 티스토리의 robots.txt가 생성되어 있는지 확인을 해봅니다.
주소창에 본인의 블로그 주소를 적은 후 뒤에 /robots.txt를 입력하게 되면 바로아래그림처럼 자신의 robots내용을 확인할 수 있습니다. 대부분 문제없이 아래처럼 내용이 나올 테지만 간혹 나오지 않는 분이 있다면 그건 카카오고객센터에 바로 문의를 해야 합니다.
다음 네이버 서치어드바이저로 로그인한 후 웹마스터도구 →검증→robots.txt를 클릭합니다.
그리고 아래 수집요청을 눌러주시면 방금 확인했던 본인의 파일이 그대로 들어오는 것을 확인하실 수 있습니다.
(처음엔 나오지 않는 경우, 시간이 지나면 수집이 정상적으로 되는 것을 확인하실 수 있습니다. )
여기서 본인의 파일을 계속 수집을 못한다면 네이버 고객센터에 문의를 해보셔야 됩니다.
아래에 있는 robots.txt검증을 눌러 자신의 블로그가 수집가능여부를 확인할 수 있습니다.
블로그 포스팅주소마다 하나씩 검증이 가능하며, 검증에 문제가 없다면 오류가 해결된 것입니다.
Robots에 쓰인 내용은 검색노출과 연관이 있을까?
제가 왜 이 텍스트 파일에 관심을 가지게 되었냐면 제 파일엔 왜 빙검색인 bingbot만 입력되어 있는지 궁금했기 때문입니다.
구글검색인 Googlebot이나 네이버 검색인 yeti가 표기되어 있지 않은 것이 미노출과 연관되어있지 않을까란 의문이 들었기 때문입니다.
그리고 따로 Allow:/(검색허용한다는 표시) 항목이 없었기 때문에 과연 정상적으로 일을 하고 있는지 알 수가 없었습니다. 그래선 전 카카오 고개센터에 문의를 하게 되었습니다.
| 고객센터의 답변 Allow:/ 부분과 구글 검색 미노출은 무관합니다. Allow가 없는 경우, 디폴트로 Allow:/가 동작하기 때문입니다. https://www.rfc-editor.org/rfc/rfc9309 국제 표준에 맞춰 robots.txt 파일을 작성했으니, 이점 참고하시기 바랍니다. |
우려했던 것과는 다르게 문제가 없는 방식이라고 합니다. 허용이라는 표시는 하지 않아도 기본이 동작을 허용하기 때문에 disallow만 표기가 되어 있었던 거라 합니다.
혹시 저처럼 의문점을 가지셨던 분이 있다면 도움이 되었길 바랍니다.
