Robots.txt 오류 해결 검색 엔진에 노출이 안될때

robots.txt는 블로그를 하시고 수익화를 위해서 운영하시는 분들이라면 많이 들어보셨을 것 같습니다. 그리고 저와 같이 타 사이트에서 노출이 거의 안 돼서 이 파일에 대해 궁금증을 가지고 계신 분들 또한 존재하실 거라 생각이 듭니다. 이 파일은 홈페이지 디렉토리 구조안에 존재하는 파일로 현재 티스토리 블로그에 대해 설명하자면 다음이 아닌 다른 포털사이트들(구글, 네이버 등등)이 내 블로그사이트를 수집할 수 있게 허용해 주는 파일입니다. 보통은 주력 사이트인 다음에서는 쉽게 노출이 되지만 아쉽게도 포털사이트 내에서 다음검색이 차지하는 비중이 작다 보니 타 사이트에도 제 티스토리 블로그가 노출이 되어야 방문자 유입이 많아지고 블로그가 점차 커질 수 있기 때문에 블로그 수익화를 꿈꾸는 이들이라면 중요한 파..