웹페이지 크롤링 및 색인 생성 권장사항

이번 글에서는 구글에 검색 노출이 되는 웹페이지를 만들기 위하여 크롤링 및 색인 생성에 관한 설정을 어떻게 해야 하는지에 대하여 다루겠습니다.

 

 

# 링크에 관한 설정

  우리가 포스팅 또는 웹페이지를 제작을 함에 있어서 화면에 표시되는 링크는 굉장히 많습니다. 그 링크는 목차나 페이지 이동과 같이 한 웹사이트 내부에서 다른 위치로 이동하는 '내부 링크'일 수도 있으며, 현재 위치한 웹사이트가 아닌 다른 웹사이트로 이동하는 '외부 링크'일 수도 있습니다. 우리는 이러한 외부 링크와 내부 링크를 사용함에 있어서 몇 가지 사항들을 기억하고 지켜야 합니다.

 

  링크에 관한 중요한 사항은 2가지입니다. 첫번째로는 구글 봇 등의 검색엔진이 링크를 링크로서 인식할 수 있도록 하는 것과 링크를 통해 이어진 웹사이트들은 서로 자신이 가지고 있는 '평판'을 공유한다는 것입니다. 첫 번째로 링크가 링크로 인식될 수 있도록 하는 것은 구글 봇이 크롤링할 수 있도록 설정해 주는 것이며, 이는 html적 관점에서 얘기를 해야 합니다. 하지만, 일반적인 사용자는 그저 링크를 복사해서 붙여 넣기 때문에 이러한 과정이 필요가 없습니다. 간단히 말씀드리면 링크를 걸어주는 태그인 <a> 태그를 a 태그로만 사용하지 않고 <a herf>로  href 속성을 함께 사용해야만 검색엔진이 인식할 수 있다는 것입니다.

• 또한, 링크의 색깔이나 밑줄등을 고의적으로 삭제하여 일반 텍스트처럼 보이게 하는 것 또한 검색 노출에 좋지 않은 영향을 주게 됩니다.

 

  두번째로는 우리가 웹사이트에 작성하는 링크들은 우리의 웹사이트와 평판을 공유하게 되기 때문에 링크를 걸 때에 좋지 않은 사이트를 소개하기 위한 목적일 때에는 a 태그의 속성 뒤에 rel = nofollow 속성을 붙여 사용하여 링크가 링크로 표시되기는 하지만, 클릭한 사용자가 이동하지는 못하도록 설정해야 합니다.

• 평판을 공유한다는 관점에서 나오는 개념이 백링크입니다.

 

# 페이지의 목적에 따른 로봇 배제

  페이지의 목적이 특정한 목적만을 가지고 있거나, 타인에게 공유하기 위한 목적이 아닐 때에는 우리가 별도의 설정을 진행해야 합니다. 디렉터리 자체를 비공개로 돌리어 타인이 들어오지 못하게 하는 것  만으로 그 설정을 할 수 있으나, 웹페이지 직접 제작 등의 이유로 인하여 이러한 비공개 등의 도구를 사용하지 못하는 경우에는 로봇 배제 표준 설정을 변경해야 합니다.

 

  로봇 배제 표준이란 블로거들이라면 많이 보았을 robots.txt를 말하며, 간단히 말하여 자신의 웹사이트 내부에서 행해지는 크롤링 및 색인 생성 법칙입니다. 우리는 여기서 검색엔진이 보지 않았으면 하는 디렉터리 또는 페이지들을 disallow 설정하여 롭소의 탐색 대상에서 제외하는 것으로 크롤링 대상에서 제외될 수 있습니다.

 

 

# 페이지 이동에 관한 확연한 설정

  페이지를 이동하는 것에는 여러가지 방법이 있습니다. 우리 티스토리 블로거라면 글의 가장 아랫부분에 표시되는 다른 글들에 대한 소개 프로필이나, 숫자로 표시되어 있는 다른 글로의 이동 방법이 있을 것이며, 웹툰 페이지 등에서는 다음 페이지 또는 이전 페이지로의 이동이 있을 것입니다.

 

  이러한 페이지가 이동하는 버튼 등의 기능을 사용자가 확실히 인지할 수 있도록 해야 합니다. 이는 단순히, 웹사이트 방문자의 편의성을 위한 것만이 아닌, 구글 봇 등의 검색엔진 들도 페이지 이동을 쉽게 할 수 있도록 하여 크롤링이나 색인 생성 등의 과정에서 오류가 일어나지 않게 하기 위함입니다.

 

 

여기까지 구글에 검색 노출이 되는 웹페이지를 만들기 위하여 크롤링 및 색인 생성에 관한 설정을 어떻게 해야 하는지에 대하여 다루었습니다.

 

 

# 본문과 관련된 다른 글

구글 SEO를 배우는 방법 (검색 노출)

https://rpglab12.tistory.com/entry/구글-SEO-배우는-방법-검색-노출

구글 SEO를 배우는 방법 (검색 노출)

링크 사용이 검색노출에 미치는 영향

https://shforfuture.blogspot.com/2022/06/blog-post_62.html

링크 사용이 검색노출에 미치는 영향