광활한 월드와이드 웹은 검색엔진으로 시작해서 검색엔진으로 끝난다고 할 수 있다.
정보 취득을 위해 모든 이용자가 가장 먼저 검색엔진으로 검색을 시작하며. 필요로 하는 정보를 취득하고 있다. 고로 검색엔진은 현대사회를 살고 있는 우리들에게 가장 친숙하면서도 편리하게 정보에 접근하게 해주는 고마운 존재라고 볼 수 있다. 그렇다면 검색엔진은 어떻게 우리에게 검색 결과를 보여주고 있는 것일까?
다음의 과정도는 검색엔진의 검색 정과정을 요약한 내용이다.
최초 검색엔진은 정보를 수집할 대상 웹사이트를 크롤러(스파이더)라는 검색 봇을 웹사이트로 보내 사이트 전체 데이터 소스를 스캔하는 과정을 거친다
이를 크롤링이라 한다 그렇다면 처음 크롤러는 홈페이지 수집대상을 어떻게 선정하고 웹사이트를 크롤링하게 되나?
최초 크롤러는 검색엔진에서 검색 등록 신청 과정을 표시 한 사이트에 우선순위를 두고 크롤러를 방문시키고 해당 사이트를 크롤링하고 다음 단계인 인덱싱을 실시하게 된다.
이때 크롤러의 방문을 요청하는 최초 행위에는 핑(ping)이라는 기술도 있다 핑은 웹사이트 페이지를 크롤링해달라는 신호이며 전 세계에는 핑을 처리할 수 있는 수만 개의 사이트와 대략 400여 개의 검색엔진 및 소셜 서비스가 존재한다.
홈페이지를 처음 개설하거나 빈번한 업데이트 등이 있을 때 해당 웹 사이트 서버에 주기적으로 핑을 보낼 수 있는 기능 이 탑재되어 있다면 더욱 빠르게 검색엔진에서 인덱싱 되고 검색이 가능 한 데이터가 될 수 있다.
– 핑어(pinger) 가 있는 웹사이트는 없는 웹사이트보다 더 빠르게 검색될 수 있다.
– 등록을 신청한 검색엔진 혹은 웹사이트 가 아니라도 검색될 가능성이 증가한다.
– 단 업데이트도 안 하고 있는 사이트에 크롤러 방문을 지속적으로 요청하면 페널티를 받을 수도 있다.
크롤링 과정이 끝나면 필요 없는 자료는 삭제하고 인덱싱 서버로 보내서 정렬시킨다 이과정을 인덱싱이라고 한다 인덱싱 과정에는 몇몇 가지 알고리즘이 작동하며 이 해당 알고리즘에 따라 문서의 정렬 순서 등이 정해지고 스팸 및 정크 데이터 등을 걸러서 최초 검색을 요청 한 이용자에게 검색 결과를 출력하게 되는 것이다.
인덱싱 과정에서 작동하는 알고리즘에는 (판다, 펭귄, 허밍버드) 등이 있으며 이 알고리즘의 성능에 따라 검색엔진의 미래가 달려 있다고 할 수 있다. 검색엔진 최적화는 크롤링과 인덱싱 과정에서 작동하는 모든 알고리즘 및 내 외적요소 등을 웹사이트 제작 및 유지보수 등에 대입시켜 좀 더 좋은 검색 결과에 편입시키려는 노력을 통칭한다고 볼 수 있다.
미래는 데이터가 세계를 지배하는 시대가 올 것이다. 그 과정에는 반드시 뛰어난 성능의 인공지능 기반 알고리즘 이 대부분의 역할을 수행한다고 보면 되겠다. 홈페이지를 제작할 때는 반드시 검색엔진 최적화를 염두에 두고 제작해야 다가오는 미래를 대비할 수 있다. 고객에게 더 많은 정보(데이터)를 제공하는 기업 혹은 개인에게 많은 기회가 올 것이다.
