A primeira verdade que você precisa saber é que os buscadores não são humanos. Embora isso possa parecer óbvio para todos nós, as diferenças entre a forma como os seres humanos e os motores de busca visualizam os sites não são. Ao contrário dos humanos, os motores de busca estão longe de se tornarem criaturas inteligentes que possam sentir a beleza de um projeto ou apreciar sons e movimentos de filmes. Em vez disso, os motores de busca indexam as páginas, analisando todos os seus itens presentes (principalmente o texto) para se ter uma ideia sobre o que é o site.
Primeiro, os motores de busca indexam as páginas de um determinado site para ver o que tem nelas. Esta tarefa é realizada por um componente de software chamada rastreador (crawler) ou aranha (spider). No caso do Google, este componente é chamado de Googlebot. Estes componentes seguem os links de um página para outra e indexam tudo o que encontram em seu caminho.
Depois que uma pagina é rastreada, o próximo passo é indexar o seu conteúdo. A página indexada é armazenada num banco de dados gigante, no qual poderá ser consultado posteriormente. Essencialmente, o processo de indexação é identificar as palavras-chave e expressões que melhor descrevem a página, e então, atribuir tais paginas a estas palavras chave. Para um ser humano, torna-se impossível processar essa quantidade de informação. Os motores de busca sabem lidar muito bem com esta tarefa.
Quando uma pesquisa é realizada no Google, o motor de buscas compara as palavras-chave digitadas com as páginas indexadas em seu banco de dados. Uma vez que é provável que mais de uma página (provavelmente milhões) contém alguma relação com aquela palavra-chave digitada, o motor de busca começa a calcular a relevância de cada uma das páginas para classificá-las em uma determinada posição na lista de resultados da pesquisa.
Existem vários algoritmos para efetuar esse cálculo da relevância. Cada um desses algoritmos possuem pesos relativos à fatores comuns como a densidade de palavra-chave, links ou meta tags. É por isso que, se formos digitar uma mesma palavra chave em cada um dos buscadores existentes, será exibida uma lista de resultados diferente.
Todos os principais motores de busca (Google, Bing, Yahoo!, e outros) periodicamente alteram seus algoritmos, e isso torna fundamental manter os sites sempre atualizados, para que assim possam permanecer nas primeiras posições nos resultados de pesquisa.
O último passo nas atividades dos motores de busca é recuperar os resultados. Basicamente, é nada mais do que simplesmente exibir no navegador do usuário as infinitas páginas de resultado de pesquisa, que são classificadas a partir da mais relevante para a menos relevante.
