O elefante na sala: Monocultura do Google

Eu estava pesquisando as sessões de um evento de Conferência de pesquisa, que se descreve assim:

O caminho para o sucesso on-line é ser facilmente encontrado nos mecanismos de busca, como Google, Yahoo! e Microsoft Live Search. Embora os desenvolvedores tenham historicamente considerado a busca como uma atividade de marketing, a arquitetura técnica agora se tornou essencial para o sucesso da busca.

Alguém mais viu o elefante na sala, existe? Não?

Apenas duas semanas depois de lançarmos o Stack Overflow, mencionei que os mecanismos de pesquisa já representavam 50% do nosso tráfego. Bem, nem tanto os mecanismos de buscas como mecanismo de buscae:

Tento ser politicamente correto ao discutir a pesquisa na Web, evitando a palavra “g” sempre que possível, tentando desesperadamente preservar a ilusão de que a pesquisa na Web é realmente um mercado competitivo. Mas, a essa altura, isso está se tornando uma piada transparente e cruel. Quando dizemos “pesquisa na Web”, queremos dizer uma coisa, e apenas uma coisa: O Google. Rich Skrenta explica:

Não sou um analista profissional, e minha abordagem aqui é bastante improvisada. Ainda assim, ela confirma o que nós, do setor de pesquisa, já sabemos há muito tempo.

O New York Times, por exemplo, recebe quase seis vezes mais tráfego do Google do que do Yahoo. O Tripadvisor recebe 8 vezes mais tráfego do Google do que do Yahoo.

Até mesmo os próprios sites do Yahoo não são diferentes. Embora receba uma fração maior do tráfego de pesquisa do Yahoo do que a média, o serviço flickr do próprio Yahoo recebe 2,4 vezes mais tráfego do Google do que do Yahoo.

Meu exemplo favorito: De acordo com a Hitwise, [ex] Jeremy Zawodny, blogueiro do Yahoo, obtém 92% de seu tráfego de pesquisa de entrada do Google e apenas 2,7% do Yahoo.

Isso foi escrito há quase dois anos. Adivinhe para que lado esses números foram desde então?

Agora que o Stack Overflow vem se desenvolvendo bem há quase seis meses, permita-me compartilhar o último mês de nossos próprios dados. Atualmente, 83% do nosso tráfego total é proveniente de mecanismos de pesquisa, ou melhor, um particular mecanismo de busca:

Esses números de 6x e 8x que Rich citou há dois anos parecem terrivelmente estranhos agora. O Google oferece 350x o tráfego para o Stack Overflow que o próximo melhor “mecanismo de pesquisa” faz. Trezentas e cinquenta vezes!

Não estou afirmando que o Stack Overflow seja representativo de todos os sites da Internet – obviamente, não é. O senhor não pode dizer que o Stack Overflow é um site para programadores. É um site para programadores. E quero deixar absolutamente claro que não tenho nenhum problema com o Google. Dito isso, acho profundamente preocupante que o senhor se todos os outros mecanismos de pesquisa do mundo fecharem amanhã, o tráfego do nosso site permaneceria efetivamente inalterado. Isso é absolutamente assustador.

Sim, eu gosto do Google. Sim, o Google funciona muito bem e tem sido minha página inicial há cerca de oito anos. O Google é o melhor em termos de pesquisa e merece a posição de liderança que conquistou. Mas onde está a concorrência saudável? Onde está o incentivo para o Google melhorar? Tudo o que vejo é uma monocultura grande e crescente que atua como o página inicial da Internet.

Estou um pouco surpreso com o fato de todas as pessoas que foram tão se revoltaram com o “monopólio” da Microsoft há dez anos não estão nas ruas hoje acendendo tochas e afiando seus forcados para ir atrás do Google. O fato de os produtos do Google serem, em sua maioria, gratuitos e suportados por anúncios, de alguma forma o isenta do mesmo escrutínio? Ninguém mais está preocupado com o fato de o Google, mesmo com a melhor das intenções de “não ser malvado”, ter se tornado o mais senhor do que servo?

Chamar o estado atual da concorrência dos mecanismos de pesquisa de corrida de cavalos é um insulto às corridas de cavalos. Não, o que temos aqui é uma corrida de um cavalo em que todos os outros cavalos foram enviados para fábricas de cola anos atrás. Esqueça a “conferência de pesquisa”, o senhor deveria estar organizando uma “conferência do Google”, pois não há diferença.

Não sei. Talvez não haja problema. Mas isso significa que se o Google, por qualquer motivo, decidir remover o senhor dos resultados de pesquisa, seu site não existirá mais. Pelo menos não como um negócio viável.