Re:solucionado - milhares de pageviews de um só ip

[Sergio Ruy David]

Caros,

Peço a ajuda de vcs para solucionar algo que é um grande mistério para mim.

Nos últimos 3 dias, meu TFS for mambo tem acusado mais de 60.000 pageviews por dia vindos de um só ip. Isso foi confirmado por outros scripts de estatísticas e pelo log do servidor. O endereço de origem é crawl-66-249-65-109.googlebot.com

Realmente, não sei o que fazer, pq isso está consumindo toda minha banda de transferência.
Costumo ter 10.000 pgeviews por dia e agora estou com 80.000! Sendo que o número de visitantes únicos (=- 1.500 por dia) se manteve estável.

Por favor, se alguém souber do que se trata, me diga. Tenho só mais 5 GB de banda nesse mês, e não quero ficar fora do ar. Não é possível que seja só o bot do Google, pq meu site deve ter no máximo umas 1.500 páginas.

Um abraço,

Mensagem editada por: sergioruydavid, em: 2005/03/14 19:52

[FaBMak]

O que acontece é que cada vez que alguém linka a sua página, o bot do google ao visitar a página que referencia vc, visita vc também. Tenho visto aqui no fórum, por exemplo, que na sua assinatura vc coloca o link do seu site, pois bem, toda vez que o googlebot \"visita\" ele \"visita\" também sua página.

Acho que vc pode colocar o googlebot na blacklist, incluindo ele no robots.txt, de forma que o acesso do bot ao seu site será bloqueado. Note que isto modifica a sua classificação no rank do google e se vc preza a sua classificação não faça isto.

Leia isto pode ajudar:
http://www.google.com.br/intl/pt-BR/remove.html

FaBMak

[Sergio Ruy David]

Entendi o raciocínio, mas ainda acho que tem algo estranho. São 60.000 page views a mais do que o normal, num só dia. Nem tem tanta página assim que linka pra mim. Deve ter no máximo umas 100 contando com os posts (+- 35) que eu tenho nesse fórum.

Em fevereiro, aconteceu a mesma coisa. Só que foi com outro ip: 201.19.115.160 . Alguem sabe que ip é esse?

Já em janeiro, como durante todo o ano de 2004, não teve nada disso. Só os meus pageviews normais. E olha que o site está no google há mais de um ano...

Isso é péssimo para mim, pq confunde as estatísticas de banner vendidos para clientes, além de consumir banda (8 Gigas em 3 dias).

De qqer forma, valeu.
Abraço,

[Sergio Ruy David]

Descobri a razão dos milhares de pageviews. Acho que pode até ser considerado um \"bug\" do componente Events, que instalei recentemente.

O que ocorre é que cada página de eventos desse componente tem um link para o dia seguinte e para o dia anterior. Então o Google Bot vai percorrendo dia por dia (cada dia tem uma página, indepedentemente de haver ou não eventos no dia) infinitamente. Ou seja, um page view para cada dia do ano de 2005, 2006, 2007, 2008, etc. O resultado foram 200.000 bots no meu site em 3 dias.

Espero que essa mensagem possa evitar problemas parecidos com as pessoas que usam o Events. A solução que encontrei foi editar o ROBOTS.TXT e impedir que ele listasse todas as páginas geradas pelo componente:

Disallow: /component/option,com_events/task,view_month/

Um abraço,
Sergio

Mensagem editada por: sergioruydavid, em: 2005/03/14 19:52

[Marcelo Nada]

oi sérgio,
vc me deu a resposta para uma coisa muito estranha que estava acontecendo no meu site: estava tendo uns picos de acesso com até 95 usuários online num site que ainda está em testes e nem foi lançado oficialmente...

vc sabe se essa sua dica vai funcinar em um site que usa o componente 404SEF? ou vou ter que colocar também o endereço \"amigável\" (gerado pelo SEF) no ROBOTS.TXT?


grande abraço,
marcelo

[Sergio Ruy David]

Pra falar a verdade, eu nem sei se o robots.txt vai dar jeito. Como eu precisava urgente parar com aquilo, resolvi alterar o código do events para ele deixar de mostrar os links para os outros dias/meses, temporariamente.

Quando eu tiver mais tempo, vou na comunidade do Events discutir isso com eles. Acho que isso é um bug grave, pois pode facilmente tirar um site do ar. Eu tenho limite de 20 Gb de banda, então deu tempo de perceber o problema. Mas e quem tem 2GB, que é o mais comum? Em dois dias o site pode estourar o limite de banda e o cara fica sem saber o que aconteceu.

Eu uso SEF, mas o do Mambo mesmo. E não sei se o robots.txt funciona no caso das SEF ou só para diretórios reais. Por isso resolvi não arriscar.

Um abraço,

[Marcelo Nada]

Sérgio,
Nesse sentido acho que uma outra boa solução seria, no módulo calendário, retirar os links dos dias onde não há nenhum evento (nunca entendi porque o módulo tem links nesses dias)...

coloquei aquela linha que vc sugeriu no robots.txt (o googlebot já deu 4400 hits na minha página em contrução só esse mês...)

abraço,
marcelo
ps. sugiro que a gente coloque aqui os resultados desses experimentos (se a linha funcionou com o SEF, se retirar o link para os dias funcionou etc), topa?

[oggy]

marcelo_nada escreveu:

Sérgio,
Nesse sentido acho que uma outra boa solução seria, no módulo calendário, retirar os links dos dias onde não há nenhum evento (nunca entendi porque o módulo tem links nesses dias)...

Como se tira os links para os dias que nao tem nada?

[Sergio Ruy David]

Não adianta tirar os links do módulo. Tem que tirar das páginas mesmo, para impedir que o googlebot siga as setas que tem em cada página. Senão o bot entra pela página principal do componente e vai navegando.

[Alex silva alexhezlon]

Bom dia!!!!

Estou com um problema parecido com o seu.
Como eu faço para desligar o Events no ROBOTS.TXT?

Um abraço!!!