Ворчун
( )
27/07/2009 01:50:11
Re: Вы получили неверные данные по Интимсити

Цитата:

Вы получили неверные данные по Интимсити. Вы, видимо, не учли, что анкеты перемешиваются для каждого посетителя индивидуально, при этом ключем для перемешивания служит IP посетителя.

Попробуйте сделать следующее: не обходите основной рейтинг (48-50 страниц, начиная с главной страницы сайта) по несколько раз, меняя IP в каждом проходе, а обойдите его один раз, но с постоянным IP.

Дело в том, что сайт последние 2-3 года подвергается регулярным ddos-атакам и мы вынуждены были установить на сервере защиту от пользователей (роботов), запрашивающих с сервера нереально большое число страниц (тысячи) или делающих это с чрезмерно высокой скоростью (несколько страниц в секунду). Для того, чтобы защита не заблокировала Вашего робота, делайте паузу между запросами, например, 3-10 секунд. На одни проходит таким образом уйдет около 150-500 секунд.

Ну да, первый раз я получил неверные данные, согласен. Скрипт его обошел с большой скоростью, получив со всех стр. всего 91 уникальный тел. Хотя эта "большая" скорость всего ~20 сек. на стр. (скрипт открывает одну стр. в буфер и потом копирует с нее анкеты со скоростью 2-3 анкеты/сек, потом еще одну стр. и т.д.). 20 сек на стр. - скорость нормальная для обычного посетителя. Если он откроет сразу несколько стр. или (для экономии траффика) скачает много страниц какой-то качалкой, он получит тот же результат: минимум анкет (точнее, анкет будет много, но все на один тел.)
В дальнейшем я запускал по 10-20 проходов вашего сайта с задержкой 1-2 мин. Максимум, что удалось "вытянуть" с 50-ти стр. - 390 уникальных анкет и стало ясно, что 4-5 проходов обеспечивают более 90% всех анкет. Заход через прокси подвердил этот вывод.
Кстати, я понял, как вы нашли этот пост: мне недавно стучался с вашего сайта некий посетитель, кот. разместил ссылку на этот пост и цитировал кусок, касающийся вашего сайта и жаловался, что его сообщение было удалено. То, что вы удалили его пост, а не стали комментировать, как здесь, говорит о том, что у вас не все так хорошо, как вы ходите нас убедить. Радует, что тут вы с моим сообщением не можете обойтись также, как на вашем сайте ;-)
С другой стороны, ничего против вашего сайта не имею: каждый зарабатывает деньги, как может. А мы, потребители, хотели бы иметь адекватную информацию с рынка фей.
P.S. У вас анкету, кот. не обновлялась недели две, практически невозможно увидеть. В выигрыше те, кто беспрерывно поднимает свои анкеты, в результате для нас, потребителей, обедняется выбор. Возможно, вам стоит пересмотреть политику актуализации анкет. В конце концов уникальность intimcity в том, что там наряду с плат. анкетами есть бесплатные. Но когда анкеты постоянно поднимают, это явно делается за деньги. И анкета становится не бесплатной, а вы теряете деньги. Может сделать, к примеру, что обновление анкеты чаще, чем раз в день, не влияет на ее актуальность? И мне перестанут стучатся в приват народ, просящий сделать скрипт, беспрерывно поднимающий блок анкет. ;-)