Оптимизация сайтов при сильных нагрузках

01.06.2011

DLE - DATA LIFE ENGINES

Для оптимизации DLE необходимо отключить как можно больше ненужных вам функций.
Зайдите в настройки системы, далее оптимизацию и установите как можно больше значений соответствующих уменьшению нагрузки на базу.
Учтите что для оптимизации, "ДА" нужно выбрать только для Gzip сжатия и кеширования запросов.

Основные параметры которые мы строго рекомендуем установить:


Из нашего опыта, если вы не выставите эти параметры, то DLE будет создавать большую нагрузку на базу данных, от которой система автоматически, или мы в ручную, вас просто заблокируем.

16.06.2011

Для ipb есть Настройки и инструменты > Системные настройки > Режим производительности (Tools & Settings > System Settings > Performance Mode), при включении это отключит все что можно с выводом списка,
копируешь этот список и потом по одной опции включаешь назад и смотришь на сколько и что нагружает, изменения лучше смотреть минимум за сутки, в панели управления хостингом - Статистика,
если конечно сразу в мониторинге не видны явные изменения

22.09.2011

В админке DLE появился неплохой раздел - Анализ производительности:

Не плохие рекомендации от разработчика по снижению нагрузки на сайтах, так что советую всем обновляться.

13.10.2011

Совет для оптимизации myOpenCart

/catalog/controller/common/header.php

за комментировать:
//$this->data['categories'] = $this->getCategories(0);
добавить ниже:
$this->data['categories'] = array();
Это отключает вывод списка категорий для поиска в header

01.06.2012

С учетом все повышающейся нагрузки на хостинг, вновь вернулся на ваш форум и к советам по оптимизации. Несмотря на то, что на DLE посещаемость не шибко высокая, но все же есть, выполнил все рекомендации из первого поста + остался только один красный блок в анализе производительности с пометкой:

"В настройках вашего сайта разрешено пользователям менять порядок сортировки новостей на сайте, и при этом включено кеширование на сайте, однако данное разрешение автоматически отключает кеширование на сайте, поэтому рекомендуется отключить данную возможность для снижения нагрузки на сервер. Для отключения данной настройки зайдите в Настройки скрипта » Оптимизация запросов к базе данных, и отключите данную возможность."

Насколько критично оставлять для пользователей возможность сортировки для нагрузки на хостинг? Ведь и лишить данной возможности посетителей также не хочется, но получается она в итоге идет в разрез с рекомендациями от Dimitry?

А то, что в анализе производительности выделено желтым цветом - этоь уже не настолько сильно ресурсы грузит?

Еще вопрос по DLE.
БД mySQL изначально на вывод полной новости настроена по атрибуту TEXT, а связанное в связи с этим ограничение на количество символов меня не устраивает, поэтому поменял данный атрибут на MEDIUM TEXT. Данная операция увеличивает нагрузку и как сильно?

А по снижению нагрузки форумного движка phpBB можно здесь свои вопросы задать?

01.06.2012

ну смотрите
есть кеш - меньше нагрузка
нет кеша - больше нагрузка
тут уже сами смотрите, что подходит.

Главное уберите поиск по полному тексту.

01.06.2012

Кеширование желательно, у меня про это написано что оно должно быть включено, нагрузка значительно уменьшается.
А вообще многое зависит от базы DLE чем она больше, тем всё больше начинает тупить. А многие граберами туда автоматом новости вбивают.

02.06.2012

Граберами ничего не вбиваю. Иду по принципу: лучше меньше, да лучше. Если публикую информацию по одной теме, то делаю ее подборку внимательно, старяясь ее сделать лучше разнообразной, нежели по сходной теме людей гонять по однотипным примерам.

По кешированию понял. Сейчас тогда посмотрю (на будущей неделе) к чему приведут уже имеющиеся изменения, если нагрузка снизится пока что оставлю как есть, если нет, то буду знать, что ее возможно еще снизить, так сказать запас мероприятий в рукаве еще имеется.

Про поик по полному тексту не совсем понял - это еще одна опция, про которую не упомнял Dimitry? Фактически получается, что я все рекомендации кроме одной выполнил в строгом соответствии с указаниями.

Теперь еще вопрос:
на форум заглянул бот TurnitinBot.
Поискал инфы в инете и рекомендует данному боту запретить посещение, наряду с еще несколькими ботами, так как пользы никакой, а никому не нужную нагрузку могут увеличить существенно. Также упоминают, что бот mail.ru аналогично ни на что не повлияет, а копировать всю инфу с сайта может долго и нудно, нагружая процессор. Аналогичные сведения приводят и про яндекс и гугл бота, мотивируя, что эти боты являются частными и на поисковую выдачу никак не влияют. А уж эти два бота просто постоянно заходят на форум.

Насколько эти сведения верны? И если верны, то возможно ли как-то всем этим пустым создателям нагрузки запретить посещение раз и навсегда. Лучше конечно не на каждом сайте по отдельности, а срзу на всех сайтах. Насколько помогают пометки в файлах robots.txt о запрете индексировать сайты этими ботами или надо использовать иные способы?

02.06.2012

Выберите тип поиска используемого на сайте - Простой
Включить быстрый поиск - Нет

Вроде к этим двум относится, тип поиска простой должен быть.
Ботов поисковиков лучше ограничить через robots.txt и ему подобные файлы.
Яндекс и гугл могут ежедневно проверять все страницы если им не сказать чего-то другого.

02.06.2012

Хорошо, через robots.txt, значит быть посему. Вопрос остался в части действительно не нужных ботов, которые могут навещать сайты, создавая излишнюю нагрузку, есть ли таковые и если да, то какие именно.

В сети много чего пишут, но вот меня больше интересует мнение именно местных специалистов, раз уж нам посчастливилось познакомиться и поскольку я именно хостинг wedhost1 в данный момент использую.

По поиску - именно так я все и выставил.

02.06.2012

Ботом может быть кто угодно, всех ботов запретить не возможно. Как быть? Анализировать логи, например активировать сохранение лога и скачивать лог фаил на комп, после этого программой чтения логов (такие есть, надо поискать), можно определить какой IP сколько запросов делал на какие страницы и если это наглый бот, то запретить ему вход например черех .htaccess

Увы, но действительно вся нагрузка у мелких сайтов идёт именно от ботов, чем больше страниц у сайта тем больше нагрузка.

02.06.2012

С запретами для роботов нужно подходить аккуратнее, так как сайт ведь должен все таки как то индексироваться, агрессивных роботов согласен надо ограничивать, но не надо забывать и о мета тегах например обновления информации на сайте, если выставлено например что информация у вас ежедневно обновляется, боты и будут приходить каждый день в поисках новой информации, правда то же возможно не всегда )

03.06.2012

Раз речь о роботах, иногда бывает полезно давать паузу на выкачку страниц роботам. Директива Crawl-delay в случае Яндекс бота.
**********
**********

09.06.2012

С ботами пока заморачиваться не стал, но выполнение рекомендаций из первого поста (за исключением моей поправки про кеш) дало свои результаты, нагрузку спала на пару процентов.

У меня теперь другая проблема, по примеру главной страницы на сайте webhost1 поставил аналогичного онлайн консультанта, а он нагрузку "дикую" дает на SQL, предлагаемый 1% перемахивет достаточно быстро.

Как минимизировать нагрузку от него? Насколько я понял в основном он загружается из-за того, что в онлайне мониторит всех посетителей на сайте. Желательно конечно бы все-таки чтобы еще и сохранить возможность самостоятельно на диалог посетителя пригласить.

09.06.2012

Если речь о livezilla, то мы и у себя его перенесли на отдельный сервер из-за нагрузки от него, нагрузка действительно от мониторинга посетителей, а без мониторинга вы не будете видеть кому посылать приглашение, так что тут уже надо выбирать что важнее

12.06.2012

О ней самой, родимой.
Хуже всего, что ни на одном из тарифов нет возможности увеличения нагрузки по этому параметру, поэтому если потребность в подобной проге все-таки перевесит, надо будет искать сторонние предложения.

12.06.2012

На vip тарифе можно в пределах разумного и по соответствующей цене увеличить лимит, а так еще можно поиграть с настройками мониторинга, но сколько пробовал настроить особого результата не заметил, только убрав его вообще в выводе, вызов пользователей не на столько нужен, а мониторинг посетителей можно использовать любой другой если так важно знать кто и откуда посещает сайт тот же liveinternet например

12.06.2012

мониторить кто и откуда пришел с небольшой задержкой во времени - проблем нет, масса сервисов.
А вызов посетителей потестил - достаточно полезно может быть, если уж и не для личного сайта как сейчас, то для инет-торговли и продажи услуг - точно.

На ВИП тариф точно не скоро созрею.

12.06.2012

К интернет магазинам обычно и требования другие, в том смысле что они могут себе позволить заказать хостинг согласно своим потребностям, есть впринципе и другие скрипты для этого например:
SiteHeart - **********
Mibew - **********
Коммерческие версии такие как:
**********
**********
На мой взгляд сейчас достаточно большой выбор как бесплатных так и коммерческих сервисов и скриптов онлайн консультирования, у коммерческих и цены соответствующие и не маленькие так как используют в основном платежеспособные фирмы, организации и т.д., которым это действительно необходимо

Набросал еще сервисов может кому пригодиться, но многие из них коммерческие:
**********
**********
**********
**********
**********
**********
**********

03.08.2012

А не подскажете как избавиться правильно от Лайвзиллы? А то что-то зашкаливающая статистика меня начинает смущать?