Гугл выдает результат по одному из разделов сайта - 14 600 000. База данных MySQL кряхтит, запрос выполняет от 5 до 30 сек.
Сделал кэширование с сохранением кэшированных файлов в папку, причем для поисков один кэш, для юзеров - совсем другой.
Получилось:
/cache/1.txt - это для юзеров
/cache/1r.txt - это для поисковиков
/cache/2.txt
/cache/2r.txt
/cache/3.txt
/cache/3r.txt
/cache/4.txt
/cache/4r.txt
и т.д.
Естественно вообще можно так делать то? Со временем в папке появится 14 600 000 * 2 = 29 200 000 файлов. Все это дело займет 2 - 3 месяца.
Файл занимает 17 кб в среднем. Отсюда считаем.
17 * 14 600 000 = 248 200 000 кб / 1024 = 242 383 мб / 1024 = 237 гб * 2 = 474 гб
Получается, что в папке будет лежать 474 гб файлов, общее количество которых будет составлять 29 200 000 файлов.
Не загнется все это дело? Что посоветуете?
И не забывайте - это всего один раздел сайта, а таких несколько.
С кэшированием страницы загружаются мгновенно.