0

Господа программисты, требуется профессиональный совет или идея по увеличению скорости скрипта на php. Что скрипт делает:

1.Загружает, обрабатывает и csv-файл с данными, записывая это дело в базу MySQL

2.Потом пользователь вводит некие данные (в данном случае-стоимость единицы услуги от каждого из известных провайдеров)

3.Скрипт выгружает из базы массив данных, обрабатывает каждую запись с помощью mysql _ fetch _ array, по префиксу определяя провайдера и подставляя нужную стоимость+вычисляя итоговую стоимость (количество ед. услуг * стоимость) сейчас с помощью оператора if, так как на практике он оказался быстрее switch-case. И построчно записывает это в *.xls файл.

Как можно оптимизировать/ускорить этот скрипт? Потому как при обработке 40.000 записей возвращает сообщение о превышении тайм-аута. да и 15.000 записей обрабатывает ~5 мин.

Идеи есть?

1

1 ответ 1

1

Трудно судить не видя реализации. Но из того что нужно перво-наперво проверить 1) если это InnoDB таблица - вставлять данные кусками используя транзакции, если MyISAM - то формировать группу запросов и сразу добавлять 2) Проверить правильность простановки индексов на БД 3) Найти узкое место среди 3х этапов. Может у Вас все хорошо и самое долгое, скажем 99%, это загрузка CSV.

а так, это гадание на кофейной гуще. Сделайте замеры скорости каждого из этапов и смотрите где тормоза идут. Выборка из 40.000 - при правильных индексов - доли секунды. Насколько сложные данные загружаются и как они выгружаются - тесты, тесты, тесты.

кстати, из всего описанного мне не нравится больше всего именно 3ий пункт. То что вы все парсите. Может правильнее на стадии загрузки правильно распарсить и разнести данные так, чтобы потом просто выбирать нужное, а не на PHP все это дело формировать.

3
  • У меня по итогу получилось, что самая проблема- не в загрузке csv. CSV грузится моментально, а вот с обработкой проблемы. Тесты показывают, что сама проблема в количестве обрабатываемых данных. То есть, проблема начинается в момент обработки строк и записи в *.xls файл. Но проблемы с записью в xls тоже нету. Остается- только обработка данных построчно. Commented 23 дек. 2013 в 19:29
  • А вот с разносом данных - идея хорошая, надо подумать и попробовать. Commented 23 дек. 2013 в 19:33
  • ну в этом случае, при добавлении данных сразу разбивайте по префиксам и когда делаете выборку, сразу выбирайте те данные, префикс которых нужен.
    – aldem67
    Commented 23 дек. 2013 в 19:49

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.