0

Собственно, как сделать прогресс бар при загрузке файлов понятно, но тут дело в том, что у меня есть функция импорта данных из файла. Загружаем файл мы мгновенно, он ничего не весит, потом разбираем его по каждой строке и заносим в базу:

INSERT INTO `datas` ...

Это, естественно, делается через AJAX, но вот если данных очень много, хотелось бы какой-то прогресс-бар показать: сколько уже загружено, сколько осталось.

Но я не хочу каждую секунду параллельно обращаться к базе и смотреть, сколько там новых строк, это лишняя нагрузка, я считаю. Возможно ли это как-то сделать иначе?

2
  • Надо где-то хранить id процесса и счетчик. Ajax должен периодически обращаться к счетчику по id процесса. А в базе вы его будете хранить или в файле - как напишете 6 сен 2016 в 7:44
  • @DmitryKozlov, а куда быстрее в теории обращаться будет? Я думаю в файле.
    – Shevsky
    6 сен 2016 в 7:56

1 ответ 1

2

1. Время основанное на статистике

Если время разбора одной строки и добавления в базу по сути является константой, то вообще никакого AJAX не требуется. Отправили файл, вернули кол-во строк, умножаете кол-во строк на время разбора и показываете пользователю, что идет обработка.

Кол-во строк * время разбора одной строки = общее время выполнения.

Конечно, могут быть погрешности во времени, но пару секунд ожидания (+-) пользователя не испугают.

2. Запись результата в кеш

Когда вы загружаете файл, вы возвращаете пользователю ID этого файла, теперь пользователь обращается к специальному методу для получения количества обработанных строк каждые 3 секунды (например). Обрабатывающий скрипт пишет кол-во строк в быстрое хранилище , например memcached или redis, то есть в хранилище, где данные хранятся в памяти и доступ к ним осуществляется за O(1). По сути, тысячи запросов в секунду на такое хранилище даже не капли не снизит общую производительность.


Вообще тут фантанзия неограничена :) Можно сделать отправку данных пользователю вообще на веб-сокетах и тогда уже сервер будет отправлять данные пользователю, а не пользователь будет откуда-то получать.

8
  • Первый вариант явно не подходит, время будет у всех разное, делаю программу, которой будут пользоваться на своем сервере.
    – Shevsky
    6 сен 2016 в 8:14
  • По второму не понял, никогда ранее этим не пользовался. Что за быстрое хранилище, как в него записывать (php) и как из него что-то получать (javascript)?
    – Shevsky
    6 сен 2016 в 8:15
  • @Shevsky redis, memcached - это key-value хранилища, которые хранят данные в оперативной памяти, благодаря чему доступ к ним осуществляется за О(1). Подключение к ним осуществляется через PHP с помощью драйвера. Я думаю, вы сможете больше о них узнать сделав запрос в поисковую систему. На первых порах Вам хватит и memcached.
    – Firepro
    6 сен 2016 в 8:23
  • а клиент (javascript) может обратиться к оперативной памяти?
    – Shevsky
    6 сен 2016 в 8:28
  • @Shevsky javascript это клиентский язык и никаким способом не имеет прямого доступа к оперативной памяти сервера. Только написать метод контроллера на PHP который будет обращаться к memcached и получать данные по ID, а JS будет к нему обращаться с каким-то ID.
    – Firepro
    6 сен 2016 в 8:31

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.