0

У меня есть бот в ВК на PHP. И есть API расписания своего вуза. Бот стоит на heroku. API в виду большого json файла. И если его скачивать в файл (что я щас и делаю, это занимает около 20 секунд):

// crontable.php

file_put_contents($file, file_get_contents("https://example.com"));

Все это попадает в $file, далее я обрабатываю его с помощью jsonstreamingparser:

// parser.php

    $file = __DIR__.'/stackoverflow.json';


    $stream = fopen($file, 'r');

    try {
        $parser = new \JsonStreamingParser\Parser($stream, $listener);
        $parser->parse();
        fclose($stream);
    } catch (Exception $e) {
        fclose($stream);

        return $e->getMessage();
    }

    $data = $listener->getJson();

Вот этот код у меня парсит json файл и все ок. Но, расписание обновляется каждый день и вручную мне это делать не хочется. А так как cron в heroku не может скачивать данные с другого сервера и сам обновлять файл (если может, то напишите) т.к они хранятся там временно.

The Heroku filesystem is ephemeral - that means that any changes to the filesystem whilst the dyno is running only last until that dyno is shut down or restarted. Each dyno boots with a clean copy of the filesystem from the most recent deploy. This is similar to how many container based systems, such as Docker, operate.

Примечание: ВКонтакте и пользователи не будут долго ждать, пока, с каждым запросом расписание будет скачиваться (около 20 секунд) и обрабатываться.

Вопрос: можно ли как то, не прибегая к скачиванию большого файла, быстро взять данные с API страницы и обработать их. Либо, можно ли как то сделать, чтобы heroku сам скачивал файл в определенное мне время. Спасибо :)

1
  • А если дергать по крону свой же скрипт через web, как будто зашел пользователь? Commented 30 авг. 2020 в 8:54

1 ответ 1

0

А как Вам такое предложение: пусть файл скачивает только пользователь, который первый пришел в этот день к боту. А потом - файл уже в памяти, и скачивать его не надо. Ну, первый подождет 20 секунд, а все остальные зато - придут "на готовенькое".

То есть, как мне кажется, вам надо переменную $data использовать для всех последующих вызоов без инициализации. ну, и без обнуления, конечно :-)

Вероятно, для этого надо загрузку данных перенести в какое то более глобальное событие, чем сейчас. Грубо говоря, в интерфейсе работы с телеграмм - ботом есть событие "пришел пользователь", и сейчас у вас на приход каждого пользователя запускается тот код, который приведен в вопросе.

А еще есть событие типа "старт бота". Более глобальное, которое возникает один раз. Вот в него и надо перенести код, который загружает данные.

А в "пришел пользователь" тогда надо проверять только "переход через полночь". Полночь прошла - расписание могло измениться, надо его еще раз скачать и переинициализировать $data

Дополнение

Мне в комментариях подсказали, что с этой схемой есть трудности.

Правда, мне непонятно вот что: в коде, который есть в вопросе, я не вижу процедуры скачивания данных. А вижу только парсинг локально лежащего json файла. (я не очень хорошо понимаю, сколько времени это может занимать, но 20 секунд для 20 мб файла мне кажется слишком большим временем.)

Тогда - лучше, скорее всего, действительно скачивать данные отдельно от их парсинга. Но тут нужен или какой то знаток heroku, котрый знает, за какую ручку там подёргать, чтобы организовать что то вроде crontab. Поиск выводит меня на такую страницу - думаю, что дальше лучше разбираться Вам, так как у Вас есть доступ к хостингу :-)

6
  • Ловко, спасибо, я попробую этот способ
    – Tema
    Commented 30 авг. 2020 в 8:15
  • Проблема, у вк нет таких типов событий. Мне бы желательно, чтобы вся эта загрузка была утром-ночью. А еще если первый пользователь запустит скрипт, то он будет долго загружаться, а вк сервер долго не ждет, если он ничего не получит (ждет 10 сек, вроде) то начнет посылать запрос еще раз. И так в итоге 5 раз. И в конце пользователю отправится расписание два раза
    – Tema
    Commented 30 авг. 2020 в 8:20
  • @Tema, я дополнил ответ. Возможно, поможет!
    – S.H.
    Commented 30 авг. 2020 в 8:46
  • Heroku Sheduler не работает, я его использовал. Я скачиваю с сайта же функцией file_get_contests($file, здесь лежит ссылка на сайт). Но все равно спасибо за помощь
    – Tema
    Commented 30 авг. 2020 в 9:17
  • Можно сделать "внешнюю ручку": пишем скачивание файла на "секретноой" странице. Просто в событии PageLoad. Заводим на домашнем компе задачу, котрая раз в день "дёргает" эту страницу. еще: что поддержка хероку говорит по поводу неработающего шедулера?
    – S.H.
    Commented 30 авг. 2020 в 9:28

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.