5

Был у кого-то опыт? Поделитесь, пожалуйста. Работаю с их crm, пытаюсь выгрузить через их апи к себе в базу все данные о наших лидах. Это будет ежедневная процедура. Но пока что трэш - на пачку лидов 50 шт нужно сделать 151 = 1 + 50*3 запроса. С учётом того, что у них ограничение 1 запрос в 0.7 секунды, а лидов 30000, руки опускаются. Документация их (так же как и структура данных) к апи оставляют желать лучшего. Кто как справлялся? Поделиьесь опытом, пожалуйста!! Подключаюсь через вебхуки.

2
  • На получение одного лида из API нужно сделать 3 запроса и нет возможности одним запросом получить пачку данных? Можете добавить в вопрос пример кода для отправки запроса
    – gil9red
    3 июл 2018 в 5:40
  • Нет, потому что для этого одного лида часть его данных разбросано по трем разным апи и id Лида - обязательный параметр в этих запросах, без него не работает. Поэтому сначала приходится вытаскивать из общей базы пачку 50 штук, потом разбирать по одному и добирать ещё по 3ем апи данные 3 июл 2018 в 8:37

3 ответа 3

3

Обратите внимание на Python-пакет fast_bitrix24.

Эта библиотека была специально написана, чтобы в одну строку кода быстро выкачивать большие объемы из Битрикс24, используя параллельные запросы и упаковку запросов в батчи.

Чтобы выкачать все лиды:

import fast_bitrix24

# ниже вставьте ваш вебхук
b = fast_bitrix24.Bitrix('your_webhook_goes_here')

leads = b.get_all('crm.lead.list')

Вы получите список всех ваших лидов. 30000 лидов загрузятся примерно за 10-20 сек.

7
  • Вот спасибо за наводку. bitrix24-rest неимоверно тугая либа на больших объемах. 25к лидов тянет около 3х минут. Буду пробовать. А как у нее обстоят дела с обработкой ошибок запросов?
    – Namerek
    27 июл 2020 в 3:41
  • Пока что никак. Если на этапе конструирования запроса к серверу все прошло ОК, то запрос уходит. А если обратно от сервера приходит ошибка, то поднимается исключение на базе кода HTTP-ответа. Либо приходит пустой ответ, что может поднять исключение в коде обработки ответа. :))))))) А дайте больше подробностей, плз - какую ошибку ожидаете и какое поведение хотите? 27 июл 2020 в 15:14
  • Да собственно если она райзает стандартные реквестовские исключения, то проблем не вижу. Только прогрессбар немного раздражает при пакетной выгрузке. Не в курсе может отключается как?
    – Namerek
    27 июл 2020 в 15:27
  • Да, я сегодня-завтра запилю отключение прогрессбара. А как со скоростью загрузки, норм? 27 июл 2020 в 16:41
  • Скорость в поряде
    – Namerek
    27 июл 2020 в 17:31
1

лучше думаю тебе сделать через отдельный php скрипт, который будет принимать JSON и отдавать JSON.

Для получения лидов можешь юзать это http://bxapi.ru/src/?module_id=crm&name=CCrmLead%3A%3AGetList

1
  • Я не php-ист, толкьо python. Можно в личку напишу по поводу этого запроса? ) Но, во-первых, не поняла, что значит принимать JSON? В смысле JSON из параметров Filter\Select? И правильно я поняла, что в этом скрипте как-то мэтчатся разные запросы? увидела join 6 июл 2018 в 5:56
1

для таких объемов данных я бы рекомендовал использовать готовые либы для взаимодействия с rest, есть "официальная" битриксовая на php

для питона можете попробовать эту

на пачку лидов 50 шт нужно сделать 151 = 1 + 50*3 запроса.

также обратите внимание что битриксовый рест поддерживает пакетные запросы таким образом за 1 запрос можно вытащить 50*50 = 2500 лидов. ограничение 2 запроса в секунду, поэтому 30к лидов можно получить за 6 секунд

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.