0

Разбираюсь с загрузкой данных из ВК через Python. Написал программу, работающую с городом и стеной членов заданной группы (для удобства вырезал всё, не относящееся к моей проблеме). Проблема заключается в том, что через некоторый промежуток времени (всегда разный) программа начинает очень медленно работать, время от времени зависая на несколько минут.

Чтобы понять, в какой момент это происходит, обособил момент с запросом к API строками 'getting wall' перед и 'got wall' после. Как я и предполагал, всё виснет именно на urllib2.urlopen().read(): получает ответ по несколько минут. При этом через браузер с тем же токеном ответ приходит мгновенно.

Я делаю большую паузу в промежутках между запросами, как уже говорил, виснет каждый раз в разных местах, т.е. при обработке пользователей другой частью программы проблем нет.

import urllib2
import json
from time import sleep

access_token = 'kdf4f94fkr9fdefp94frkffkefifj8f5fjefi488940eidf003feijkd03f3'

while True:
    url = 'https://api.vk.com/method/groups.getMembers?fields=name,sex,bdate,city,universities&access_token=' + access_token + '&count=1000&offset=0&group_id=15755094'
    members = urllib2.urlopen(url).read()
    members = json.loads(members)
    sleep(0.5)
    for member in members['response']['users']:

        print member['uid']

        if 'city' in member and member['city'] != 0:
            print 'getting city...'
            city_info = 'https://api.vk.com/method/database.getCitiesById?access_token=' + access_token + '&city_ids=' + str(member['city'])
            city_info = urllib2.urlopen(city_info).read()
            print 'got city'
            city_info = json.loads(city_info)
            sleep(0.5)

        print 'getting wall'
        wall = 'https://api.vk.com/method/wall.get?access_token=' + access_token + '&filter=owner&offset=0&count=100&owner_id=' + str(member['uid'])
        wall = urllib2.urlopen(wall).read()
        print 'got wall'
        wall = json.loads(wall)
        sleep(0.5)

В чём может быть проблема?

2
  • У меня примерно аналогичный код вертится в продакшене уже три года и не тормозит, так что, скорее всего, дело не в нём (но вот в чём, догадок, к сожалению, не имею)
    – andreymal
    19 фев 2016 в 19:49
  • нужно все логировать, используйте модуль logging вместо print -- позволяет, например, в файлы логировать и смотрите где проблема. Возможно просто с сетью фигня, а может у вк проблемы, например, перегрузка серверов
    – gil9red
    26 мар 2016 в 21:02

2 ответа 2

1
  1. Юзай для удобства vklancer (pypi)
  2. Аналогичная проблема, решается только с помощью sleep на 5 сек перед каждым запросом.
1
  • за библиотеку спасибо, воспользуюсь. А в программе идет речь о выгрузке информации о каждом пользователе некоторого сообщества (приходится делать по 3-4 запроса для каждого из примерно 30000 участников), так что столь длинная пауза не вариант, буду дальше искать причину 20 фев 2016 в 13:57
0

А не пробовали вместо urllib использовать Requests ?

1
  • Попробовал с requests - тормоза никуда не делись 19 фев 2016 в 19:16

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.