2

Пытаюсь получить все посты со стены в VK. Использую метод execute. Код метода:

var ITERS = 25;
var COUNT = 100;
var posts = [];
var req_params = {
        "owner_id" : Args.id,
        "offset" : 0,
        "count"  : COUNT,
        "v" : "5.34"
};
var i = 0;
while(i < ITERS){
    req_params.offset = i*COUNT + ITERS*COUNT*Args.offset;
    var response = API.wall.get(req_params);
    var items = response.items;

    if (items.length == 0) {
        return posts;
    }

    posts.push(items);
    i = i + 1;
}
return posts;

Столкнулся с такой проблемой: данный код возвращает список в JSON с постами, каждый из которых содержит поле text (текст поста). При получении, например, более 30000 постов с одной страницы, суммарный объем всех ответов составляет ~50MB (это много). Для решения проблемы решил изменить код метода, путём добавления в результирующий массив не весь объект поста, а только те его поля, которые мне нужны. Пример:

... // тут ничего не изменялось
while(i < ITERS){
    ... // тут тоже
    var j = 0;
    while (j < items.length){
        var tmp_item = {};
        tmp_item.id = items[j].id;
        tmp_item.date = items[j].date;
        tmp_item.likes = items[j].likes.count;
        tmp_item.reposts = items[j].reposts.count;
        posts.push(tmp_item);
        j = j+1;
    }

    // posts.push(items);
    i = i + 1;
}
return posts;

Но такой код не укладывается в лимит по количеству операций за один запрос. Если изменить var COUNT со 100 до 6, то количество операций становится допустимым и суммарный размер всех ответов ~2MB, но работает такой код в два раза дольше.

Вопрос заключается в следующем: есть ли возможность получить все посты со стены без поля text за более или менее нормальное время?

UPD (спустя год). Эта штука работает и весьма неплохо: VK-Top.

13
  • А зачем вам за один раз все посты, если не секрет? 3 янв 2016 в 17:33
  • @АлексейШиманский Отсортировать посты по likes\reposts.
    – 0x1337
    3 янв 2016 в 17:38
  • а если заменить несколько items[j] на один: var itm = items[j]; и дальгше обращаться к itm, тоже превышается лимит запросов к API?
    – Stack
    3 янв 2016 в 17:58
  • 1
    если нужны только likes, то можно использовать специальный синтаксис для коллекций: return API.wall.get(req_params)@.likes;
    – Stack
    3 янв 2016 в 18:17
  • 1
    @Stack вообще-то return API.wall.get(req_params).items@.likes; Но это не то, что хотел автор. 3 янв 2016 в 19:48

1 ответ 1

5

Возможно можно было сделать и лучше, но пока что придумал только так:

var ITERS = 25;
var COUNT = 100;
var posts = [];
var req_params = {
        "owner_id" : Args.id,
        "offset" : 0,
        "count"  : COUNT,
        "v" : "5.34"
};
var i = 0;
while(i < ITERS){
    req_params.offset = i*COUNT + ITERS*COUNT*Args.offset;
    var items = API.wall.get(req_params).items;

    if (items.length == 0) {
        return posts;
    }

    var ids = items@.id;
    var tmp = {};
    tmp.chunk_size = ids.length;
    tmp.ids = ids;
    tmp.likes = items@.likes@.count;
    tmp.reposts = items@.reposts@.count;
    tmp.dates = items@.date;
    posts.push(tmp);

    i = i + 1;
}
return posts;

Пример ответа:

response: [{
    chunk_size: 3,
    ids: [678032, 685909, 685908],
    likes: [1143, 154, 215],
    reposts: [95, 6, 11],
    dates: [1434489988, 1451844879, 1451840889]
}, {
    chunk_size: 3,
    ids: [685907, 685905, 685904],
    likes: [760, 493, 111],
    reposts: [48, 63, 1],
    dates: [1451833975, 1451831406, 1451827220]
}, {
    chunk_size: 3,
    ids: [685903, 685901, 685899],
    likes: [197, 486, 851],
    reposts: [11, 24, 56],
    dates: [1451823624, 1451818995, 1451815289]
}]

Время получения сократилось примерно на 20%, итоговый размер всех ответов сократился в среднем на 90%.

1
  • Да неплохо. Сам тоже уже хотел предложить вариант именно по частям) 3 янв 2016 в 21:28

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.