2

Пытаюсь получить все посты со стены в VK. Использую метод execute. Код метода:

var ITERS = 25;
var COUNT = 100;
var posts = [];
var req_params = {
        "owner_id" : Args.id,
        "offset" : 0,
        "count"  : COUNT,
        "v" : "5.34"
};
var i = 0;
while(i < ITERS){
    req_params.offset = i*COUNT + ITERS*COUNT*Args.offset;
    var response = API.wall.get(req_params);
    var items = response.items;

    if (items.length == 0) {
        return posts;
    }

    posts.push(items);
    i = i + 1;
}
return posts;

Столкнулся с такой проблемой: данный код возвращает список в JSON с постами, каждый из которых содержит поле text (текст поста). При получении, например, более 30000 постов с одной страницы, суммарный объем всех ответов составляет ~50MB (это много). Для решения проблемы решил изменить код метода, путём добавления в результирующий массив не весь объект поста, а только те его поля, которые мне нужны. Пример:

... // тут ничего не изменялось
while(i < ITERS){
    ... // тут тоже
    var j = 0;
    while (j < items.length){
        var tmp_item = {};
        tmp_item.id = items[j].id;
        tmp_item.date = items[j].date;
        tmp_item.likes = items[j].likes.count;
        tmp_item.reposts = items[j].reposts.count;
        posts.push(tmp_item);
        j = j+1;
    }

    // posts.push(items);
    i = i + 1;
}
return posts;

Но такой код не укладывается в лимит по количеству операций за один запрос. Если изменить var COUNT со 100 до 6, то количество операций становится допустимым и суммарный размер всех ответов ~2MB, но работает такой код в два раза дольше.

Вопрос заключается в следующем: есть ли возможность получить все посты со стены без поля text за более или менее нормальное время?

UPD (спустя год). Эта штука работает и весьма неплохо: VK-Top.

13
  • А зачем вам за один раз все посты, если не секрет? 3 янв 2016 в 17:33
  • @АлексейШиманский Отсортировать посты по likes\reposts.
    – 0x1337
    3 янв 2016 в 17:38
  • а если заменить несколько items[j] на один: var itm = items[j]; и дальгше обращаться к itm, тоже превышается лимит запросов к API?
    – Stack
    3 янв 2016 в 17:58
  • 1
    если нужны только likes, то можно использовать специальный синтаксис для коллекций: return API.wall.get(req_params)@.likes;
    – Stack
    3 янв 2016 в 18:17
  • 1
    @Stack вообще-то return API.wall.get(req_params)[email protected]; Но это не то, что хотел автор. 3 янв 2016 в 19:48

1 ответ 1

5

Возможно можно было сделать и лучше, но пока что придумал только так:

var ITERS = 25;
var COUNT = 100;
var posts = [];
var req_params = {
        "owner_id" : Args.id,
        "offset" : 0,
        "count"  : COUNT,
        "v" : "5.34"
};
var i = 0;
while(i < ITERS){
    req_params.offset = i*COUNT + ITERS*COUNT*Args.offset;
    var items = API.wall.get(req_params).items;

    if (items.length == 0) {
        return posts;
    }

    var ids = [email protected];
    var tmp = {};
    tmp.chunk_size = ids.length;
    tmp.ids = ids;
    tmp.likes = [email protected]@.count;
    tmp.reposts = [email protected]@.count;
    tmp.dates = [email protected];
    posts.push(tmp);

    i = i + 1;
}
return posts;

Пример ответа:

response: [{
    chunk_size: 3,
    ids: [678032, 685909, 685908],
    likes: [1143, 154, 215],
    reposts: [95, 6, 11],
    dates: [1434489988, 1451844879, 1451840889]
}, {
    chunk_size: 3,
    ids: [685907, 685905, 685904],
    likes: [760, 493, 111],
    reposts: [48, 63, 1],
    dates: [1451833975, 1451831406, 1451827220]
}, {
    chunk_size: 3,
    ids: [685903, 685901, 685899],
    likes: [197, 486, 851],
    reposts: [11, 24, 56],
    dates: [1451823624, 1451818995, 1451815289]
}]

Время получения сократилось примерно на 20%, итоговый размер всех ответов сократился в среднем на 90%.

1
  • Да неплохо. Сам тоже уже хотел предложить вариант именно по частям) 3 янв 2016 в 21:28

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.