1

Пытаюсь найти способ хранения данных в рамках Google Cloud проекта, чтобы быстро их от туда достать и обработать в веб сервисе на node js. Сейчас данные хранятся в гугл таблице. В Google Cloud развернул веб сервис в AppEngine на node js. Подключился к гугл таблице через Google Sheets API. Данные из гугл таблицы забирает, но на обращение к API Google SHeets уходит много время. Время указано в миллисекундах(Например, 4100 - 4 секунды и 100 миллисекунд).

Google Sheets API - node js

Максимальное время допустимое для меня, не более 3 секунд. Этот веб сервис работает для Алисы. Алиса не ждет более 3 секунд.

Решил, что всемогущая BigQuery решит проблему и будет доставать нужные мне данные менее чем за 1 секунду. Экспортировал туда данные, создав таблицу в BigQuery. В итоге, она оказалась еще более медленной!

BigQuery - запрос данных

Место обработки выбрал Финляндия (europe-north1). Место обработки веб сервиса Франкфурт (europe-west3). Время 7.6 секунды на обработку это ужасно медленно. Создал набор данных с местом обработки Франкфурт (europe-west3). Итог - результат тот же, 7.4 секунды на выполнение.

Таблица в Франкфурт (europe-west3)

Неужели BigQuery так и должна медленно работать? Или я что-то делаю не так? Подскажите пожалуйста, как ускорить работу с БД?

Информация о данных: количество строк 6 тыс, количество столбцов 24.

1 ответ 1

2

Google BigQuery – это аналитическая, распределённая колоночная СУБД, их назначение – быстро обрабатывать большие объёмы данных, а не маленькие. Выигрыш ощутим на агрегации данных в тысячи и более строк, где строковая СУБД начнёт зависать, а BigQuery продолжит выполняться за несколько секунд.

Ещё один потенциальный недостаток BigQuery в данной задаче – записывающиеся данные буферизуются, то есть, фактически появляются в таблице на несколько секунд, минут или даже час после записи. Потому что цель этой СУБД не в оперативной записи, а обработке.

Для хранения и манипуляции данных приложений лучше использовать СУБД строкового или NoSQL типа. Например, Google FireStore, у неё есть библиотеки для многих платформ и языков, в т.ч NodeJs. Документация.

5
  • Спасибо большое за ответ. Буду пробовать как вы рекомендовали! Хотя у меня ведь как раз более 1 тыс строк (6 тыс строк) и более актуальная задача как раз читать данные из BigQuery. Именно быстрое чтение мне и надо. Так и не понял, почему она не может быстро читать данные. Commented 25 мар. 2020 в 11:21
  • 1
    @DmitriyLavrov всегда пожалуйста! А FireStore хорошая штука, использую в паре проектов, притом без других сервисов GoogleCloud. Только важно учитывать что FS это NoSQL, для многих приложений подойдёт, и для Вашей задачи вероятно тоже, но там нет фич реляционных СУБД вроде группировки и агрегации, что бывает важным для некоторых задач. Зато это хранилище тоже облачное и распределённое, не надо париться о масштабировании.
    – AivanF.
    Commented 25 мар. 2020 в 11:27
  • @ AivanF я новичок в изучении СУБД. Выходит, что такие наиболее используемые функции как – count(), sum(), avr(), min(), max() и в принципе SQL запросы не будут доступны в Google FireStore ? Проще говоря, в нее можно записать и прочитать сразу все данные, а потому уже с ними играться, искать нужное через свой алгоритм. Commented 25 мар. 2020 в 11:40
  • 1
    @DmitriyLavrov Да, в FireStore этого нет, можно лишь класть и брать любые данные, также есть фильтрация и сортировка. Если нужна агрегация, то надо либо строковую СУБД использовать (насколько я знаю, в ГуглКлауд таких нет), либо дублировать данные, хранить в FireStore для основной логики и в BigQuery для аналитических расчётов (многие крупные компании так делают). Либо да, выкручиваться агрегацией на своей стороне, что может быть нормальным вариантом, если данных не много (например, после фильтрации). Или ещё что-то, зависит от задачи, здесь довольно большой простор для инженерной фантазии.
    – AivanF.
    Commented 25 мар. 2020 в 11:55
  • @ AivanF Спасибо! Ваш комментарий мне очень помог. Буду разбираться дальше! Commented 25 мар. 2020 в 11:57

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.