0

Есть csv-файл со списком объектов, мне нужно пройтись по каждому и объекту и получить координаты для города объекта.

Координаты получаю посредствам http-запроса к стороннему сервису. Города повторяются, поэтому решил добавить кэширование ранее запрошенных координат.

Хотя запись в кэш происходит, НО, на момент проверки кэш всегда пуст.

Как я понимаю проблема связана с асинхронной природой JS. Под капотом сначала выполняется проверка для каждого центра, потом уже запись в кэш для каждого центра.

Хотя код-то написан так чтобы он работал синхронно, перед вызовом axios стоит await.

В чем косяк, подскажите?

const axios = require('axios').default;
const { pipeline } = require('stream/promises');
const csv = require('csv');
const fs = require('fs');
require('dotenv').config();

async function bootstrap() {

    const cityCoordinatesCache = new Map();

    await pipeline(
        fs.createReadStream('centers_demo.csv'),
        csv.parse({
            columns: true,
            delimiter: ';',
            trim: true
        }),
        csv.transform(async (input, done) => {

            // try to get coordinates from cache
            // ALWAYS EMPTY 🤯
            if(cityCoordinatesCache.has(input.city)){
                done(null, {...input, city_coordinates: cityCoordinatesCache.get(input.city)})
            }

            // request to geocoder API
            const url = encodeURI(`https://geocode-maps.yandex.ru/1.x/?apikey=${process.env.API_KEY_GEOCODER}&format=json&geocode=${input.city}`);
            const {data: {response: {GeoObjectCollection: {featureMember}}}} = await axios(url);
            const city_coordinates = featureMember[0].GeoObject.Point.pos;

            // update cache
            cityCoordinatesCache.set(input.city, city_coordinates);

            done(null, {...input, city_coordinates})
        }),
        csv.stringify({header: true}),
        fs.createWriteStream('centers_demo_processed.csv')
    );
    console.log('Done 🍻');
}

bootstrap().catch(console.error);

Репозиторий: https://github.com/paulcervov/cities-coords

2
  • пишите в кеш Promise от axios(url), а не его результат 26 июл 2022 в 9:07
  • @nörbörnën, но ведь тогда у нас количество запросов к геокодеру не измениться? 26 июл 2022 в 10:32

1 ответ 1

0

Проблема тут не в асинхронной природе JS, а в параллельной природе csv.transform: если не указывать никаких опций, эта библиотека делает до 100 параллельных преобразований (в асинхронном режиме, естественно).

А для близких строк вызовы идут подряд, без ожидания ответа от сервера. И, так как кеш вы заполняете только после ответа - разумеется, на момент запроса он оказывается пуст.

Чтобы кеш не был пуст - вам надо либо отказаться от параллельности (ищите в документации к библиотеке), либо заполнять кеш чем-то уже на стадии запроса. Тут можно долго придумывать что такое можно положить в кеш заранее, но в стандартной библиотеке уже есть подходящий объект: обещание (promise).

Выходит примерно так:

const cityCoordinatesPromise = cityCoordinatesCache.get(input.city);

if(!cityCoordinatesPromise){
   const url = …;
   cityCoordinatesPromise = axios(url).then(x => x.data.response………pos);
   cityCoordinatesCache.set(input.city, cityCoordinatesPromise);
}

const cityCoordinates = await cityCoordinatesPromise;
done(…);

Обратите внимание, что до момента вызова cityCoordinatesCache.set не должно быть никаких операторов await!

Если вам не нравится использование then вместо await - просто вынесите вызов axios с формированием url и распаковкой результата в ещё одну асинхронную функцию.

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.