1

Всем привет

Есть java веб приложение которое принимает большое количество запросов и должно возвращать на страницы пользователей ответы. Пришёл к выводу что нужно использовать кластерную обработку. Взял Spark - быстрая вещь. Но на данный момент возникла проблема с выполнением jar(выполняет запрос к API партнёра - полученные данные десериализуются в модель, удаляются не нужные данные и возвращаются на страницу пользователя) на worker-е. Может ли Spark выполнять из worker-а запросы ? Если нет то что использовать для организации работы приложения через кластер ?

Или по другому сформулирую вопрос: есть несколько серверов для приложения. Как сделать выполнение запросов к API партнёра в кластере ?

1 ответ 1

1

Код выполняется не в Worker'e, а в Executor'e. В документации cluster overview описывается, чем является Worker (в нём может быть 1 или несколько Executor'ов, которые уже выполняют разные Tasks).

Чтобы выполнялся ваш код, который использует API других библиотек, добавьте эти jar файлы в spark.executor.extraClassPath, и пишите код, который будет это делать (в Scala Unit будет сериализован и отправлен на executor, в Java это будет лямбда/анонимный класс/...).

Вот код, где на Executor'ах будет создан обьёкт HBaseAdmin (сторонняя библиотека, в этом случае в spark.executor.extraClassPath нужно будет добавить библиотеки HBase).

val rdd = spark.sparkContext.parallelize(1 to 100)
rdd.map(i => {
    val hBaseAdmin = new HBaseAdmin(rdd.context.hadoopConfiguration) hBaseAdmin 
})

А также - Пример веб приложения с использованием Spark на Java + Spring.

0

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.