Вопросы с меткой [map-reduce]
Руководство по использованию метки map-reduce отсутствует.
46
вопросов
0
голосов
0
ответов
8
показов
Управление ресурсами в HiveOnTez
У меня есть хадуп и hiveOnTez - я пользователь (не админ, не сопровожденец и тд).
Подключаюсь к хайву через dbeaver.
Для технической учетки под которой я хожу выделено 8 рам и 4 ядра, из них 4 рам и ...
2
голоса
1
ответ
133
показа
Странное поведение std::reduce
#include <iostream>
#include <string_view>
#include <numeric>
using namespace std;
int CountWords(string_view str) {
auto op = [](int accum, char c) -> int {
return ...
0
голосов
1
ответ
33
показа
Как преобразовать коллекцию данных
Как преобразовать структуру:
[
{
"ID": "R01010",
"NumCode": "036",
"CharCode": "AUD",
"Nominal": 1,
"...
1
голос
2
ответа
118
показов
Как склеить вектор векторов в один вектор с помощью transform_reduce?
#include <iostream>
#include <iterator>
#include <vector>
#include <numeric>
#include <string>
using namespace std;
int main() {
vector<vector<string>> ...
0
голосов
1
ответ
81
показ
javascript: построить ассоциативный массив на данных из обычного массива
есть массив структур данных
data = [
{key: 'xxx', value: 123, other: X},
{key: 'yyy', value: 456, other: Y},
{key: 'zzz', value: 789, other: Z},
];
как создать из него ассоциативный ...
1
голос
0
ответов
29
показов
Нужна помощь с .reduce [дубликат]
Это фрагмент кода который отвечает за отображение общай суммы
<div className={s.total}><b>Total</b></div>
{this.state.products.map((products) => (
...
-1
голос
1
ответ
74
показа
Перевод строки в дату (да, я умею пользоваться поиском), JAVA
Есть список мероприятий все они на главной странице.
Есть 1 css селектор, он возвращает (List<WebElements>) "название мероприятия","25 сентября"(дата мероприятия) будем ...
0
голосов
1
ответ
685
показов
Группировка и фильтрация массива по нескольким признакам JS
Дан некий массив объектов:
const arr = [
{
method: 1,
currency: 'RUB',
amount: 10,
priority: 1,
},
{
id: 22,
method: 1,
currency: 'RUB',
amount: 100,
...
1
голос
1
ответ
42
показа
Как создать ванильный groupBy, чтобы он вернул массив объектов вместе с title?
Есть функция, которая групирует массив объектов по ключу.
Наприме массив:
data: [
{
CS_NAME: "AAA",
IS_MAIN: "Y",
WEBSITE_CREATE_DATE: "2021-06-01T15:50:...
0
голосов
2
ответа
2k
показов
Среднее арифметическое через reduce
Подскажите пожалуйста, как реализовать простое вычисление среднего арифметического через метод reduce(или map).
Есть вот такой массив:
const data = [
{name: "Ann", age: 24},
{name: "...
2
голоса
0
ответов
42
показа
Java MapReduce doesn't work
Не понимаю почему не импортируются библиотеки Hadoop. Classpath установил вроде правильно, но всё равно ошибки.
-1
голос
1
ответ
72
показа
Почему метод reduce не срабатывает как надо при 2х этих вызовах?
Метод reduce имитирует метод filter
function dropElements(arr, func) {
return arr.reduce((filteredArr, element) => {
return func(element) ? [...filteredArr, element] : [......
2
голоса
3
ответа
2k
показов
Разделить массив на подмассивы [0,1,2,3,4,5,6,7,8,9] -> [[0,1],[2,3,4],[5,6], [7,8,9]]?
Имеется массив
[0,1,2,3,4,5,6,7,8,9]
в итоге нужно разбить на подмассивы
[[0,1],[2,3,4],[5,6], [7,8,9]]
Метод ниже разделяет исходный массив на подмассивы такого вида
[[0,1],[2,3],[4,5],[6,7],[...
0
голосов
1
ответ
207
показов
Преобразование массива с объектами в новый объект?
Как преобразовать массив
let myArr = [{
name: "width",
value: 100
}, {
name: "height",
value: 40
}];
в объект
let obj = {
width: 100,
height: 40
};
0
голосов
1
ответ
35
показов
общий вопрос по Hadoop и MapReduce (простите)
Появилась необходимость архитектурного совета по вопросу вычислений через MapReduce.
Вкратце:
Есть набор key-value данных объемом порядка 100 ГБ, нужно быстро (в идеале – почти на лету) ...
0
голосов
1
ответ
122
показа
Reduce es6 изменить структуру объекта, тройное условие
Есть объект отфильтрованный по датам, где индекс элемента массива "names" равен индексу элемента массива "weld_length_for_day", т.е. Алексей никашкин - 9114, Алексей морозов - 1013, Алексей Морозов ...
0
голосов
1
ответ
284
показа
Reduce по массиву объектов. Не могу правильно составить. Суммирование внутри reduce если свойство объекта повторяется
Есть массив объектов
[
{
"id": 506,
"NAME": "Алексей Морозов",
"WELD_LENGTH": "1708",
"SUM_WELD_LENGTH": 13664,
"DATE": "03.08.2019",
"...
-1
голос
3
ответа
1k
показов
перемножить значения ключей объектов
products - объект со свойствами "имя продукта":"цена за единицу"
order - объект со свойствами "имя продукта":"количество единиц".
Нужно перемножить одниковые значения ключей этих объектов,
необходимо ...
0
голосов
0
ответов
44
показа
Map-reduce для обработки телеметрии
Можно ли использовать модель map-reduce для хранения и обработки данных телеметрии.
С точки зрения обработки важна последовательность при анализе показаний. Как с этой проблемой справляются при ...
2
голоса
0
ответов
148
показов
Возможно ли ускорить полный перебор?
Есть транспортная задача с промежуточными пунктами и ограничениями на пропускную способность. Кроме того, имеется транспортный парк. В задаче необходимо найти оптимальное решение по стоимости ...
1
голос
2
ответа
515
показов
java stream реализовать метод map и filter используя только reduce
Видел как это решается в джаваскрипте, а вот на джаве...
Руководствуясь этой статьёй, набросал так
public static<R,U> List<R> myMap(Stream<U> s, Function<U,R> fnctn) {
...
1
голос
1
ответ
137
показов
Потоки в java, синхронизация данных
Пишу программу для подсчёта слов в текстовом файле. Проблема заключается в том что, при выполнении программы в итоге выводит 0 уникальных слов (или какое-то число не превышающее 5000 тысяч). Не могу ...
2
голоса
1
ответ
119
показов
Разработка MapReduce приложения для выделения уникальных пользователей
Есть большой входной файл (10^12 строк) со следующим форматом:
Имя|Фамилия|Дата Рождения
Пример:
Yana|Petrova|21.01.1990
Kseniya|Ivanova|22.02.1990
Kseniya|Ivvanova|22.02.1990
Jana|Petrova|21.01....
3
голоса
1
ответ
73
показа
WindowsAzure.Storage ошибка 404
Почему мне сервер возвращает 404 ошибку?
А именно:
Исключение типа "Microsoft.WindowsAzure.Storage.StorageException" возникло в Microsoft.WindowsAzure.Storage.dll
Класс Constants.cs, в котором ...
1
голос
1
ответ
290
показов
Java.lang.NullPointerException в Map при чтении и записи в Hive
Добрый день! Возникает следующая ошибка, не могу понять причину. Проверила данные в таблице dmg_bindings, они ненулевые, партиция также присутствует.
Код Driver:
import org.apache.hadoop.conf....
0
голосов
1
ответ
382
показа
Проблема с MapReduce
Пишу программу, используя Hadoop MapReduce.
Что-то совсем запутался с тем, как написать методы map и reduce, так, чтобы они работать со следующей задачей:
Входной файл имеет следующий вид:
1 ...
2
голоса
2
ответа
5k
показов
Ошибка при компиляции java программы: unreported exception SQLException
Привожу часть hadoop программы, породившую ошибки компиляции
package org.myorg;
import java.io.*;
import java.util.*;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql....
2
голоса
2
ответа
761
показ
Вывод переменных hadoop программы c помощью log4j
Я написал hadoop программу с использованием log4j (привожу только шаг Map, работа которого не оправдала мои ожидания)
package org.myorg;
import java.io.*;
import java.util.*;
import org.apache.hadoop....
0
голосов
2
ответа
335
показов
Ошибка доступа при компиляции hadoop программы
Попытался скомпилировать hadoop-программу с помощью команды
root@one:/opt/jdk1.7.0_06/bin# ./javac -classpath /export/hadoop-1.0.1/hadoop-core-1.0.1.jar;/export/hadoop-1.0.1/log4j-1.2.17.jar -d /...
0
голосов
0
ответов
439
показов
Ошибка запуска демона Namenode c логом ошибок
Я пытался запустить namenode c помощью скрипта
./start-all.sh
и в лог-файле обнаружил следующие сообщения (привожу сообщения только для handler)
2013-02-18 02:36:18,267 INFO org.apache.hadoop.hdfs....
0
голосов
1
ответ
393
показа
Зависание при запуске демона Namenode
Я изменил порт с 9000 на 5000 в конфигурационном файле core-site.xml и запустил скрипт
./hadoop namenode
и в результате получил следующие сообщения (привожу только часть, что увидел с экрана, так ...
1
голос
1
ответ
516
показов
Ошибка запуска демона Namenode
Я запустил скрипт
./hadoop namenode
и в результате получил сообщение
2013-02-17 12:29:37,493 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: STARTUP_MSG:
/**************************************...
1
голос
1
ответ
481
показ
Порт в файле core-site.xml
Я пытался создать папку в файловой системе HDFS с помощью команды
./hadoop fs -mkdir /user/hadoop
и в результате получил следующие сообщения
13/02/17 09:45:50 INFO ipc.Client: Retrying connect to ...
1
голос
3
ответа
7k
показов
Жесткая установка переменной JAVA_HOME в Linux
Пытаюсь запустить все демоны hadoop с помощью команды
./start-all.sh
с главного компьютера кластера. В результате выполнения несколько раз выдавало:
starting namenode, logging to /export/hadoop-1.0....
0
голосов
1
ответ
651
показ
Доступ к HDFS файлам со всех компьютеров кластера
Моя hadoop программа первоначально запускалась в локальном режиме, а теперь моей целью стало запуск в полностью распределенном режиме.
Для этого необходимо обеспечить доступ к файлам, чтение которых ...
1
голос
1
ответ
377
показов
Зависимость числа редукторов от количества узлов кластера
Моя hadoop программа использует один mapper, которая разбивает входные данные на определенное число порций, число которых задается в файле /usr/countcomputers.txt (читается функцией mapper). Далее по ...
0
голосов
2
ответа
534
показа
Error: cannot access org.apache.hadoop.mapred.MapReduceBase
Я написал следующую программу. Файл создан в eclipse.
package org.myorg;
import java.io.*;
import java.util.*;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.conf.*;
import org.apache....
-2
голоса
1
ответ
812
показов
Компиляция hadoop-java программ в solaris
Объясните, пожалуйста, опции в команде компиляции
javac -classpath ${HADOOP_HOME}/hadoop-${HADOOP_VERSION}-core.jar -d wordcount_classes WordCount.java
(зачем они нужны) на странице http://hadoop....
0
голосов
0
ответов
550
показов
Сборка native hadoop library
Как собрать native hadoop library согласно Building Native Hadoop Libraries (я не все понял, например, у меня нет папки build/native и что в команде $ ant -Dcompile.native=true <target> является ...
0
голосов
1
ответ
808
показов
Ошибка при запуска hadoop программмы: java.io.IOException
using namespace std;
#include "hadoop/Pipes.hh"
#include "hadoop/TemplateFactory.hh"
#include "hadoop/StringUtils.hh"
#include "libpq-fe.h"
extern "C" {
#include "traverser.h"
}
class IndexMap:...
0
голосов
1
ответ
1k
показов
Команды копирования в HDFS и запуска бинарника
Hadoop у меня располагается в /export/hadoop-1.0.1, а запускаемая программа -/export/hadoop-1.0.1/src/c++/hadoopc++/src/hadoopc++.cpp. Тогда согласно
C/C++ MapReduce Code & build,
Running C++ ...
0
голосов
1
ответ
529
показов
Не видна функция при сборке: Undefined first referenced symbol
При компиляции hadoop-программы, указанной в вопросе с помощью команды
g++ /export/hadoop-1.0.1/src/c++ -Iinstall/include -Linstall/lib -lhadooputils -lhadooppipes -lssl -lcrypto -lpthread -lsocket ...
0
голосов
1
ответ
2k
показов
Ошибка при компиляции и линковке map-reduce программы
Решил откомпилировать программу согласно Hadoop Tutorial 2.2 -- Running C++ Programs on Hadoop. Использовал уже другой Makefile
CC = g++
HADOOP_INSTALL = /export/hadoop-1.0.1
PLATFORM = Linux-...
0
голосов
1
ответ
844
показа
Ошибка при компиляции: Undefined first referenced symbol
using namespace std;
#include "hadoop/Pipes.hh"
#include "hadoop/TemplateFactory.hh"
#include "hadoop/StringUtils.hh"
#include "libpq-fe.h"
#include "traverser.h"
class IndexMap:public HadoopPipes::...
0
голосов
1
ответ
596
показов
Ошибка в ключах компиляции в Linux: library -lss: not found
Решил откомпилировать программу согласно [Compiling Pipes Programs] и получил следующую ошибку:
ld: fatal: library -lss: not found
ld: fatal: file processing errors. No output written to wc-...
1
голос
1
ответ
1k
показов
Как ноды должны получать код маппера/редьюсера и входные/выходные данные?
Каким образом ноды должны получать код маппера/редьюсера и входные/выходные данные?