1

Мне нужно повторить этот код несколько раз (44 раза) и получить 44 разные матрицы mat. Данные загружаю отсюда https://intl-atlas-downloads.s3.amazonaws.com/index.html догадываюсь, что это можно сделать при помощи "for-loop", но пока до конца не понимаю, как именно. Буду признателен за подсказки.

    library(readstata13)  
library(diverse)   
library(plyr)   
setwd('C:/Users/Admin/Desktop/work/world HH')
filenames <- paste0('S2_final_',1962:2016,'.dta')
filenames <- c(filenames,paste0('S2_final_',1962:2016,'.dta'))
matr=NULL
g=23
for (j in 1:g) {
  dat <- read.dta13(filenames[j]) #pickup    
  data = aggregate(dat$export_value, by = list(dat$exporter,dat$commoditycode), FUN = sum)
  colnames(data) = c("land","product","value")      
  dt = split(data, f = data$product)      
  land = as.data.frame(sort(unique(data[, 1])))      
  nds = seq(1, nrow(land), by = 1)      
  texmat = cbind(nds, land)     
  colnames(texmat) = c("num", "land")  
  for (i in 1:length(unique(data[, 2]))) {
    (join(texmat, dt[[i]], by = "land", type = "left")$value)
  }   
  mt = sapply(1:length(unique(data[, 2])), function(i) join(texmat, dt[[i]], by = "land", type = "left")$value)    
  colnames(mt) = unique(data[, 2])       
  rownames(mt) = sort(unique(data[, 1]))      
  mt[is.na(mt)] = 0      
  rcamat=values(mt, category_row = FALSE, norm = "rca",filter = 1, binary = TRUE)     
  rcamat[is.na(rcamat)] = 0     
  tmat = rcamat[rowSums(rcamat) != 0, , drop = TRUE]    
  mat = t(tmat)
  matr[[j]] <- mat
}  
state=NULL
for (n in 1:g) {
  state[[n]]=matr[[n]][,"FIN"]
}
stcom=sapply(state, '[', seq(max(sapply(state,length))))
stc <- stcom[complete.cases(stcom), ]
colnames(stc)=paste("FIN", 1:g, sep = "")
2
  • Оберните свой код обработки таблицы в функцию с одним аргументом: входной файл данных. Но было бы лучше, если бы вы показали результат, который хотите получить: предполагаю, что ваш код можно сильно упростить и ускорить. 16 фев 2018 в 2:50
  • Артем, спасибо, проблема в результате решена. Вероятно, Вы правы, код не самый оптимальный. Что я хочу сделать: загрузить с сайта данные по годам, они там в форме 2D вектора, преобразовать их в матричную форму, одна матрица - один год. Затем из каждой матрицы достать интересующий меня столбец и все их соединить в одну матрицу. 16 фев 2018 в 8:35

1 ответ 1

1

Примерно такой код получился. Скрипт разделён на 2 части: многпоточная загрузка файлов с сайта и пост обработка. Основные вычисления проведены с помощью пакета data.table: агрегация и приведение в широкий формат (dcast).

## ---- Загрузка файлов ----
# Страница со ссылками
u <- "https://intl-atlas-downloads.s3.amazonaws.com/"
# Загружаем страницу
resp <- curl::curl_fetch_memory(u)
# Парсим содержимое в строку
txt <- rawToChar(resp$content)
# Разбираем XML
doc <- XML::xmlParse(txt)
doc <- XML::xmlRoot(doc)
ns <- XML::xmlNamespace(doc)
# Вытаскиваем ссылки
links <- XML::getNodeSet(doc, "//ns:Key", fun = XML::xmlValue, namespaces = c(ns = ns[1]))
links <- unlist(links)
links <- grep("S2_final_\\d+.dta$", links, value = TRUE)
links <- paste0(u, links)

# Скачиваем файлы по ссылкам
pool <- curl::new_pool()
for (u in links) {
  curl::multi_add(
    handle = curl::new_handle(url = u),
    pool = pool,
    done = function(resp) {
      dfile <- basename(resp$url)
      if (file.exists(dfile)) return(NULL)
      message(sQuote(dfile), " downloaded")
      writeBin(resp$content, dfile)
    },
    fail = function(resp) {
      warning("Can't retrive ", resp$url, call. = FALSE)
    })
}
curl::multi_run(pool = pool)


## ---- Обработка данных ----
library(data.table)

calc_mat <- function(filename, col) {
  DT <- setDT(readstata13::read.dta13(filename))
  dat <- DT[, .(value = sum(export_value)), keyby = .(land = exporter, product = commoditycode)]
  dat <- dcast(land ~ product, data = dat, fill = 0)
  mt <- as.matrix(dat[, -1])
  rownames(mt) <- dat[, land]
  rcamat <- diverse::values(mt, category_row = FALSE, norm = "rca", filter = 1, binary = TRUE)
  rcamat[is.na(rcamat)] <- 0 
  tmat <- rcamat[rowSums(rcamat) != 0, , drop = TRUE]
  return(t(tmat)[, col])
}

res <- sapply(list.files("."), calc_mat, col = "FIN")
colnames(res) <- basename(list.files("."))
0

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.