Пример кода для выполнения запроса с использованием пакета crul
.
# HHTP клиент
cl <- crul::HttpClient$new(url = "https://api.zp.ru")
# Запрос к API
resp <- cl$get(path = "v1/vacancies",
query = list(scope = "public", q = "machine+learning", limit = 100L))
# Парсинг ответа
ans <- jsonlite::fromJSON(resp$parse(encoding = "UTF-8"))
# Количество записей в результате выдачи
cat(ans$metadata$resultset$count)
#> 2
# Извлекаем необходимые поля
res <- ans$vacancies
data.frame(
header = res$header,
published_at = as.Date(res$publication$published_at),
salary = res$salary,
education = res$education$title,
experience_length = res$experience_length$title,
schedule = res$schedule$title,
working_type = res$working_type$title,
requirements = res$requirements,
url = paste0("https://www.zp.ru", res$url),
company = res$company$title,
address = paste(res$address$city$title, res$address$street, res$address$building)
)
#> header published_at salary education
#> 1 Senior, Middle Data scientist 2017-12-08 договорная высшее
#> 2 Junior Data scientist 2017-12-08 договорная высшее
#> experience_length schedule working_type
#> 1 3-5 лет гибкий график полная занятость
#> 2 без опыта гибкий график полная занятость
#> requirements
#> 1 Высшее образование, стаж работы 3-5 лет, полная занятость
#> 2 Высшее образование, без опыта, полная занятость
#> url
#> 1 https://www.zp.ru/vacancy/Senior_Middle_Data_scientist?id=139080429
#> 2 https://www.zp.ru/vacancy/Junior_Data_scientist?id=139080474
#> company address
#> 1 СКБ Контур Екатеринбург Малопрудная 5
#> 2 СКБ Контур Екатеринбург Малопрудная 5
Для выгрузки всех результатов в случае если их больше 100, необходимо использовать параметр offset
.
Описание полей возвращаемого результата приведено в документации по API.
При необходимости можно извлекать только нужные поля при помощи параметра fields
. Например:
query = list(scope = "public",
q = "machine+learning", limit = 100L,
fields = "header,company.title")
Пример постраничной выгрузки:
#' @title Функция для выгрузки вакансий с сайта zp.ru
#' @param cl HTTP клиент. Создаётся при помощи `crul::HttpClient`.
#' @param query Строка, содержащая запрос.
#' @param limit Целое число от 1 до 100, определяющее количество результатов.
#' @return data.frame с результатами запроса
fetch_vacancies <- function(cl, query) {
limit <- 100L
q <- list(
scope = "public",
q = query,
limit = limit
)
fetch_data <- function(query) {
# Запрос к API
resp <- cl$get(path = "v1/vacancies", query = query)
# Проверка статуса ответа
resp$raise_for_status()
# Парсинг ответа
jsonlite::fromJSON(resp$parse(encoding = "UTF-8"))
}
extract_data <- function(data) {
res <- data$vacancies
data.frame(
header = res$header,
published_at = res$publication$published_at,
salary = res$salary,
education = res$education$title,
experience_length = res$experience_length$title,
schedule = res$schedule$title,
working_type = res$working_type$title,
requirements = res$requirements,
url = paste0("https://www.zp.ru", res$url),
company = res$company$title,
address = paste(res$address$city$title, res$address$street, res$address$building)
)
}
ans <- fetch_data(q)
res <- extract_data(ans)
# Орабатываем случай, если результатов больше 100
if (ans$metadata$resultset$count > limit) {
e <- new.env()
# Доабвляем уже полученные данные
e[["0"]] <- res
offset <- 101L
count <- ans$metadata$resultset$count
# Повторяем запросы и парсинг со смещением в 100
while (offset < count) {
q$offset <- offset
res <- extract_data(fetch_data(q))
e[[as.character(offset)]] <- res
# Предотвращаем спам запросов
Sys.sleep(0.4)
# Выводим сообщение
cat("\rFetch page ", (offset - 1L) / 100L)
offset <- offset + 100L
}
# Собираем все результаты
res <- do.call(rbind, as.list(e))
}
# Добавляем обработанный запрос в атрибуты рзультата
attr(res, "query") <- ans$metadata$query$searched_q
return(res)
}
# HHTP клиент
cl <- crul::HttpClient$new(url = "https://api.zp.ru")
query <- "Аналитик"
res <- fetch_vacancies(cl, query)