3

Я хочу получить данные населения за 2012 год в Китае со страницы https://www.wikidata.org/wiki/Q148, используя функцию, в которую в качестве параметров переданы 2012 год и название страны China.

На странице https://www.wikidata.org/wiki/Q148#P1082 есть отдел population, и за каждый год написано количество населения.

Я хочу узнать именно population за 2012 год. Но не исключено, что потом моя функция захочет получить данные за 2013 или за 2018 годы и т.д. Поэтому должна быть возможность в зависимости от года получать данные population.

Как мне сделать это с помощью библиотеку BeautifulSoup?

3
  • 1
    1) Скачать 2) Получить . Больше конкретики, пожалуйста. Какие именно данные? Я вот открыл ту страницу и не понял что оттуда нужно вытаскивать :) А так вот пример скачивания и парсинга: github.com/gil9red/SimplePyScripts/blob/…
    – gil9red
    30 авг 2018 в 10:02
  • @gil9red я теперь уточнила вопрос 30 авг 2018 в 10:31
  • Нужно больше разжевывать :) Например, вот нашел я на той странице population? Там есть даты, такие как 1 July 2012 и какие-то числа, такие как 1,375,198,619. Вам и нужно это получить? Мол за 2012 год было 1,375,198,619 народу? Это и нужно в вопросе показывать. То, что вы новичок, я думаю и так понятно, поэтому лучше вместо этого указания больше примеров и скриншотов добавили бы :)
    – gil9red
    30 авг 2018 в 11:18

1 ответ 1

1

Покажу по шагам для Китая. Весь код тут.

Алгоритм:

  • Скачать. Пусть будет через requests
  • Распарсить. Будет через BeautifulSoup
  • Извлечь нужные данные

Шаг 1

# Скачать
import requests
rs = requests.get('https://www.wikidata.org/wiki/Q148')

# Распарсить
from bs4 import BeautifulSoup
root = BeautifulSoup(rs.content, 'html.parser')

# Извлекаем
# P1082 -- идентификатор для population
population_node = root.select_one('#P1082')

# Перебор строк в соседнем от population столбце
for row in population_node.select('.wikibase-statementview'):
    # Небольшая хитрость -- берем только первые 2 значения, по идеи это 
    # будут: количество людей и дата
    number_str, data_str = row.select('.wikibase-snakview-value')[:2]

    # Вытаскиваем текст из
    number_str = number_str.text.strip()
    data_str = data_str.text.strip()

    print(data_str, number_str)

В консоли будет:

1 July 2012 1,375,198,619
2010 1,332,810,869
1 July 2015 1,397,028,553
1 July 2016 1,403,500,365
1 July 2014 1,390,110,388
1 July 2010 1,359,755,102
1 July 2017 1,409,517,397
1 July 2011 1,367,480,264
1 July 2013 1,382,793,212

Шаг 2

Данные вы получили, теперь нужно обработать:

  • Дату привести к одному виду -- только год. 1 July 2012 -> 2012
  • Собрать в контейнер, например в словарь
  • Для удобства обернуть скачивание и обработку в функцию

Код:

import requests
from bs4 import BeautifulSoup


def get_populations(url: str) -> dict:
    rs = requests.get(url)
    root = BeautifulSoup(rs.content, 'html.parser')

    # P1082 -- идентификатор для population
    population_node = root.select_one('#P1082')

    populations = dict()

    # Перебор строк в соседнем от population столбце
    for row in population_node.select('.wikibase-statementview'):
        # Небольшая хитрость -- берем только первые 2 значения, поидеи это будут: количество людей и дата
        number_str, data_str = row.select('.wikibase-snakview-value')[:2]

        # Вытаскиваем текст из
        number_str = number_str.text.strip()
        data_str = data_str.text.strip()

        # Делаем разделение и берем последнуюю часть, после приводим к числу
        # "1 July 2012" -> 2012, "2010" -> 2010
        year = int(data_str.split()[-1])

        # Добавляем в словарь
        populations[year] = number_str

    return populations


if __name__ == '__main__':
    url = 'https://www.wikidata.org/wiki/Q148'
    populations = get_populations(url)
    print(populations)  # {2012: '1,375,198,619', 2010: '1,359,755,102', 2015: '1,397,028,553', ...

    # Выводим данные с сортировкой по ключу: по возрастанию
    for year in sorted(populations):
        print("{}: {}".format(year, populations[year]))

    # 2010: 1,359,755,102
    # 2011: 1,367,480,264
    # 2012: 1,375,198,619
    # 2013: 1,382,793,212
    # 2014: 1,390,110,388
    # 2015: 1,397,028,553
    # 2016: 1,403,500,365
    # 2017: 1,409,517,397

Шаг 3

Для удобства сделаем функцию, которая вернет данные по указанному году:

...

def get_population_by_year(populations: dict, year: int) -> str:
    # Если такой год не будет найден, вернем -1
    return populations.get(year, -1)


# Аналогично get_population_by_year, но сначала вытащит данные из 
# указанного url, а после достанет значение по year
def get_population_from_url_by_year(url: str, year: int) -> str:
    populations = get_populations(url)
    return get_population_by_year(populations, year)


if __name__ == '__main__':
    url = 'https://www.wikidata.org/wiki/Q148'
    populations = get_populations(url)
    print(populations)  # {2012: '1,375,198,619', 2010: '1,359,755,102', 2015: '1,397,028,553', ...

    ...

    print(get_population_by_year(populations, 2012))  # 1,375,198,619
    print(get_population_by_year(populations, 2013))  # 1,382,793,212
    print(get_population_by_year(populations, 2014))  # 1,390,110,388
1
  • Это очень классно, спасибо большое)) Надеюсь, когда-нибудь я тоже так научусь) 31 авг 2018 в 9:07

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.