3

Я хочу получить данные населения за 2012 год в Китае со страницы https://www.wikidata.org/wiki/Q148, используя функцию, в которую в качестве параметров переданы 2012 год и название страны China.

На странице https://www.wikidata.org/wiki/Q148#P1082 есть отдел population, и за каждый год написано количество населения.

Я хочу узнать именно population за 2012 год. Но не исключено, что потом моя функция захочет получить данные за 2013 или за 2018 годы и т.д. Поэтому должна быть возможность в зависимости от года получать данные population.

Как мне сделать это с помощью библиотеку BeautifulSoup?

3
  • 1
    1) Скачать 2) Получить . Больше конкретики, пожалуйста. Какие именно данные? Я вот открыл ту страницу и не понял что оттуда нужно вытаскивать :) А так вот пример скачивания и парсинга: github.com/gil9red/SimplePyScripts/blob/…
    – gil9red
    30 авг 2018 в 10:02
  • @gil9red я теперь уточнила вопрос 30 авг 2018 в 10:31
  • Нужно больше разжевывать :) Например, вот нашел я на той странице population? Там есть даты, такие как 1 July 2012 и какие-то числа, такие как 1,375,198,619. Вам и нужно это получить? Мол за 2012 год было 1,375,198,619 народу? Это и нужно в вопросе показывать. То, что вы новичок, я думаю и так понятно, поэтому лучше вместо этого указания больше примеров и скриншотов добавили бы :)
    – gil9red
    30 авг 2018 в 11:18

1 ответ 1

1

Покажу по шагам для Китая. Весь код тут.

Алгоритм:

  • Скачать. Пусть будет через requests
  • Распарсить. Будет через BeautifulSoup
  • Извлечь нужные данные

Шаг 1

# Скачать
import requests
rs = requests.get('https://www.wikidata.org/wiki/Q148')

# Распарсить
from bs4 import BeautifulSoup
root = BeautifulSoup(rs.content, 'html.parser')

# Извлекаем
# P1082 -- идентификатор для population
population_node = root.select_one('#P1082')

# Перебор строк в соседнем от population столбце
for row in population_node.select('.wikibase-statementview'):
    # Небольшая хитрость -- берем только первые 2 значения, по идеи это 
    # будут: количество людей и дата
    number_str, data_str = row.select('.wikibase-snakview-value')[:2]

    # Вытаскиваем текст из
    number_str = number_str.text.strip()
    data_str = data_str.text.strip()

    print(data_str, number_str)

В консоли будет:

1 July 2012 1,375,198,619
2010 1,332,810,869
1 July 2015 1,397,028,553
1 July 2016 1,403,500,365
1 July 2014 1,390,110,388
1 July 2010 1,359,755,102
1 July 2017 1,409,517,397
1 July 2011 1,367,480,264
1 July 2013 1,382,793,212

Шаг 2

Данные вы получили, теперь нужно обработать:

  • Дату привести к одному виду -- только год. 1 July 2012 -> 2012
  • Собрать в контейнер, например в словарь
  • Для удобства обернуть скачивание и обработку в функцию

Код:

import requests
from bs4 import BeautifulSoup


def get_populations(url: str) -> dict:
    rs = requests.get(url)
    root = BeautifulSoup(rs.content, 'html.parser')

    # P1082 -- идентификатор для population
    population_node = root.select_one('#P1082')

    populations = dict()

    # Перебор строк в соседнем от population столбце
    for row in population_node.select('.wikibase-statementview'):
        # Небольшая хитрость -- берем только первые 2 значения, поидеи это будут: количество людей и дата
        number_str, data_str = row.select('.wikibase-snakview-value')[:2]

        # Вытаскиваем текст из
        number_str = number_str.text.strip()
        data_str = data_str.text.strip()

        # Делаем разделение и берем последнуюю часть, после приводим к числу
        # "1 July 2012" -> 2012, "2010" -> 2010
        year = int(data_str.split()[-1])

        # Добавляем в словарь
        populations[year] = number_str

    return populations


if __name__ == '__main__':
    url = 'https://www.wikidata.org/wiki/Q148'
    populations = get_populations(url)
    print(populations)  # {2012: '1,375,198,619', 2010: '1,359,755,102', 2015: '1,397,028,553', ...

    # Выводим данные с сортировкой по ключу: по возрастанию
    for year in sorted(populations):
        print("{}: {}".format(year, populations[year]))

    # 2010: 1,359,755,102
    # 2011: 1,367,480,264
    # 2012: 1,375,198,619
    # 2013: 1,382,793,212
    # 2014: 1,390,110,388
    # 2015: 1,397,028,553
    # 2016: 1,403,500,365
    # 2017: 1,409,517,397

Шаг 3

Для удобства сделаем функцию, которая вернет данные по указанному году:

...

def get_population_by_year(populations: dict, year: int) -> str:
    # Если такой год не будет найден, вернем -1
    return populations.get(year, -1)


# Аналогично get_population_by_year, но сначала вытащит данные из 
# указанного url, а после достанет значение по year
def get_population_from_url_by_year(url: str, year: int) -> str:
    populations = get_populations(url)
    return get_population_by_year(populations, year)


if __name__ == '__main__':
    url = 'https://www.wikidata.org/wiki/Q148'
    populations = get_populations(url)
    print(populations)  # {2012: '1,375,198,619', 2010: '1,359,755,102', 2015: '1,397,028,553', ...

    ...

    print(get_population_by_year(populations, 2012))  # 1,375,198,619
    print(get_population_by_year(populations, 2013))  # 1,382,793,212
    print(get_population_by_year(populations, 2014))  # 1,390,110,388
1
  • Это очень классно, спасибо большое)) Надеюсь, когда-нибудь я тоже так научусь) 31 авг 2018 в 9:07

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.