Покажу по шагам для Китая. Весь код тут.
Алгоритм:
- Скачать. Пусть будет через
requests
- Распарсить. Будет через
BeautifulSoup
- Извлечь нужные данные
Шаг 1
# Скачать
import requests
rs = requests.get('https://www.wikidata.org/wiki/Q148')
# Распарсить
from bs4 import BeautifulSoup
root = BeautifulSoup(rs.content, 'html.parser')
# Извлекаем
# P1082 -- идентификатор для population
population_node = root.select_one('#P1082')
# Перебор строк в соседнем от population столбце
for row in population_node.select('.wikibase-statementview'):
# Небольшая хитрость -- берем только первые 2 значения, по идеи это
# будут: количество людей и дата
number_str, data_str = row.select('.wikibase-snakview-value')[:2]
# Вытаскиваем текст из
number_str = number_str.text.strip()
data_str = data_str.text.strip()
print(data_str, number_str)
В консоли будет:
1 July 2012 1,375,198,619
2010 1,332,810,869
1 July 2015 1,397,028,553
1 July 2016 1,403,500,365
1 July 2014 1,390,110,388
1 July 2010 1,359,755,102
1 July 2017 1,409,517,397
1 July 2011 1,367,480,264
1 July 2013 1,382,793,212
Шаг 2
Данные вы получили, теперь нужно обработать:
- Дату привести к одному виду -- только год.
1 July 2012
-> 2012
- Собрать в контейнер, например в словарь
- Для удобства обернуть скачивание и обработку в функцию
Код:
import requests
from bs4 import BeautifulSoup
def get_populations(url: str) -> dict:
rs = requests.get(url)
root = BeautifulSoup(rs.content, 'html.parser')
# P1082 -- идентификатор для population
population_node = root.select_one('#P1082')
populations = dict()
# Перебор строк в соседнем от population столбце
for row in population_node.select('.wikibase-statementview'):
# Небольшая хитрость -- берем только первые 2 значения, поидеи это будут: количество людей и дата
number_str, data_str = row.select('.wikibase-snakview-value')[:2]
# Вытаскиваем текст из
number_str = number_str.text.strip()
data_str = data_str.text.strip()
# Делаем разделение и берем последнуюю часть, после приводим к числу
# "1 July 2012" -> 2012, "2010" -> 2010
year = int(data_str.split()[-1])
# Добавляем в словарь
populations[year] = number_str
return populations
if __name__ == '__main__':
url = 'https://www.wikidata.org/wiki/Q148'
populations = get_populations(url)
print(populations) # {2012: '1,375,198,619', 2010: '1,359,755,102', 2015: '1,397,028,553', ...
# Выводим данные с сортировкой по ключу: по возрастанию
for year in sorted(populations):
print("{}: {}".format(year, populations[year]))
# 2010: 1,359,755,102
# 2011: 1,367,480,264
# 2012: 1,375,198,619
# 2013: 1,382,793,212
# 2014: 1,390,110,388
# 2015: 1,397,028,553
# 2016: 1,403,500,365
# 2017: 1,409,517,397
Шаг 3
Для удобства сделаем функцию, которая вернет данные по указанному году:
...
def get_population_by_year(populations: dict, year: int) -> str:
# Если такой год не будет найден, вернем -1
return populations.get(year, -1)
# Аналогично get_population_by_year, но сначала вытащит данные из
# указанного url, а после достанет значение по year
def get_population_from_url_by_year(url: str, year: int) -> str:
populations = get_populations(url)
return get_population_by_year(populations, year)
if __name__ == '__main__':
url = 'https://www.wikidata.org/wiki/Q148'
populations = get_populations(url)
print(populations) # {2012: '1,375,198,619', 2010: '1,359,755,102', 2015: '1,397,028,553', ...
...
print(get_population_by_year(populations, 2012)) # 1,375,198,619
print(get_population_by_year(populations, 2013)) # 1,382,793,212
print(get_population_by_year(populations, 2014)) # 1,390,110,388
population
? Там есть даты, такие как1 July 2012
и какие-то числа, такие как1,375,198,619
. Вам и нужно это получить? Мол за 2012 год было1,375,198,619
народу? Это и нужно в вопросе показывать. То, что вы новичок, я думаю и так понятно, поэтому лучше вместо этого указания больше примеров и скриншотов добавили бы :)