1

С помощью кода я спарсил список ссылок.

import urllib.request
import requests
from bs4 import BeautifulSoup

def get_html(url):
    r = requests.get(url)
    return r.text
def get_all_links(html):
    soup = BeautifulSoup(html, 'lxml')
    tds = soup.find('table', class_="t2").find_all('td', class_='td3', align='center')
    links = []
    for td in tds:
        a = td.find("a", class_="a1")
        if a is not None:
            b = a.get('href')
            link = 'http://cvk.gov.ua/pls/vp2014/' + b
            links.append(link)
    return links
def get_page_data(html):
    soup = BeautifulSoup(html, 'lxml')

def main():
    url = "http://cvk.gov.ua/pls/vp2014/WP335?PT001F01=702"
    all_links =get_all_links(get_html(url))
if __name__ == '__main__':
    main() 

Подскажите пожалуйста, как можно и лучше всего спарсить таблицу из каждой ссылки и все сохранить в один csv файл

all_links = ['http://cvk.gov.ua/pls/vp2014/wp336?pt001f01=702&pt005f01=11', 'http://cvk.gov.ua/pls/vp2014/wp336?pt001f01=702&pt005f01=12', 'http://cvk.gov.ua/pls/vp2014/wp336?pt001f01=702&pt005f01=13', 'http://cvk.gov.ua/pls/vp2014/wp336?pt001f01=702&pt005f01=14', 'http://cvk.gov.ua/pls/vp2014/wp336?pt001f01=702&pt005f01=15', 'http://cvk.gov.ua/pls/vp2014/wp336?pt001f01=702&pt005f01=16', 'http://cvk.gov.ua/pls/vp2014/wp336?pt001f01=702&pt005f01=17', 'http://cvk.gov.ua/pls/vp2014/wp336?pt001f01=702&pt005f01=18', 'http://cvk.gov.ua/pls/vp2014/wp336?pt001f01=702&pt005f01=19', 'http://cvk.gov.ua/pls/vp2014/wp336?pt001f01=702&pt005f01=20']
3
  • Вы можете пояснить по какому принципу (фильтру) вы получили all_links - их там гораздо больше должно было получиться... Commented 12 янв. 2018 в 12:27
  • Извините, то я для примера хотел показать только первые 10 линков, потом передумал и показал весь код. Дякую за допомогу!!! Commented 12 янв. 2018 в 15:19
  • Будь ласка! :-) Commented 12 янв. 2018 в 15:20

1 ответ 1

1

Используйте магию Pandas:

import pandas as pd
import requests
from bs4 import BeautifulSoup


link_pat = 'http://cvk.gov.ua/pls/vp2014/{}'
out_file=r'c:/temp/out.csv'

main_url = 'http://cvk.gov.ua/pls/vp2014/WP335?PT001F01=702'

def get_all_links(url, link_pat):
    r = requests.get(url)
    if not r.ok:
        r.raise_for_status()
    soup = BeautifulSoup(r.text, 'lxml')
    return [link_pat.format(x.attrs['href'])
            for x in soup.select('a.a1')]

def merge_all_to_df(links):
    return pd.concat([pd.read_html(url, encoding='utf=8')[2] for url in links],
                     ignore_index=True)

all_links = get_all_links(main_url, link_pat)
merge_all_to_df(all_links).to_csv(out_file, index=False, header=None)

Тест:

In [106]: %paste
all_links = get_all_links(main_url, link_pat)
merge_all_to_df(all_links).to_csv(out_file, index=False, header=None)

## -- End pasted text --

In [107]: df = pd.read_csv(out_file)

In [108]: df.shape
Out[108]: (29402, 33)

In [109]: df.columns
Out[109]:
Index(['№ ВД', '1.Одержано бюлетенів', '2.К-сть виборців, внесених до списку',
       '3.К-сть виборців, внесених до витягу для голос. за місцем перебув.', '4.Невикор. бюлетенів',
       '5.К-сть виборців, які отримали бюлетені у приміщ. для голос.',
       '6.К-сть виборців, які отримали бюлетені за місцем перебув.', '7.Зазальна к-сть виборців, які отримали бюлетені',
       '8.К-сть бюлетенів, що не підлягають врахуванню', '9.К-сть виборців, які взяли участь у голосуванні',
       '10.К-сть бюлетенів, визнаних недійсними', 'Богомолець', 'Бойко', 'Гриненко', 'Гриценко', 'Добкін', 'Клименко',
       'Коновалюк', 'Кузьмін', 'Куйбіда', 'Ляшко', 'Маломуж', 'Порошенко', 'Рабінович', 'Саранов', 'Симоненко',
       'Тимошенко', 'Тігіпко', 'Тягнибок', 'Цушко', 'Шкіряк', 'Ярош', 'Дата протоколу'],
      dtype='object')

In [110]: df
Out[110]:
         № ВД 1.Одержано бюлетенів 2.К-сть виборців, внесених до списку  \
0      000001                  524                                  459
1      051477                 2064                                 2051
2      051478                 2400                                 2368
3      051479                 2148                                 2175
4      051480                 1680                                 1668
5      051481                 1524                                 1521
6      051482                 2248                                 2305
...       ...                  ...                                  ...

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.