1

Необходимо сделать парсер внутренних ссылок на сайт. Мне нужен первые пять ссылок, которые находятся в ('table',id='js-mutual-table') и записать их в файл:

import sys
import json
import requests
from bs4 import BeautifulSoup


def get_html(url):
    response = requests.get(url)
    html = response.content
    soup = BeautifulSoup(html, 'html.parser')
    return soup

def links_all(soup):
    tds = soup.find('table',id='js-mutual-table').find_all('td')
    links = []
    for td in tds:
        a = td.find(lambda tag: tag.get('href'))
        links.append(a)
    return links

def main():
    url = 'https://www.betexplorer.com/basketball/chile/lnb/ancud-osorn/bcqSOKom/'

    all_links = links_all(get_html(url))
    for i in all_links:
        print(i)

    line = [all_links]
    with open(r'C:\Users\Djok\Desktop\Проект ставка\Для ссылки\PythonApplication1\PythonApplication1\est.txt', 'w') as file:
    file.write('\n'.join(line))

if __name__ == '__main__':
    main()

1 ответ 1

1

Попробуйте так:

import lxml.html

r = requests.get(url)
tab = lxml.html.fromstring(r.content)
res = tab.xpath("//table[@id='js-mutual-table']//tr/td/a/@href")

результат:

In [166]: res
Out[166]:
['/basketball/chile/lnb/ancud-osorno/bcqSOKom/',
 '/basketball/chile/lnb/osorno-ancud/jV2gM68i/',
 '/basketball/chile/lnb-2017-2018/osorno-ancud/hnm7o9QQ/',
 '/basketball/chile/lnb-2017-2018/ancud-osorno/fiVEhKYn/',
 '/basketball/chile/lnb-2017-2018/osorno-ancud/pnDRPFtg/',
 '/basketball/chile/lnb-2017-2018/ancud-osorno/nB7sEwoh/',
 '/basketball/chile/lnb-2016-2017/osorno-ancud/Q7DkSVXO/',
 '/basketball/chile/lnb-2016-2017/ancud-osorno/2iFROnyk/',
 '/basketball/chile/lnb-2016-2017/ancud-osorno/YHANPSLr/',
 '/basketball/chile/lnb-2016-2017/osorno-ancud/tKVrXAT8/',
 '/basketball/chile/lnb-2016-2017/osorno-ancud/2TWvYjE2/',
 '/basketball/chile/lnb-2016-2017/ancud-osorno/67zCNVom/',
 '/basketball/chile/lnb-2016-2017/osorno-ancud/UNOm69aF/',
 '/basketball/chile/lnb-2016-2017/osorno-ancud/Kj2I8YK5/',
 '/basketball/chile/lnb-2016-2017/ancud-osorno/ns0fmRhS/',
 '/basketball/chile/lnb-2014-2015/osorno-ancud/QojeID7j/',
 '/basketball/chile/lnb-2014-2015/ancud-osorno/IJJQmjuo/']

In [167]: res[:5]
Out[167]:
['/basketball/chile/lnb/ancud-osorno/bcqSOKom/',
 '/basketball/chile/lnb/osorno-ancud/jV2gM68i/',
 '/basketball/chile/lnb-2017-2018/osorno-ancud/hnm7o9QQ/',
 '/basketball/chile/lnb-2017-2018/ancud-osorno/fiVEhKYn/',
 '/basketball/chile/lnb-2017-2018/osorno-ancud/pnDRPFtg/']
5
  • Как добавить его в список ? Попробовал так 30 окт 2018 в 10:21
  • @DjokMansurov, не понял вопроса... res - это уже список 30 окт 2018 в 10:22
  • я имею ввиду в массив 30 окт 2018 в 10:23
  • просто поменяйте имя переменной (res -> links) из моего ответа links = tab.xpath("//table[@id='js-mutual-table']//tr/td/a/@href") Или вам нужен список списков? 30 окт 2018 в 10:24
  • Спасибо........ 30 окт 2018 в 10:32

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.