1

Парсю, например, страницу http://www.myscore.ru/match/nqD8D0j4/#match-summary.

from lxml import html
import requests

page = requests.get('http://www.myscore.ru/match/nqD8D0j4/#match-summary')
tree = html.fromstring(page.content)
print(page.content)

В результате при выводе нет необходимых данных с таблиц. В чём может быть проблема?

5
  • А page.text что-то возвращает?
    – gil9red
    Commented 15 мар. 2016 в 7:18
  • Выводит, но нет там не все данные
    – Kashton
    Commented 15 мар. 2016 в 7:38
  • А что не так с данными? Напишите ожидаемый результат и текущий
    – gil9red
    Commented 15 мар. 2016 в 8:49
  • Нет событий по игре. Кто забил гол, кто получил желтую карточку и т.д.
    – Kashton
    Commented 15 мар. 2016 в 8:57
  • Например пропарсить только по определенным лигам? fscore.uz/football/tables/england/premier-league
    – Макс
    Commented 28 янв. 2020 в 13:58

2 ответа 2

5

Добавлю свой пример использующий QtWebKit из PySide. В примере я загружаю страницу с статистикой и вытаскиваю из нее текст вкладок (Матч, 1-й тайм, 2-й тайм) и прохожу по таблице Матч, вытаскивая из нее все теги tr:

import sys

from PySide.QtCore import *
from PySide.QtGui import *
from PySide.QtWebKit import *
from PySide.QtNetwork import *


if __name__ == '__main__':
    app = QApplication(sys.argv)

    # Чтобы не было проблем запуска компов с прокси:
    QNetworkProxyFactory.setUseSystemConfiguration(True)

    QWebSettings.globalSettings().setAttribute(QWebSettings.DeveloperExtrasEnabled, True)

    view = QWebView()
    # view.show()
    view.load('http://www.myscore.ru/match/nqD8D0j4/#match-statistics;0')

    # Ждем пока прогрузится страница
    loop = QEventLoop()
    view.loadFinished.connect(loop.quit)
    loop.exec_()

    doc = view.page().mainFrame().documentElement()
    print(doc.findFirst("#statistics-0-statistic a").toPlainText())
    print(doc.findFirst("#statistics-1-statistic a").toPlainText())
    print(doc.findFirst("#statistics-2-statistic a").toPlainText())

    table = doc.findFirst("#tab-statistics-0-statistic .parts")
    for tr in table.findAll('tr'):
        l, text, r = tr.toPlainText().split('\t')
        print(l, text, r)

    # sys.exit(app.exec_())

Результат:

Матч
1-й тайм
2-й тайм
50% Владение мячом 50%
9 Удары 15
5 Удары в створ 6
3 Удары мимо 7
1 Блок-но ударов 2
23 Штрафные 10
6 Угловые 9
3 Офсайды 6
29 Вбрасывания 26
5 Сэйвы 5
7 Фолы 19
1 Желтые карточки 3

Для установки PySide достаточно прописать в консоли: pip install PySide

1
  • Не работает с PySide2 from PySide2.QtCore import * => Cannot find reference QtCore Commented 9 авг. 2018 в 11:35
2

Там и не должно быть этих данных. Посмотрите внутрь кода: все данные в таблицу забираются средствами Javascript. Чтобы вытащить данные, надо повторить запросы к серверу этого сервиса (примерно сюда: "http://d.myscore.ru/x/feed/proxy" и "http://www.myscore.ru/match/nqD8D0j4/") - а затем правильно их разобрать.

Вообще говоря, это не будет идеальным решением, так как сервис в любой момент может поменять формат.

4
  • 1
    Если воспользоваться каким-нибудь браузерным движком, например WebKit, то он сам бы выполнил все нужные скрипты и запросы
    – gil9red
    Commented 15 мар. 2016 в 9:14
  • Да, WebKit - это один из самых универсальных способов вытащить эти таблицы.
    – Ilya
    Commented 15 мар. 2016 в 9:16
  • а на питоне есть какие-нибудь модули для использования браузерных движков? Я знаю QWebKit, входящий в PySide (PyQt4/5)
    – gil9red
    Commented 15 мар. 2016 в 9:26
  • Есть PythonWebKit
    – Ilya
    Commented 15 мар. 2016 в 9:28

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.