Я хочу получить таблицу с сайта: https://mai.ru/education/schedule/detail.php?group=%D0%9C3%D0%9E-106%D0%91-19
Код
import requests
from bs4 import BeautifulSoup as bs
base_url = 'https://mai.ru/education/schedule/detail.php?group=%D0%9C3%D0%9E-106%D0%91-19'
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:45.0) Gecko/20100101 Firefox/45.0'}
session = requests.Session()
request = session.get(base_url, headers=headers)
soup = bs(request.content, 'html.parser')
tables = soup.find_all('div', {'class':'sc-container'})
print(tables[1])
По идее, должен вывходить что-то подобное:
<div class="sc-container">
<div class="sc-table sc-table-day">
<div class="sc-table-row">
<div class="sc-table-col sc-day-header sc-gray">04.09<span class="sc-day">Ср</span></div>
<div class="sc-table-col sc-table-detail-container">
<div class="sc-table sc-table-detail">
<div class="sc-table-row">
<!--<div class="sc-table-col sc-item-order"></div>-->
<div class="sc-table-col sc-item-time">10:45 – 12:15</div>
<div class="sc-table-col sc-item-period"></div>
<div class="sc-table-col sc-item-type">ЛК</div>
<div class="sc-table-col sc-item-title">
<div class="sc-item-title-body">
<span class="sc-title">Химия</span>
<br><a href="/education/schedule/ppc.php?guid=3c024137-1d9b-11e0-9baf-1c6f65450efa"><span class="sc-lecturer">Окорокова Надежда Сергеевна</span></a> </div>
</div>
<div class="sc-table-col sc-item-location"><span class="glyphicon glyphicon-map-marker"> </span>3-Зал "А"</div>
<div class="sc-table-col sc-item-location-icon hidden-xs"><span class="glyphicon glyphicon-map-marker"></span></div>
</div>
<div class="sc-table-row">
<!--<div class="sc-table-col sc-item-order"></div>-->
<div class="sc-table-col sc-item-time">13:00 – 14:30</div>
<div class="sc-table-col sc-item-period"></div>
<div class="sc-table-col sc-item-type">ПЗ</div>
<div class="sc-table-col sc-item-title">
<div class="sc-item-title-body">
<span class="sc-title">Физика</span>
</div>
</div>
<div class="sc-table-col sc-item-location"><span class="glyphicon glyphicon-map-marker"> </span>ГУК Б-552</div>
<div class="sc-table-col sc-item-location-icon hidden-xs"><span class="glyphicon glyphicon-map-marker"></span></div>
</div>
<div class="sc-table-row">
<!--<div class="sc-table-col sc-item-order"></div>-->
<div class="sc-table-col sc-item-time">14:45 – 16:15</div>
<div class="sc-table-col sc-item-period"></div>
<div class="sc-table-col sc-item-type">ЛК</div>
<div class="sc-table-col sc-item-title">
<div class="sc-item-title-body">
<span class="sc-title">Линейная алгебра и аналитическая геометрия</span>
<br><a href="/education/schedule/ppc.php?guid=565d9619-1d9b-11e0-9baf-1c6f65450efa"><span class="sc-lecturer">Дорохов Виктор Михайлович</span></a> </div>
</div>
<div class="sc-table-col sc-item-location"><span class="glyphicon glyphicon-map-marker"> </span>ГУК Б-460</div>
<div class="sc-table-col sc-item-location-icon hidden-xs"><span class="glyphicon glyphicon-map-marker"></span></div>
</div>
</div>
</div>
</div>
</div>
</div>
Но на деле выводит это:
<div class="sc-container">
<div class="sc-table sc-table-day">
<div class="sc-table-row">
<div class="sc-table-col sc-day-header sc-gray">04.09<span class="sc-day">Ср</span></div>
<div class="sc-table-col sc-table-detail-container">
<div class="sc-table sc-table-detail">
<div class="sc-table-row">
<!--<div class="sc-table-col sc-item-order"></div>-->
<div class="sc-table-col sc-item-time">10:45 – 12:15</div>
<div class="sc-table-col sc-item-period"></div>
<div class="sc-table-col sc-item-type">ЛК</div>
<div class="sc-table-col sc-item-title">
<div class="sc-item-title-body">
<span class="sc-title">Химия</span>
<br><a href="/education/schedule/ppc.php?guid=3c024137-1d9b-11e0-9baf-1c6f65450efa"><span class="sc-lecturer">Окорокова Надежда Сергеевна</span></a></br></div></div></div></div></div></div></div></div>
Причем если вместо print(tables[1])
написать print(tables[0])
, то вывод будет нормальный(как и некоторые другие элементы). Т.е. bs4 периодически выводит правильный(ожидаемый) результат, а иногда и неправильный(неожиданный).
Куда пропадает остальная часть? Почему внезапно теги закрываются? Как это исправить?
detail.php
в хроме так и рендерится: imgur.com/a/cqfPDRM, остальное дорисовывает js + css на стороне браузера. Почему тогда другие элементы - сложно сказать, веб-программист так решил, видимо. видно, что она загружено полностью, правда искажённо. - ну я не реверсинжинирил скрипты на странице, но предполагаю, что где-то элементы режутся в одном поддереве и прицепляются в другое; почему, тоже только автору известно.