0

у меня есть проблема с парсингом с помощью bs4, у меня задача спарсить сайт и вывести таблицу примерно такого образца: введите сюда описание изображения

Таблицу построить я то смогу, только на сайте эти данные указаны в качестве таблицы, и мне их нужно разложить каждый элемент по отдельным переменным, что бы сформировать корректно таблицу, но я не могу понять как мне достать каждый элемент отдельно, что бы потом взаимодействовать с ним, это было бы просто сделать через xpath, но bs4 его не поддерживает, вот HTML код таблицы которую мне нужно вытянуть:

<div class="product-tabs-grid"><div class="product-tabs-grid__main"><div class="product-specifications"><div class="product-specifications-title">Основные</div> <table class="product-specifications-table"><tbody><tr><td><div class="product-specifications-table__value">
                                                                                                                                            Бренд&nbsp;
                                                                                                                                        
                                                                </div></td> <td><b>
                                                                                                                                        70mai                                                                                                                                                                                                    </b></td></tr> <tr><td><div class="product-specifications-table__value">
                                                                                                                                            Конструкция&nbsp;
                                                                                                                                        
                                                                </div></td> <td><b>
                                                                                                                                        С камерой и экраном                                                                                                                                                                                                    </b></td></tr> <tr><td><div class="product-specifications-table__value"><span>Режим записи&nbsp;<a href="javascript:void(0)" class="product-specifications-table__info tooltip ic-info tooltipstered"></a></span></div></td> <td><b>
                                                                                                                                        Циклическая                                                                                                                                                                                                    </b></td></tr> <tr><td><div class="product-specifications-table__value"><span>GPS&nbsp;<a href="javascript:void(0)" class="product-specifications-table__info tooltip ic-info tooltipstered"></a></span></div></td> <td><b>
                                                                                                                                        Нет                                                                                                                            </b></td></tr> <tr><td><div class="product-specifications-table__value">
                                                                                                                                            ГЛОНАСС&nbsp;
                                                                                                                                        
                                                                </div></td> <td><b>
                                                                                                                                        Нет                                                                                                                            </b></td></tr> <tr><td><div class="product-specifications-table__value"><span>Датчик движения (G-сенсор)&nbsp;<a href="javascript:void(0)" class="product-specifications-table__info tooltip ic-info tooltipstered"></a></span></div></td> <td><b>
                                                                                                                                        Да                                                                                                                             </b></td></tr> <tr><td><div class="product-specifications-table__value">
                                                                                                                                            Детектор движения в кадре&nbsp;
                                                                                                                                        
                                                                </div></td> <td><b>
                                                                                                                                        Да                                                                                                                             </b></td></tr> <tr><td><div class="product-specifications-table__value">
                                                                                                                                            Датчик звука&nbsp;
                                                                                                                                        
                                                                </div></td> <td><b>
                                                                                                                                        Нет                                                                                                                            </b></td></tr> <tr><td><div class="product-specifications-table__value">
                                                                                                                                            Радар-детектор&nbsp;
                                                                                                                                        
                                                                </div></td> <td><b>
                                                                                                                                        Нет                                                                                                                            </b></td></tr> <tr><td><div class="product-specifications-table__value">
                                                                                                                                            Встроенный микрофон&nbsp;
                                                                                                                                        
                                                                </div></td> <td><b>
                                                                                                                                        Да                                                                                                                             </b></td></tr> <tr><td><div class="product-specifications-table__value">
                                                                                                                                            Встроенный динамик&nbsp;
                                                                                                                                        
                                                                </div></td> <td><b>
                                                                                                                                        Да                                                                                                                             </b></td></tr> <tr><td><div class="product-specifications-table__value">
                                                                                                                                            Формат записи&nbsp;
                                                                                                                                        
                                                                </div></td> <td><b>
                                                                                                                                        H.264                                                                                                                                                                                                    </b></td></tr> <tr><td><div class="product-specifications-table__value">
                                                                                                                                            Крепление на присоске&nbsp;
                                                                                                                                        
                                                                </div></td> <td><b>
                                                                                                                                        Нет                                                                                                                            </b></td></tr> <tr><td><div class="product-specifications-table__value">
                                                                                                                                            Материал&nbsp;
                                                                                                                                        
                                                                </div></td> <td><b>
                                                                                                                                        Пластик                                                                                                                                                                                                    </b></td></tr> <tr><td><div class="product-specifications-table__value">
                                                                                                                                            Цвет&nbsp;
                                                                                                                                        
                                                                </div></td> <td><b>
                                                                                                                                        Черный                                                                                                                                                                                                    </b></td></tr> <tr><td><div class="product-specifications-table__value">
                                                                                                                                            Комплектация&nbsp;
                                                                                                                                        
                                                                </div></td> <td><b>
                                                                                                                                        Автомобильное зарядное устройство, Документация, Кабель USB                                                                                                                                                                                                    </b></td></tr> <tr><td><div class="product-specifications-table__value">
                                                                                                                                            Дополнительно&nbsp;
                                                                                                                                        
                                                                </div></td> <td><b>
                                                                                                                                        Wi-Fi                                                                                                                                                                                                    </b></td></tr></tbody></table> <div class="product-specifications-title">Память</div> <table class="product-specifications-table"><tbody><tr><td><div class="product-specifications-table__value"><span>Поддержка карт памяти&nbsp;<a href="javascript:void(0)" class="product-specifications-table__info tooltip ic-info tooltipstered"></a></span></div></td> <td><b>
                                                                                                                                        microSDHC, microSDXC, microSD                                                                                                                                                                                                    </b></td></tr> <tr><td><div class="product-specifications-table__value">
                                                                                                                                            Максимальный размер карты памяти&nbsp;
                                                                                                                                        
                                                                </div></td> <td><b>
                                                                                                                                        64                                                                        &nbsp;ГБ                                                                                                                            </b></td></tr> <tr><td><div class="product-specifications-table__value">
                                                                                                                                            Возможность установки жесткого диска&nbsp;
                                                                                                                                        
                                                                </div></td> <td><b>
                                                                                                                                        Нет                                                                                                                            </b></td></tr></tbody></table> <div class="product-specifications-title">Экран</div> <table class="product-specifications-table"><tbody><tr><td><div class="product-specifications-table__value">
                                                                                                                                            Экран&nbsp;
                                                                                                                                        
                                                                </div></td> <td><b>
                                                                                                                                        Да                                                                                                                             </b></td></tr> <tr><td><div class="product-specifications-table__value">
                                                                                                                                            Размер экрана&nbsp;
                                                                                                                                        
                                                                </div></td> <td><b>
                                                                                                                                        2                                                                        &nbsp;"                                                                                                                            </b></td></tr> <tr><td><div class="product-specifications-table__value"><span>Сенсорный экран&nbsp;<a href="javascript:void(0)" class="product-specifications-table__info tooltip ic-info tooltipstered"></a></span></div></td> <td><b>
                                                                                                                                        Нет                                                                                                                            </b></td></tr></tbody></table> <div class="product-specifications-title">Камера</div> <table class="product-specifications-table"><tbody><tr><td><div class="product-specifications-table__value">
                                                                                                                                            Тип матрицы&nbsp;
                                                                                                                                        
                                                                </div></td> <td><b>
                                                                                                                                        CMOS                                                                                                                                                                                                    </b></td></tr> <tr><td><div class="product-specifications-table__value"><span>Максимальное разрешение видеозаписи&nbsp;<a href="javascript:void(0)" class="product-specifications-table__info tooltip ic-info tooltipstered"></a></span></div></td> <td><b>
                                                                                                                                        1920x1080                                                                                                                                                                                                    </b></td></tr> <tr><td><div class="product-specifications-table__value"><span>Максимальная частота кадров&nbsp;<a href="javascript:void(0)" class="product-specifications-table__info tooltip ic-info tooltipstered"></a></span></div></td> <td><b>
                                                                                                                                        30                                                                        &nbsp;к/с                                                                                                                            </b></td></tr> <tr><td><div class="product-specifications-table__value"><span>Угол обзора&nbsp;<a href="javascript:void(0)" class="product-specifications-table__info tooltip ic-info tooltipstered"></a></span></div></td> <td><b>
                                                                                                                                        130                                                                        &nbsp;градусов                                                                                                                            
                                                                                                                                            

У меня есть код который может вывести то что мне нужно, но не в том формате в котором я хочу (Просто как массив элементов), помогите пожалуйста с моей задачей введите сюда описание изображения

def parse(url):
    items_list = []
    headers = {
    "Accept": "*/*",
    "User-Agent": "Mozilla/5.0 (iPad; CPU OS 11_0 like Mac OS X) AppleWebKit/604.1.34 (KHTML, like Gecko) Version/11.0 Mobile/15A5341f Safari/604.1"}
    req = requests.get(url = "https://5element.by/products/641981-videoregistrator-70mai-dash-cam-lite-midrive-d08", headers=headers)
    src = req.text
    soup = BeautifulSoup(src, "lxml")
    items = soup.find_all(class_="product-specifications-table")
    for item in items:
        tr_item = item.find_all("tr")
        for tr in tr_item:
            info = tr.find_all("td")
            name = info[1].getText()
            items_list.append(name)
            print(name.replace(" ", ''))

1 ответ 1

2

Таблицы если что удобно через Pandas обрабатывать, хотя тут много повторов получается, а самой модели при этом нет. Но так, в дополнение к основным методам:

import pandas as pd
import requests

headers = {
"Accept": "*/*",
"User-Agent": "Mozilla/5.0 (iPad; CPU OS 11_0 like Mac OS X) AppleWebKit/604.1.34 (KHTML, like Gecko) Version/11.0 Mobile/15A5341f Safari/604.1"}
req = requests.get(url = "https://5element.by/products/641981-videoregistrator-70mai-dash-cam-lite-midrive-d08", headers=headers)
df = pd.concat(pd.read_html(req.content))
df

В df:

index 0 1
0 Датчик движения (G-сенсор) Да
1 Максимальное разрешение видеозаписи 1920x1080
2 Максимальная частота кадров 30 к/с
3 Угол обзора 130 градусов
4 Ночной режим Да
0 Бренд 70mai
1 Конструкция С камерой и экраном
2 Режим записи Циклическая
3 GPS Нет
4 ГЛОНАСС Нет
5 Датчик движения (G-сенсор) Да
6 Детектор движения в кадре Да
7 Датчик звука Нет
8 Радар-детектор Нет
9 Встроенный микрофон Да
10 Встроенный динамик Да
11 Формат записи H.264
12 Крепление на присоске Нет
13 Материал Пластик
14 Цвет Черный
15 Комплектация Автомобильное зарядное устройство, Документация, Кабель USB
16 Дополнительно Wi-Fi
0 Поддержка карт памяти microSDHC, microSDXC, microSD
1 Максимальный размер карты памяти 64 ГБ
2 Возможность установки жесткого диска Нет
0 Экран Да
1 Размер экрана 2 "
2 Сенсорный экран Нет
0 Тип матрицы CMOS
1 Максимальное разрешение видеозаписи 1920x1080
2 Максимальная частота кадров 30 к/с
3 Угол обзора 130 градусов
4 Ночной режим Да
5 ИК-подсветка Нет
6 Поворот камеры Да
0 Количество каналов записи видео 1
1 Количество каналов записи звука 1
2 Выход HDMI Нет
3 Подключение внешнего накопителя по USB Нет
0 Питание Автомобильный прикуриватель, Аккумулятор
1 Тип аккумулятора Li-pol
2 Емкость аккумулятора 500 мАч
0 Запись времени и даты Да
1 Запись скорости Нет
2 Автостарт записи Да
3 Отключение микрофона Да
0 Ширина 58.2 мм
1 Высота 82 мм
2 Толщина 40.5 мм
0 Гарантия 1 год
1 Срок службы 1 год
2 Страна происхождения (производства) Китай
5
  • Спасибо за информацию! 2 июн 2022 в 12:24
  • А можно уточнить, могу ли я добавлять сюда свои строки? Например наименование товара или ссылку на него? И можно ли после каждой итерации добавлять сдвиг вправо, что бы справа добавлять следующий товар? 2 июн 2022 в 12:30
  • Да всё можно, но вам для этого нужно хоть немного разобраться с Pandas. Я очень рекомендую вам это сделать, для работы с табличными данными в питоне это самая удобная библиотека.
    – CrazyElf
    2 июн 2022 в 13:29
  • Добавлять и строки и столбцы можно через pd.concat, только для столбцов нужен параметр axis=1, но вам всё-равно нужно будет в целом с концепцией ознакомиться.
    – CrazyElf
    2 июн 2022 в 13:30
  • Понял, спасибо! 2 июн 2022 в 15:41

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.