Вопросы с меткой [парсер]

Парсер (от англ. parser; «parse» — анализ, разбор) или синтаксический анализатор — часть программы, преобразующей входные данные (как правило, текст) в структурированный формат. Парсер выполняет синтаксический анализ текста.

Фильтрация
Сортировка
Метки
1 голос
0 ответов
8 показов

Не полностью парсит пользователей открытой группы в Телеграме (Telethon)

Как мы знаем есть лимит на получение списка пользователей в размере 10к (Telethon), но у меня проблема в другом, когда запускаю скрипт по парсингу нескольких групп, то в группе размером ~6к забирается ...
WhyNot00's user avatar
0 голосов
0 ответов
13 показов

парсинг xml файлов в pl/sql

Ребят, нужна помощь в понимаю парсинга xml файлов. Суть задачи: есть таблица условно [Table_request], реквизиты также условно дата подачи запроса, статус .... и реквизит [xml_data] изначально в типе ...
HEL1's user avatar
  • 1
0 голосов
1 ответ
15 показов

Парсинг сайта Zona, проблема получения ссылки

При парсинге сайта https://w140.zona.plus/movies/lovi-moment-2019 Хочу получить src(ссылку на видео) из video Вот сам video: <video id="player_html5_api" webkit-playsinline="" ...
mx1kin's user avatar
  • 1
0 голосов
0 ответов
12 показов

Вывести при помощи парсера в формат JSON информацию о конкурсах из сайта РФФИ

Снова по парсерам. На этот раз мне нужно спарсить информацию о конкурсах из сайта РФФИ. Вот ссылка: https://www.rfbr.ru/rffi/ru/contest?CONTEST_STATUS_ID=-1&CONTEST_TYPE=-1&CONTEST_YEAR=-1 ...
Galo Galo's user avatar
1 голос
0 ответов
12 показов

как удерживать сессию при парсинге Selenium

как удерживать сессию при парсинге Selenium? Залогиниваюсь на сайт получаю все ссылки на пользователй,но при переходе на каждую ссылку опять сайт требует залогинится.Как сохранить сессию для ...
Андрей Островский's user avatar
-5 голосов
0 ответов
23 показа

Помогите пж запарсить курс USDT TRC20 к гривне [закрыт]

https://www.coingecko.com/uk/coins/tether/uah от сюда надо спарсить курс Желательно обьяснить как вы это сделали
SaNtaBarBara's user avatar
0 голосов
0 ответов
21 показ

Оптимизация скрипта на Python + Selenium

Написал скрипт для следующей задачи: есть список сайтов, нужно зайти на каждый и посмотреть, подключены ли метрики к сайту. В DevTools на вкладке Source есть записи вроде 'mc.yandex.ru', 'bitrix', '...
Раенко Тимофей's user avatar
-1 голос
0 ответов
25 показов

Обход CloudFlare на Python [закрыт]

Всем привет, очень интересны любые методы обхода данной защиты, испробовал уже много вариантов. Какие-то из них работают, но временно. У меня есть бот, который использует Selenium, может есть способ ...
perun's user avatar
  • 1
0 голосов
1 ответ
18 показов

Парсинг данных с метеорологического сайта

Мне нужно спарсить данные отсюда, в таблице представлены данные на несколько дней дней, если навестись, то будет подробная информация, такая информация доступна на каждый час, мне нужно спарсить все ...
Данил's user avatar
0 голосов
0 ответов
23 показа

Парсинг пунктов выдачи Wildberries

Пытаюсь спарсить пвз, их рейтинг и адрес. Читал офф апи ВБ - нужных данных не нашел. Парсить со страницы https://www.wildberries.ru/services/besplatnaya-dostavka?desktop=1#terms-delivery не получается,...
Se1dhe's user avatar
  • 1
0 голосов
0 ответов
17 показов

selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"xpath","selector":"//

Вываливается такая ошибка при попытке получить XPath селениумом: selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"xpath&...
Андрей Островский's user avatar
0 голосов
0 ответов
19 показов

Как проверить с помощью библиотеки telethon открыты ли комментарии к постам в каналах Telegram

Проблема заключается в том, что я хочу пропарсить каналы по ключевым словам и в итоге парсер должен мне выдать информацию в Exel файле включающую данные о том можно ли оставлять комментарии под постом ...
Никита's user avatar
-2 голоса
0 ответов
33 показа

Можно ли спарсить закрытый профиль Instagram? [закрыт]

Можно ли спарсить закрытый профиль Instagram? Подписчиков, сторис, фотки и прочий контент?
Андрей Островский's user avatar
-1 голос
0 ответов
51 показ

Парсинг OZON на Python

Всем привет, уже больше недели бьюсь с озоном, мне нужно спарсить ссылки на все товары конкретного продавца. Зная что сайт подгружается при заходе на него, я пришел использованию Selenium, испробовав ...
perun's user avatar
  • 1
0 голосов
0 ответов
29 показов

BB-коды конвертировать в HTML

Подскажите пожалуйста как в C# перевести BB коды в HTML и все ли я делаю правильно? Есть задание, но тесты к сожалению закрыты. Вроде на тестовых вводных данных указанных ниже все совпадает с ...
Илья Ким's user avatar
0 голосов
1 ответ
22 показа

TypeError: Tag.find_all() missing 1 required positional argument: 'self' при парсинге сайта

import requests from bs4 import BeautifulSoup import os soup = BeautifulSoup url = "https://health-diet.ru/table_calorie" headers = { "Accept": "text/html,application/...
today's user avatar
  • 1
0 голосов
0 ответов
23 показа

Как проверить с помощью telethon открыты ли комментарии к постам в каналах Telegram

Проблема заключается в том, что я хочу пропарсить каналы по ключевым словам и в итоге парсер должен мне выдать информацию в Exel файле включающую данные о том можно ли оставлять комментарии под постом ...
Никита's user avatar
-5 голосов
0 ответов
29 показов

Как спарсить количество заходов (поситителей) на сайт? [закрыт]

есть ли какой то способ спарсить количество заходов на сайт?количество поситителей
Андрей Островский's user avatar
0 голосов
0 ответов
20 показов

Как передать код двухфакторной аутентификации в представление Django, использующееся для фонового запуска Selenium webdriver?

Selenium парсит сайт с двухфакторной аутентификацией. Код парсинга работоспособен в консоли: после создания экземпляра драйвера он авторизуется и ожидает код двухфакторной авторизации, который я ...
Антон Черкашин's user avatar
-3 голоса
0 ответов
47 показов

Парсинг Кинопоиска

Мне нужен код, с помощью которого можно спарсить определенный фильм по ссылке, но проблема в том, что при requests запросе, мне выдает супер сжатый исходник, а иногда вообще закидывает на капчу, ...
DoctorGrief's user avatar
0 голосов
0 ответов
23 показа

Как подключиться к авито используя requests с полученными cookies и headers из selenium

Я получаю куки и заголовки из selenium (selenium работает с авито нормально), после чего пытаюсь подключиться к авито через requests, но сервер блокирует меня по причине: 'проблема с ip'. В общем ...
Nikita's user avatar
  • 1
0 голосов
0 ответов
21 показ

не работает бот на selenium для редактирования цены ставки

принцип работы бота таков: каждые Х секунд бот парсит и обновляет список текущих ставок на коллекцию nft, есть моя ставка, а есть чужие. допустим, я указываю, что хочу чтобы моя ставка на 2 месте в ...
presenceofthedarklord's user avatar
0 голосов
1 ответ
22 показа

Ошибка в цикле при парсинге python, не могу понять причину

import requests from bs4 import BeautifulSoup import time import csv def get_data(): url = "https://www.tvoyaapteka.ru/catalog/lekarstvennye-preparaty/?sort_by=NAME&sort_order=asc&...
Voort's user avatar
  • 27
0 голосов
0 ответов
14 показов

Как скачать большое количество файлов с Google Drive по ссылкам?

У меня есть много ссылок на скачивание файлов из Google Drive. Они находятся не на моем диске Google Drive, а просто ссылками, через которые можно скачать файлы. У меня таких ссылок 13405 штук и, ...
Владимир Горин's user avatar
0 голосов
0 ответов
22 показа

парсинг видеоплеера - не работает fullscreen

Разработал парсинг видеоплеера(точнее проекта онлайн-тв). Можно было заморочиться с вытягиванием лишь потоков из m3u8, но тогда я бы не смог подключить программу тв-передач или бы пришлось очень ...
I_CaR's user avatar
  • 2,673
1 голос
0 ответов
35 показов

Сервер закрыл соединение WebSocket, не завершив рукопожатие close

У меня есть парсер, который получает обновления по Websocket и обрабатывает их в асинхронном методе. Проблема заключается в том что через 3-5 минут сервер разрывает соединение: One or more errors ...
as1andrey1's user avatar
-4 голоса
2 ответа
52 показа

Не могу спарсить таблицу с сайта - Can't parsing table from site - [закрыт]

https://raex-rr.com/ESG/ESG_companies/ESG_rating_companies/2023.5/ need to parsing table from website get error: 'NoneType' object has no attribute 'find_all' code: url = 'https://raex-rr.com/ESG/...
Ruslan's user avatar
  • 1
-4 голоса
1 ответ
41 показ

Добавить парсер в телеграмм бот

То что делает парсер должно происходить в тг боте, запросы делаем например: volvo s80 d5 2013, полученные разделы нужно отобразить как отдельная кнопка внутри которой располагается масло или антифриз ...
Анатолий Кузьмич's user avatar
-3 голоса
2 ответа
104 показа

Спарсить масло с сайта по подбору зап. частей [закрыт]

Нужно чтобы при вводе марки и модели авто выдавалось масло которое подходит под конкретный автомобиль. Сайт с которого нужно спарсить поиск: https://www.kroon-oil.com/ru/ import requests from bs4 ...
Анатолий Кузьмич's user avatar
0 голосов
0 ответов
34 показа

Как заставить код скачивать все документы с сайта?

В общем, я написал код, который должен скачивать с сайта rfbr.ru все документы всех форматов. Поначалу, когда я написал, возникали ошибки. Я дополнил. И теперь у меня проблема: код не скачивает, а ...
Galo Galo's user avatar
0 голосов
1 ответ
67 показов

Парсинг защищённых сайтов

Недавно мне по работе появилась необходимость парсинга объявлений авито своего города. Для этого можно использовать selenium, но по тестам он достаточно медленный, при этом синхронный, что в проекте ...
Sasonit's user avatar
  • 61
0 голосов
1 ответ
47 показов

urllib3.connection.HTTPSConnection object at 0x000001CA91BDF050: Failed to establish a new connection: [Errno 11001]

Решил скачать разного рода документы из сайта Российского Центра Научной Информатики. Отчёты, формы, образцы и т.д. В основном из раздела "Конкурсы". Ввожу код: import time from urllib.parse ...
Galo Galo's user avatar
0 голосов
0 ответов
48 показов

Скрипт поиска каналов Ютуб

Вот код: from googleapiclient.discovery import build from datetime import datetime, timedelta # Установка ключа API и создание экземпляра объекта youtube api_key = "***" youtube = build('...
Дима Пузырин's user avatar
-1 голос
3 ответа
25 показов

Как обойти ошибку wordpress Статус-код: 447, делаю вход через парсер на python?

Пишу парсер на python, который будет создавать автоматически новую запись и в неё закидывать нужные картинки по ключевым словам из библиотеки файлов этого же сайта. Проблема: почему-то не удается ...
Владислав's user avatar
0 голосов
1 ответ
23 показа

Переход между страничками таблицы

Необходимо достать данные с сайта. Табличку можно переключать кнопкой, всего 6000+ страниц import pandas as pd from selenium import webdriver from selenium.webdriver.chrome.options import Options ...
Тёма Воронков's user avatar
0 голосов
1 ответ
51 показ

Оптимально по скорости спарсить большой объем информации с API

я новичок в парсинге и хотел бы узнать, есть ли способ выполнить эту задачу эффективнее. У меня есть файл, где лежат id научных статей с ресурса OpenAlex. Их 31000. Мне нужно узнать год публикации ...
Tori Mori's user avatar
0 голосов
0 ответов
18 показов

Не пересылаются сообщения из одного discord сервера в другой

Не получается сделать бота который бы парсил сообщения из одного сервера дискорда в другой. Бот парсит сообщения только в консоль , при этом ошибок никаких не выдает. Гуглил и пользовался ChatGPT, не ...
enigma's user avatar
  • 1
0 голосов
1 ответ
39 показов

В requests запросе получаю ошибку 404

match_id = 1-a7e2ba5e-4491-4d4e-8dea-e80055f5e710 stats_of_match = requests.get(f"https://open.faceit.com/data/v4/games/{match_id}", headers=api_header) print(stats_of_match) Результат <...
Игорь's user avatar
1 голос
0 ответов
66 показов

Python aiohttp, не работает подключение через VPN

Написал скрипт, который парсит медиа и загружает. Асинхронный и синхронный варианты. В синхронном использую requests. В асинхронном aiohttp, asyncio и aiofiles соответственно. Проблема в том, что я, ...
deatsin's user avatar
  • 11
0 голосов
0 ответов
34 показа

PHP: Как спарсить текст с ряда сайтов, полностью очистив тексты от их индивидуального форматирования, стилей, тегов, html?

Паршу в качестве эксперимента группы сайтов. Тексты с их страниц мне нужно объединить в один текст. У нужных страниц разных сайтов индивидуальное форматирование. Если забираю информацию регулярным ...
Valentin's user avatar
  • 257
0 голосов
1 ответ
25 показов

Не понимаю как сделать(работаю) POST-запросы на axios, да и в принципе, помогите разобраться. Есть задача

Я начинающий backend разработчик на nodeJS, столкнулся с проблемой и не знаю как её решить, всю документацию облазил и интернет. Суть в чём, мне нужно, чтобы скачивалась музыка с определённого сайта, ...
AlexPapa's user avatar
0 голосов
0 ответов
21 показ

Cохранить данные в csv в виде таблицы

Есть код res = requests.get('https://pilomaterialov.net/vagonka/') soup = BeautifulSoup(res.text, 'lxml') items_cards = soup.find_all("div", class_="product-wrap b1c-good col-lg-4 col-...
Илья's user avatar
0 голосов
1 ответ
36 показов

Спарсить темы с форуме

Всем привет! Я пытаюсь спарсить темы с форума: http://liveingryffindor.forum24.ru/ Когда я пишу такой код, чтобы получить открытые темы, все работает хорошо: from bs4 import BeautifulSoup # Адрес ...
A_Stayler's user avatar
0 голосов
1 ответ
53 показа

Проблемы с параллельным парсингом

Нет понимания по какой причине при запуске программы происходит моментальное завершение. Смысл заключается в том, что есть базовые ссылки, которые дают данные с локального + ещё ряд айдишников, по ...
0_o's user avatar
  • 13
0 голосов
0 ответов
27 показов

Не парсятся ссылки

Есть код import lxml import requests import json import csv url = "https://pilomaterialov.net/catalog/" r = requests.get(url) src = r.text soup = BeautifulSoup(src, "lxml") ...
Илья's user avatar
0 голосов
1 ответ
43 показа

Парсер на Python. Как вытащить значение title с помощью xpath

Подскажите, как при помощи xpath выдернуть текстовое значение title? Вот кусок сайта для примера. <a id="bx_3966226736_564931_pict" href="/catalog/polubotinki_i_mokasiny/...
W1nterstorm's user avatar
1 голос
0 ответов
28 показов

Как настроить webdriver так, чтобы при его запуске в браузере были авторизированны аккаунты на сайтах?

Ситуация следующая: пишу бота рассыльщика для Авито. Суть простая - Передаем название запроса Бот парсит страницу поиска и записывает в коллекцию ссылки на объявления Переходим на страницу объявления ...
ilusha_kapusha's user avatar
0 голосов
0 ответов
30 показов

Ошибка при чтении xlsx-файла, скачанного с помощью requests

Всем привет. Не могу понять, почему возникает ошибка с экселевскими файлами, которые скачаны с помощью requests, если при скачивании вручную никаких проблем нет. Скачиваю следующим образом: def ...
Anna Shevchenko's user avatar
0 голосов
0 ответов
61 показ

Авторизация на олкс

Помогите авторизоваться на олкс, перепробовал подставлять уже все параметры не помогает, может есть у кого решение, буду очень признателен?) import requests from requests import Session with Session()...
Олег's user avatar
0 голосов
1 ответ
47 показов

Python составить адресную строку имея параметры из задания

У меня задание: взять данные из базы, (состоит из отчётов, выгруженных по Wildberries API) - база Prost(изменено) HOST=89.108.115.211(хост изменен) PORT=5433 DATABASE=u115241_resyrt_ba(изменено) ...
Elen's user avatar
  • 1