Вопросы с меткой [парсер]
Парсер (от англ. parser; «parse» — анализ, разбор) или синтаксический анализатор — часть программы, преобразующей входные данные (как правило, текст) в структурированный формат. Парсер выполняет синтаксический анализ текста.
3,453
вопроса
1
голос
0
ответов
8
показов
Не полностью парсит пользователей открытой группы в Телеграме (Telethon)
Как мы знаем есть лимит на получение списка пользователей в размере 10к (Telethon), но у меня проблема в другом, когда запускаю скрипт по парсингу нескольких групп, то в группе размером ~6к забирается ...
0
голосов
0
ответов
13
показов
парсинг xml файлов в pl/sql
Ребят, нужна помощь в понимаю парсинга xml файлов. Суть задачи: есть таблица условно [Table_request], реквизиты также условно дата подачи запроса, статус .... и реквизит [xml_data] изначально в типе ...
0
голосов
1
ответ
15
показов
Парсинг сайта Zona, проблема получения ссылки
При парсинге сайта
https://w140.zona.plus/movies/lovi-moment-2019
Хочу получить src(ссылку на видео) из video
Вот сам video:
<video id="player_html5_api" webkit-playsinline="" ...
0
голосов
0
ответов
12
показов
Вывести при помощи парсера в формат JSON информацию о конкурсах из сайта РФФИ
Снова по парсерам.
На этот раз мне нужно спарсить информацию о конкурсах из сайта РФФИ.
Вот ссылка: https://www.rfbr.ru/rffi/ru/contest?CONTEST_STATUS_ID=-1&CONTEST_TYPE=-1&CONTEST_YEAR=-1
...
1
голос
0
ответов
12
показов
как удерживать сессию при парсинге Selenium
как удерживать сессию при парсинге Selenium?
Залогиниваюсь на сайт получаю все ссылки на пользователй,но при переходе на каждую ссылку опять сайт требует залогинится.Как сохранить сессию для ...
-5
голосов
0
ответов
23
показа
Помогите пж запарсить курс USDT TRC20 к гривне [закрыт]
https://www.coingecko.com/uk/coins/tether/uah от сюда надо спарсить курс
Желательно обьяснить как вы это сделали
0
голосов
0
ответов
21
показ
Оптимизация скрипта на Python + Selenium
Написал скрипт для следующей задачи:
есть список сайтов, нужно зайти на каждый и посмотреть, подключены ли метрики к сайту. В DevTools на вкладке Source есть записи вроде 'mc.yandex.ru', 'bitrix', '...
-1
голос
0
ответов
25
показов
Обход CloudFlare на Python [закрыт]
Всем привет, очень интересны любые методы обхода данной защиты, испробовал уже много вариантов. Какие-то из них работают, но временно. У меня есть бот, который использует Selenium, может есть способ ...
0
голосов
1
ответ
18
показов
Парсинг данных с метеорологического сайта
Мне нужно спарсить данные отсюда, в таблице представлены данные на несколько дней дней, если навестись, то будет подробная информация, такая информация доступна на каждый час, мне нужно спарсить все ...
0
голосов
0
ответов
23
показа
Парсинг пунктов выдачи Wildberries
Пытаюсь спарсить пвз, их рейтинг и адрес. Читал офф апи ВБ - нужных данных не нашел.
Парсить со страницы https://www.wildberries.ru/services/besplatnaya-dostavka?desktop=1#terms-delivery не получается,...
0
голосов
0
ответов
17
показов
selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"xpath","selector":"//
Вываливается такая ошибка при попытке получить XPath селениумом:
selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"xpath&...
0
голосов
0
ответов
19
показов
Как проверить с помощью библиотеки telethon открыты ли комментарии к постам в каналах Telegram
Проблема заключается в том, что я хочу пропарсить каналы по ключевым словам и в итоге парсер должен мне выдать информацию в Exel файле включающую данные о том можно ли оставлять комментарии под постом ...
-2
голоса
0
ответов
33
показа
Можно ли спарсить закрытый профиль Instagram? [закрыт]
Можно ли спарсить закрытый профиль Instagram? Подписчиков, сторис, фотки и прочий контент?
-1
голос
0
ответов
51
показ
Парсинг OZON на Python
Всем привет, уже больше недели бьюсь с озоном, мне нужно спарсить ссылки на все товары конкретного продавца. Зная что сайт подгружается при заходе на него, я пришел использованию Selenium, испробовав ...
0
голосов
0
ответов
29
показов
BB-коды конвертировать в HTML
Подскажите пожалуйста как в C# перевести BB коды в HTML и все ли я делаю правильно?
Есть задание, но тесты к сожалению закрыты. Вроде на тестовых вводных данных указанных ниже все совпадает с ...
0
голосов
1
ответ
22
показа
TypeError: Tag.find_all() missing 1 required positional argument: 'self' при парсинге сайта
import requests
from bs4 import BeautifulSoup
import os
soup = BeautifulSoup
url = "https://health-diet.ru/table_calorie"
headers = {
"Accept": "text/html,application/...
0
голосов
0
ответов
23
показа
Как проверить с помощью telethon открыты ли комментарии к постам в каналах Telegram
Проблема заключается в том, что я хочу пропарсить каналы по ключевым словам и в итоге парсер должен мне выдать информацию в Exel файле включающую данные о том можно ли оставлять комментарии под постом ...
-5
голосов
0
ответов
29
показов
Как спарсить количество заходов (поситителей) на сайт? [закрыт]
есть ли какой то способ спарсить количество заходов на сайт?количество поситителей
0
голосов
0
ответов
20
показов
Как передать код двухфакторной аутентификации в представление Django, использующееся для фонового запуска Selenium webdriver?
Selenium парсит сайт с двухфакторной аутентификацией. Код парсинга работоспособен в консоли: после создания экземпляра драйвера он авторизуется и ожидает код двухфакторной авторизации, который я ...
-3
голоса
0
ответов
47
показов
Парсинг Кинопоиска
Мне нужен код, с помощью которого можно спарсить определенный фильм по ссылке, но проблема в том, что при requests запросе, мне выдает супер сжатый исходник, а иногда вообще закидывает на капчу, ...
0
голосов
0
ответов
23
показа
Как подключиться к авито используя requests с полученными cookies и headers из selenium
Я получаю куки и заголовки из selenium (selenium работает с авито нормально), после чего пытаюсь подключиться к авито через requests, но сервер блокирует меня по причине: 'проблема с ip'. В общем ...
0
голосов
0
ответов
21
показ
не работает бот на selenium для редактирования цены ставки
принцип работы бота таков: каждые Х секунд бот парсит и обновляет список текущих ставок на коллекцию nft, есть моя ставка, а есть чужие. допустим, я указываю, что хочу чтобы моя ставка на 2 месте в ...
0
голосов
1
ответ
22
показа
Ошибка в цикле при парсинге python, не могу понять причину
import requests
from bs4 import BeautifulSoup
import time
import csv
def get_data():
url = "https://www.tvoyaapteka.ru/catalog/lekarstvennye-preparaty/?sort_by=NAME&sort_order=asc&...
0
голосов
0
ответов
14
показов
Как скачать большое количество файлов с Google Drive по ссылкам?
У меня есть много ссылок на скачивание файлов из Google Drive. Они находятся не на моем диске Google Drive, а просто ссылками, через которые можно скачать файлы. У меня таких ссылок 13405 штук и, ...
0
голосов
0
ответов
22
показа
парсинг видеоплеера - не работает fullscreen
Разработал парсинг видеоплеера(точнее проекта онлайн-тв). Можно было заморочиться с вытягиванием лишь потоков из m3u8, но тогда я бы не смог подключить программу тв-передач или бы пришлось очень ...
1
голос
0
ответов
35
показов
Сервер закрыл соединение WebSocket, не завершив рукопожатие close
У меня есть парсер, который получает обновления по Websocket и обрабатывает их в асинхронном методе. Проблема заключается в том что через 3-5 минут сервер разрывает соединение:
One or more errors ...
-4
голоса
2
ответа
52
показа
Не могу спарсить таблицу с сайта - Can't parsing table from site - [закрыт]
https://raex-rr.com/ESG/ESG_companies/ESG_rating_companies/2023.5/
need to parsing table from website
get error: 'NoneType' object has no attribute 'find_all'
code:
url = 'https://raex-rr.com/ESG/...
-4
голоса
1
ответ
41
показ
Добавить парсер в телеграмм бот
То что делает парсер должно происходить в тг боте, запросы делаем например: volvo s80 d5 2013, полученные разделы нужно отобразить как отдельная кнопка внутри которой располагается масло или антифриз ...
-3
голоса
2
ответа
104
показа
Спарсить масло с сайта по подбору зап. частей [закрыт]
Нужно чтобы при вводе марки и модели авто выдавалось масло которое подходит под конкретный автомобиль.
Сайт с которого нужно спарсить поиск: https://www.kroon-oil.com/ru/
import requests
from bs4 ...
0
голосов
0
ответов
34
показа
Как заставить код скачивать все документы с сайта?
В общем, я написал код, который должен скачивать с сайта rfbr.ru все документы всех форматов. Поначалу, когда я написал, возникали ошибки. Я дополнил. И теперь у меня проблема: код не скачивает, а ...
0
голосов
1
ответ
67
показов
Парсинг защищённых сайтов
Недавно мне по работе появилась необходимость парсинга объявлений авито своего города. Для этого можно использовать selenium, но по тестам он достаточно медленный, при этом синхронный, что в проекте ...
0
голосов
1
ответ
47
показов
urllib3.connection.HTTPSConnection object at 0x000001CA91BDF050: Failed to establish a new connection: [Errno 11001]
Решил скачать разного рода документы из сайта Российского Центра Научной Информатики. Отчёты, формы, образцы и т.д. В основном из раздела "Конкурсы". Ввожу код:
import time
from urllib.parse ...
0
голосов
0
ответов
48
показов
Скрипт поиска каналов Ютуб
Вот код:
from googleapiclient.discovery import build
from datetime import datetime, timedelta
# Установка ключа API и создание экземпляра объекта youtube
api_key = "***"
youtube = build('...
-1
голос
3
ответа
25
показов
Как обойти ошибку wordpress Статус-код: 447, делаю вход через парсер на python?
Пишу парсер на python, который будет создавать автоматически новую запись и в неё закидывать нужные картинки по ключевым словам из библиотеки файлов этого же сайта.
Проблема: почему-то не удается ...
0
голосов
1
ответ
23
показа
Переход между страничками таблицы
Необходимо достать данные с сайта. Табличку можно переключать кнопкой, всего 6000+ страниц
import pandas as pd
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
...
0
голосов
1
ответ
51
показ
Оптимально по скорости спарсить большой объем информации с API
я новичок в парсинге и хотел бы узнать, есть ли способ выполнить эту задачу эффективнее.
У меня есть файл, где лежат id научных статей с ресурса OpenAlex. Их 31000. Мне нужно узнать год публикации ...
0
голосов
0
ответов
18
показов
Не пересылаются сообщения из одного discord сервера в другой
Не получается сделать бота который бы парсил сообщения из одного сервера дискорда в другой. Бот парсит сообщения только в консоль , при этом ошибок никаких не выдает. Гуглил и пользовался ChatGPT, не ...
0
голосов
1
ответ
39
показов
В requests запросе получаю ошибку 404
match_id = 1-a7e2ba5e-4491-4d4e-8dea-e80055f5e710
stats_of_match = requests.get(f"https://open.faceit.com/data/v4/games/{match_id}", headers=api_header)
print(stats_of_match)
Результат <...
1
голос
0
ответов
66
показов
Python aiohttp, не работает подключение через VPN
Написал скрипт, который парсит медиа и загружает. Асинхронный и синхронный варианты. В синхронном использую requests. В асинхронном aiohttp, asyncio и aiofiles соответственно.
Проблема в том, что я, ...
0
голосов
0
ответов
34
показа
PHP: Как спарсить текст с ряда сайтов, полностью очистив тексты от их индивидуального форматирования, стилей, тегов, html?
Паршу в качестве эксперимента группы сайтов. Тексты с их страниц мне нужно объединить в один текст. У нужных страниц разных сайтов индивидуальное форматирование.
Если забираю информацию регулярным ...
0
голосов
1
ответ
25
показов
Не понимаю как сделать(работаю) POST-запросы на axios, да и в принципе, помогите разобраться. Есть задача
Я начинающий backend разработчик на nodeJS, столкнулся с проблемой и не знаю как её решить, всю документацию облазил и интернет.
Суть в чём, мне нужно, чтобы скачивалась музыка с определённого сайта, ...
0
голосов
0
ответов
21
показ
Cохранить данные в csv в виде таблицы
Есть код
res = requests.get('https://pilomaterialov.net/vagonka/')
soup = BeautifulSoup(res.text, 'lxml')
items_cards = soup.find_all("div", class_="product-wrap b1c-good col-lg-4 col-...
0
голосов
1
ответ
36
показов
Спарсить темы с форуме
Всем привет!
Я пытаюсь спарсить темы с форума: http://liveingryffindor.forum24.ru/
Когда я пишу такой код, чтобы получить открытые темы, все работает хорошо:
from bs4 import BeautifulSoup
# Адрес ...
0
голосов
1
ответ
53
показа
Проблемы с параллельным парсингом
Нет понимания по какой причине при запуске программы происходит моментальное завершение. Смысл заключается в том, что есть базовые ссылки, которые дают данные с локального + ещё ряд айдишников, по ...
0
голосов
0
ответов
27
показов
Не парсятся ссылки
Есть код
import lxml
import requests
import json
import csv
url = "https://pilomaterialov.net/catalog/"
r = requests.get(url)
src = r.text
soup = BeautifulSoup(src, "lxml")
...
0
голосов
1
ответ
43
показа
Парсер на Python. Как вытащить значение title с помощью xpath
Подскажите, как при помощи xpath выдернуть текстовое значение title?
Вот кусок сайта для примера.
<a id="bx_3966226736_564931_pict"
href="/catalog/polubotinki_i_mokasiny/...
1
голос
0
ответов
28
показов
Как настроить webdriver так, чтобы при его запуске в браузере были авторизированны аккаунты на сайтах?
Ситуация следующая: пишу бота рассыльщика для Авито. Суть простая -
Передаем название запроса
Бот парсит страницу поиска и записывает в коллекцию ссылки на объявления
Переходим на страницу объявления
...
0
голосов
0
ответов
30
показов
Ошибка при чтении xlsx-файла, скачанного с помощью requests
Всем привет. Не могу понять, почему возникает ошибка с экселевскими файлами, которые скачаны с помощью requests, если при скачивании вручную никаких проблем нет.
Скачиваю следующим образом:
def ...
0
голосов
0
ответов
61
показ
Авторизация на олкс
Помогите авторизоваться на олкс, перепробовал подставлять уже все параметры не помогает, может есть у кого решение, буду очень признателен?)
import requests
from requests import Session
with Session()...
0
голосов
1
ответ
47
показов
Python составить адресную строку имея параметры из задания
У меня задание: взять данные из базы, (состоит из отчётов, выгруженных по Wildberries API) - база Prost(изменено) HOST=89.108.115.211(хост изменен) PORT=5433
DATABASE=u115241_resyrt_ba(изменено) ...