Вопросы с меткой [парсер]

Парсер (от англ. parser; «parse» — анализ, разбор) или синтаксический анализатор — часть программы, преобразующей входные данные (как правило, текст) в структурированный формат. Парсер выполняет синтаксический анализ текста.

Фильтрация
Сортировка
Метки
0 голосов
0 ответов
158 показов

Парсер изменения цены товара с Озона для отправки уведомления в Телеграм

Пытаюсь сделать парсер цены на определенный нужный мне товар, чтобы при снижении цены мне приходило уведомление в ТГ боте. Файл Main.py import requests from bs4 import BeautifulSoup from telegram ...
Виталий's user avatar
0 голосов
0 ответов
25 показов

Нужно в список записать название песен на главной странице сайта, но не могу взять данные из всего, что под::before. Буду несказанно благодарен

import requests from bs4 import BeautifulSoup titles = [] link = "https://www.jamendo.com/start" headers = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.36 (...
 Nekij's user avatar
0 голосов
0 ответов
111 показов

Ошибка 401 при парсинге dns-shop. Авторизацию по cookie

Если зайти через python requests, сайт выдает ошибку 401 (not authorized) независимо от того, какой user-agent установлен. Если зайти через браузер, все ок. Открываем "инструменты разработчика&...
Sergei's user avatar
  • 1
0 голосов
0 ответов
47 показов

Ошибка urllib.error.HTTPError: HTTP Error 403: Forbidden undetected_chromedriver

Пробую запустить скрипт на ubunty20 с парсингом avito с помощью undetected_chromedriver но выдает ошибку: Traceback (most recent call last): Nov 06 14:45:52 2162313-av13306.twc1.net python3[11847]: ...
dozzier 's user avatar
0 голосов
0 ответов
46 показов

Ограничение парсинга телеграмма

Есть задача - спарсить n-ое количество сообщений из телеграмм каналов. Использовал такой скрипт: import random import requests import xlrd import psycopg2 connection = psycopg2.connect(user="...
Максим's user avatar
0 голосов
1 ответ
203 показа

Парсинг и конвертация тестового XML файла в файл формата YAML на языке Python

Здравствуйте! Нужна помощь с написанием нормально работающей программы конвертера XML в YAML . Сделать это нужно при помощи языка Python. Нельзя использовать готовые библиотеки, в том числе ...
PaulLocust's user avatar
0 голосов
0 ответов
32 показа

Не работает парсер и отправка в телеграм бота python aiogram asincio

Парсер собирает данные с авито и отправляет интересные объявления в Тг Собственно по отдельности парсер парсит, а отправка в Тг бота работает исправно. Но вместе никак не работает. Понятно что ...
Кирилл's user avatar
0 голосов
0 ответов
22 показа

Как сохранять изображение по ссылке на Google диск на python pydrive?

Сначала парсю с сайта ссылку на изображение, это изображение сохраняю у себя локально, потом пытаюсь записать на гугл диск: from pydrive.auth import GoogleAuth from pydrive.drive import GoogleDrive ...
kuchuluk's user avatar
0 голосов
0 ответов
20 показов

Как парсить с параметрами relationships?

Есть многоуровневый список на сайте. Ниже пример зависимости: "included": [ { "id": "1", "type": "cmp", "attributes": { &...
Kira Winkelhock's user avatar
0 голосов
1 ответ
42 показа

Ответ от страницы всегда 200, однако данные для авторизации не верны

Так же при попытке получить код основной страницы сайта, сохраняется лишь код страницы авторизации. Возможно где-то сохранены данные для авторизации и при изменение кода программы они почему-то не ...
Даниил Сорокин's user avatar
0 голосов
0 ответов
31 показ

Запросы с фильтрами avito

Необходимо с помощью запросов отобрать объявления с avito, смог найти как через запрос установить фильтр на цену, кто-нибудь может подсказать как установить остальные фильтры с помощью запроса
dozzier 's user avatar
0 голосов
0 ответов
43 показа

Подскажите, почему возвращается не полный ответ на запрос?

import requests headers = { 'Accept-Language': 'ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7', 'Connection': 'keep-alive', 'Origin': 'https://youla.ru', 'Referer': 'https://youla.ru/?...
Александр Бу's user avatar
0 голосов
0 ответов
20 показов

PHP: Как в curl слать 200 при возникновении ошибок?

Сделал бота, который парсит ряд источников и по запросу отдает инфу в группу Telegram. При вот таком запросе одного из источников: $proxyIp = '72.37.217.3:4145'; // $...
Valentin's user avatar
  • 271
0 голосов
0 ответов
119 показов

Парсинг и мониторинг почты gmail

Подскажите, как правильно подключаться к почте и спарсить письмо? Я это сделал с imap, все работает но через какое то время начинает выдавать ошибки, типо не аутентифицирован, кажется не дает gmail ...
Inter's user avatar
  • 1
0 голосов
1 ответ
88 показов

Запятыми отделяется каждый символ в CSV файле при выводе

Написал простой парсер, но при выводе в csv списка значений принтеров каждый символ отделяется запятой. В чем может быть проблема? Код: import requests from bs4 import BeautifulSoup as BS import csv ...
Даниил Сорокин's user avatar
0 голосов
0 ответов
31 показ

Выдаёт ошибку create_cookie() got unexpected keyword arguments: ['id', 'hostOnly', 'httpOnly', 'storeId', 'sameSite', 'expirationDate', 'session']

При запуске программы выдаёт create_cookie() got unexpected keyword arguments: ['id', 'hostOnly', 'httpOnly', 'storeId', 'sameSite', 'expirationDate', 'session'] Насколько я понимаю, эти значения ...
ananim007's user avatar
0 голосов
0 ответов
20 показов

При асинхронном парсинге openweathermap последний запрос сессий долго грузится

При асинхронном parsing openweathermap одни запросы долго грузится, а другие быстро . async def Parser_Yandex_Weather(session, coord, header, url, source, name_sity, function): global TIME_COUNT ...
Eltrox's user avatar
  • 1
0 голосов
1 ответ
41 показ

Парсер на python не обходит несколько страниц на сайте, а зацикливается на одной в цикле while [закрыт]

import requests from bs4 import BeautifulSoup as BS p = 1 headers = { "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,...
Даниил Сорокин's user avatar
0 голосов
0 ответов
63 показа

Помогите создать DOM HTML под Delphi

Помогите примером создания DOM HTML в Delphi стоковыми методами, использую RadStudio 10.4/11.3 версий. Делал пробы парсинга на JavaScript и хотелось бы чтобы получилось подобное и на Delphi: const ...
keon's user avatar
  • 11
-2 голоса
1 ответ
41 показ

Метод indexOf не видит символ в строке

Пытаюсь узнать индекс тире в строке, сам символ метод contain в строке видит и выдает true, но indexOf выдает -1. Проблема возникает только в той части строки, которая идет после NNBSP(присутствует на ...
Temik's user avatar
  • 31
0 голосов
1 ответ
53 показа

Arduino при одинаковом Baudrate принимает по uart с stm32 сообщения, а в монитор порта пишет краказябру

Stm32 присылает по uart на Arduino расстояние между датчиками. Если подключить stm32 по uart к компу по скорости 115200, то Putty в понятном виде выдает данные о расстоянии. Если же stm32 по uart с ...
ObpbIG4N Entertaiment's user avatar
0 голосов
1 ответ
60 показов

selenium по-моему что-то перепутал

в общем, есть у меня функция, которая проверяет данные пользователя на достоверность, то есть пользователь вводит логин и пароль, а функция проверяет реальны ли они. Тестил на своем компьютере ос- ...
Константин's user avatar
0 голосов
0 ответов
232 показа

Почему Telegram бот иногда долго отправляет инфу, иногда вообще не присылает, иногда задваивает сообщения?

Пишу приложение tg-бота такого рода: сотрудники скидывают в чат вводные данные, бот их получает и на их основе парсит информацию в интернете. Отправляет ее ответом в чат. Проблема: При парсинге из ...
Valentin's user avatar
  • 271
0 голосов
1 ответ
210 показов

Как исправить ошибку SSL certificate problem: self signed certificate in certificate chain при cURL запросе?

Пытаюсь парсить с помощью cURL через прокси, но возвращается ошибка: Ошибка curl: SSL certificate problem: self signed certificate in certificate chain. Запрос такой отправляю: public function ...
Valentin's user avatar
  • 271
0 голосов
1 ответ
85 показов

Убрать \n и пробелы при парсинге

Имеется код на python который парсит названия, описания и кол-во звёзд у популярных репозиториев github from bs4 import BeautifulSoup import pandas as pd url = 'https://github.com/trending' response = ...
SP595's user avatar
  • 3
0 голосов
0 ответов
65 показов

Парсинг сайта написанного на Битрикс

Пытаюсь парсить данные с сайта https://moba.ru. В панели разработчика заметил, что при переходе по этому адресе происходит перенаправление на него же: На второй странице вся нужная мне информация. В ...
AnLucKa's user avatar
  • 13
-4 голоса
1 ответ
97 показов

Как распарсить строку на id, имя, цену и количество [закрыт]

public class Solution { public static void main(String[] args) throws Exception { BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(System.in)); String ...
Семён Барышников's user avatar
0 голосов
0 ответов
31 показ

Как экспортировать данные полученные парсингом в одном js файле, в другой

Решил освоить парсиннг. Грубо говоря имеется 3 файла: HTML, Main.js и pars.js (Main.js и pars.js лежат в одной папке). Страницу открываю через Live Server Html: <script type="module" src=&...
Somemman's user avatar
0 голосов
1 ответ
632 показа

Не могу получить код страницы megamarket.ru если используется параметр headless (необходим для фоновой работы selenium)

Не могу запустить парсер в фоновом режиме, так как появлется капча, если использовать options.headless = False, то все ок, но страница открывается во весь экран. Цель запустить скрипт на vds сервере. ...
Fedor's user avatar
  • 1
0 голосов
1 ответ
67 показов

Генерация XML в C# (парсинг)

В данный момент занимаюсь парсингом *.L5K файла. В принципе из файла извлек все нужные данные через Split'ы. Застрял на моменте где нужно сгенерировать XML файл из извлеченных данных. Суть: имеются ...
slorate's user avatar
0 голосов
0 ответов
64 показа

Парсинг позиций товара в зависимости от географического местоположения

Есть вот такой рабочий код, который показывает позицию товара в поисковой выдаче wildberries. проблема в том, что он показывает только выдачу в Москве, а существуют боты, которые делают это в ...
Vladimir's user avatar
  • 119
1 голос
1 ответ
46 показов

Вывод из Exel в сообщение telegram Python

Брацы, помогите, всю голову сломал, есть exel файл в нем 5 столбцов и всегда разное количество строк, python его парсит и должен отправить сообщение телеграмм, то что он спарсил, но отправляет только ...
MegaProgramist's user avatar
0 голосов
1 ответ
94 показа

Как исправить 401 при парсинге?

import requests url = 'https://proverkacheka.com/api/v1/check/get' headers = { 'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:89.0) Gecko/20100101 Firefox/89.0' } data = { 'fn': ...
TheFlappy's user avatar
0 голосов
0 ответов
118 показов

Как правильно отправить POST запрос с CSRF токеном для Laravel?

Пытаюсь отправить POST запрос на другой сайт, через cURL. Адрес https://promokod.pikabu.ru/coupon/5ka/Lty7boqhMLLy хочу получить ответ в котором есть json, оттуда вытащить ключ promocode. Предполагаю, ...
Sice60's user avatar
  • 79
0 голосов
1 ответ
61 показ

Неверное поле "" в классе

Вот класс: import at.favre.lib.crypto.bcrypt.BCrypt; import com.jsoniter.JsonIterator; import com.jsoniter.any.Any; import org.jetbrains.annotations.Contract; import org.jetbrains.annotations.NotNull; ...
mister_svinia's user avatar
0 голосов
0 ответов
28 показов

Не работает парсинг сайта на selenium

import json import undetected_chromedriver as uc from selenium.webdriver.common.by import By #driver = uc.Chrome(version_main=116) #driver.get("https://maxitter.com/imgur/") class ...
algiz's user avatar
  • 3
0 голосов
1 ответ
54 показа

Как в XML-файле прописать путь от родителя к необходимому элементу php?

Нуждаюсь в Вашей помощи =) Есть XML-файл. Загружаю его по ссылке так: $xml = simplexml_load_file('http://example.com'); Для примера: <shop> <name>Shop name</name> <...
Rediska's user avatar
  • 31
2 голоса
0 ответов
96 показов

ServiceDesk парсинг письма отправленного с помощью smtplib

Объясню ситуацию: отправляю письмо с помощью smtplib (код ниже) на почту ServiceDesk-а. Письмо выглядит следующим образом: Тема: ~Bot~ subject Тело письма: ~~OPERATION=AddRequest~~ ~~REQUESTER=ФИО~~ ...
arnold's user avatar
  • 1,261
1 голос
0 ответов
39 показов

Реализация класса для парсинга на Selenium

Хочу реализовать класс для взаимодействия с Selenium, для парсинга. Суть такова - есть сайт с которого поступает запрос на проверку чека, когда поступает запрос мы должны спарсить данные с сайта и ...
TheFlappy's user avatar
0 голосов
2 ответа
82 показа

Как убрать класс <br/> из вывода beautifulsoup4

Пытаюсь спарсить сайт. Использую библиотеку beaitufulsoup4.Внутри тега span необходимо получить все теги b с их содержимым, кроме тега br. Если использовать метод .text убирается текст после тега br. ...
Захар Уляшов's user avatar
0 голосов
1 ответ
25 показов

Как отсортировать результат parcing?

Нужно вывести сначала наименьшие цены товаров import requests from bs4 import BeautifulSoup for i in range(1, 6): print(f"Parsing {i} page") url = "https://cvetland....
Pureya's user avatar
  • 3
0 голосов
0 ответов
72 показа

Oracle ошибка при парсинге json

Есть ресурс к которому обращаюсь по API и получаю ответ в виде JSON. Там есть пагинация и на странице 30 заявок, нужно получить заявки с 700 страниц. Код написал и он отрабатывает, но в рандомный ...
RSK's user avatar
  • 104
0 голосов
0 ответов
55 показов

Как получить "быстрый ответ" Google на C#?

У меня задача - получить "быстрый ответ" со страницы Google на C#. Пример "быстрого ответа": Я обычно использую AngleSharp для парсинга на C#, но у меня элементарно не получается ...
Makss's user avatar
  • 1
0 голосов
1 ответ
73 показа

парсинг тайтлов slashlib в которых есть возрастное ограничение python

Всё никак не пойму чего не хватает слэшлибу, что бы он выводил данные по всем тайтлам в том числе по 18+ import requests from bs4 import BeautifulSoup # # Список User-Agent строк url = r'https://v1....
umzila play's user avatar
-1 голос
2 ответа
65 показов

Не достается часть кода python

я далеко не гуру питона и тем более парсеров, но теперь работа обязывает разбираться. Поставлена задача из сайта вытащить всю контактную информацию, и все бы хорошо, но не могу никак достать адрес по ...
АsyaG's user avatar
  • 3
0 голосов
0 ответов
83 показа

selenium python нажать на выпадающий список

Проблема такая, мне нужно нажать на кнопку ... (это у меня получается). После чего мне необходимо выбрать элемент по тексту в нем. Я думал это очень просто, но у меня не вышло, я получил xpath ...
Teplyakov_Sergey's user avatar
-1 голос
1 ответ
88 показов

Здравствуйте! Мне необходимо запарсить годовую отчетность с ЦБРФ, а именно Бухгалтерский баланс и отчет о финансовых результатах, используя python

Основная ссылка: https://www.cbr.ru/banking_sector/credit/FullCoList/ Какие python библиотеки посоветуете использовать? Это мой первый опыт в парсинге сайтов, буду рад любой помощи
Semyon's user avatar
  • 1
0 голосов
0 ответов
33 показа

Не запускается Бот Парсер из CoinMarketCap

Всем привет, написал этот код для поиска криптовалютных связок между биржами информацию пытался выдернуть из CoinMarketCap , но бот в телеграмме не реагирует на команду /arbitrage, в PyCharm выходит (...
Baokono's user avatar
0 голосов
0 ответов
311 показов

Подскажите, как шифруется или хешируется пароль на сайте VFS global&

Хочу авторизоваться через запрос на сайте. В ответе надо получить access токен. Сайт https://visa.vfsglobal.com/blr/ru/pol/login Параметры пост запроса такие: import requests headers = { '...
Оксана Шаппо's user avatar
0 голосов
1 ответ
51 показ

Парсинг. Сбор информации с одинаковыми тегами

Как спарсить значение тегов span class="section__info по отдельности? Я пробовал собрать подобную "елку": adress = soup.find("div", class_="row blockInfo").find(&...
Zik's user avatar
  • 3