Вопросы с меткой [парсер]
Парсер (от англ. parser; «parse» — анализ, разбор) или синтаксический анализатор — часть программы, преобразующей входные данные (как правило, текст) в структурированный формат. Парсер выполняет синтаксический анализ текста.
2,270
вопросов
0
голосов
0ответов
4 показа
PHP: Как вытаскивать содержимое узлов xml при заполнении документа Word средствами библиотеки PHPWord?
Подскажите, пожалуйста!
Получаю в переменную $result xml выдачи Яндекса, отправляю сие безобразие в документ Word методами библиотеки PHPWord:
foreach ($tmp as $key => $value) {
if (is_string($...
0
голосов
0ответов
18 показов
ошибка в работе парсера
Ошибки в консоли нет, однако в консоли нет и конечного кода.
Все что выводиться в консоли: Process finished with exit code 0
Сам код:
import requests
from bs4 import BeautifulSoup
def parse():
...
0
голосов
0ответов
13 показов
Как спарсить страницу твиттера через PhantomJs или любыми другими способами?
Пытаюсь спарсить страницу https://twitter.com/PlayStation с помощью pnantomJS, так как пришел к мнению что иначе никак.
Я использую код:
В index.php
<?php
$html = shell_exec('/var/www/html/...
0
голосов
1ответ
25 показов
Как парсить html файлы, а не сайты? Jsoup
У меня есть каталог скаченный Html-файлов, хочу потренироваться в их парсинге, но не могу понять, как мне при помощи jsoup найти эти файлы ( в каталоге html файлы разбросаны по папкам ) для ...
0
голосов
1ответ
22 показа
Как передать переменную в параметр BeautifulSoup
Если написать параметр напрямую:
from bs4 import BeautifulSoup
import requests
def get_currency_today():
resp = requests.get("http://www.cbr.ru/scripts/XML_daily.asp")
soap = ...
0
голосов
1ответ
35 показов
Как при парсинге отображать только новые посты?
Мне нужен парсер, который сообщит о всех новых постах на сайте, но только если ранее они не отображались. Например, пользователь запускает парсер после долгой паузы, во время которой на сайте вышло ...
2
голоса
1ответ
33 показа
Ошибка в работе парсера: 'NoneType' object has no attribute 'get_text'
Код:
import requests
from bs4 import BeautifulSoup
URL = 'https://auto.ria.com/newauto/marka-jeep/'
HEADERS = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, ...
1
голос
1ответ
57 показов
Вопрос по парсингу
В html коде страницы есть:
В парсере в список контента я добавляю item таким образом:
hero = item.find('td', class_='cell-xlarge').get('data-value')
На выходе ошибка:
AttributeError: 'NoneType' ...
0
голосов
1ответ
16 показов
Не отображаются данные при реализации парсинга Python
заинтересовался идеей парсинга на Python.Суть такова , нужно получить информацию : Цена , название и ссылка с сайта https://matraster.ru/matrasy-ceny/
Написал вот такой код
import requests
def save()...
0
голосов
0ответов
24 показа
Есть ли аналог requests.Session() в Scrapy? [закрыт]
Как написать код в Scrapy, который будет делать session запросы?
-1
голос
1ответ
25 показов
Как получить данные из файла [закрыт]
День добрый. Есть лог файл вида:
revno: 4
committer: user_Z
timestamp: Fri 2012-03-16 14:01:31 +0700
--
revno: 3
committer: user_Z
timestamp: Fri 2012-03-16 13:52:26 +0700
...
1
голос
2ответа
50 показов
Как скрыть, что ты зашел через selenium?
Использую chromedriver. Как скрыть от сайта, что ты зашел на него при помощи Selenium?
1
голос
0ответов
18 показов
Как не загружать оперативку при парсинге?
Есть скрипт который парсит тг каналы,но проблема в том что он прежде чем записать на диск,выгружает данные в оперативную память. Можно ли как-то исключить из процесса выгрузку в оперативку и сразу ...
0
голосов
0ответов
18 показов
Парсинг табличного PDF файла
Пишу бота на Node JS, для своей группы, с сайта получаю PDF файл с расписанием:
Столкнулся с проблемой, использовал сначала tabula-js, конвертировал в CSV, а после искал по столбцу свою группу, но ...
1
голос
0ответов
23 показа
Скраппинг веб-сайтов на Android | Kotlin
Какие библиотеки использовать для скраппинга сайтов на андройд? Хочу сделать приложение на контенте другого сайта, но проблема в том, что он загружает данные через js. Я пытался его проанализировать, ...
0
голосов
0ответов
34 показа
Каким способом можно спарсить данную таблицу?
Не получается спарсить таблицу. Вот ссылка на нее: https://voronezhvokzal.ru/raspisanie-poezdov/
Пытался это делать через BeautifulSoup, но как я понял bs4 не находит данную таблицу. Взялся за ...
0
голосов
1ответ
27 показов
Запись файлов в папку при парсинге. Python [закрыт]
Как сделать чтобы в папку записывались файлы по возрастанию чисел, например при парсинге... К примеру: Название_сайта01.txt и т.д. пока не закончатся сайты которые записываются в файл.
Это надо ...
1
голос
1ответ
23 показа
Заголовок в строке не может записаться в файл, также надо записать и текст поста в файл. Python
from requests import get
from bs4 import BeautifulSoup
url = get('https://www.playground.ru/news').content
soup = BeautifulSoup(url, 'html.parser')
div = soup.find_all('div', class_='post-title')
for ...
0
голосов
0ответов
14 показов
Как изменить кодировку конечной разметки после parsing-а [дубликат]
После парсинга разметки на русском языке таким кодом:
import requests
import json
school = ''
login = ''
password = ''
data = {'scid': school, 'UN': login, 'PW': password}
r = requests.post("...
0
голосов
0ответов
18 показов
requests не подгружает страницу целиком python
Get-запрос в библиотеке requests с переданными всеми заголовками (даже с кукисами) выдает ответ 200 и подгружает только основную часть страницы. Но на странице есть ещё вкладка, и запрос её не видит (...
0
голосов
1ответ
20 показов
Селектор CSS ничего не возвращает
Ситуация следующая - приведенный код должен выбирать данные со страницы в нужном порядке, по датам. И он это исправно делает до середины 14-го октября - то есть внутри цикла с i = 86 селектор в ...
0
голосов
2ответа
88 показов
Как выбрать ФИО из списка строк и изменить формат даты?
Нужно написать функцию, которая принимает список строк и возвращает список словарей в формате {"name": name, "date": date}, где:
name - имя автора
date - дата в формате dd/mm/yyyy
...
0
голосов
0ответов
16 показов
Отображения на сайте постов из facebook, twitter и yotube(iframe, заголовок, описание)
Хотел бы найти wordpress plugin для отображения постов из facebook, twitter и youtube(iframe, заголовок, описание)
Если же такого нету или вы не знаете, но есть альтернатива, вроде гибкого парсера, ...
-1
голос
1ответ
27 показов
Как скачать картинки с сайта?
Есть сайт - https://scrolller.com/
Я хочу написать скрипт на Python, который будет скачивать с сайта какое-то количество картинок, но сами картинки загружаются не в html, поэтому скачивание сайта ...
1
голос
2ответа
48 показов
Как вытащить данные со страницы сайта, если они передаются в js коде? Python3
У меня есть задача спарсить один сайт. Проблема в том, что там используется что-то типа vue/react/angular и серверный рендеринг. Но очень странный серверный рендеринг. Данные отправляются в самом ...
0
голосов
0ответов
14 показов
Как, используя Python и PyQuery (+ requests) извлечь текстовое содержимое тегов двух типов (<p> и <h2>), находящихся внутри определенного тега <div>
Возник такой вопрос - парсю страницы с РБК, конкретно вот эту, например:
https://www.rbc.ru/business/10/09/2020/5f589b189a794752254570fb
И такой вопрос - можно ли с помощью PyQuery (уже использую ее) ...
1
голос
1ответ
19 показов
Как спарсить участников чужой Telegram группы?
Подскажите эффективный способ собрать имена, логины и номера всех участников Telegram группы.
У меня сейчас на заметке 3 варианта:
Использовать web версию telegram и написать JS скрипт. Но там ...
1
голос
2ответа
32 показа
Как конвертировать строку в дату?
Пытаюсь конвертировать дату:
Wed, 06 Jan 2021 12:56:00 +0200
В дату python однако получаю ошибку.
re.error: redefinition of group name 'b' as group 8; was group 3 at position 211
Код
date_time_str =...
0
голосов
0ответов
36 показов
После нажатии кнопки “Войти” на сайте ничего не происходит, java, html unit
Вхожу нас сайт с помощью html unit на java, заполняю поля логина и пароля, нахожу кнопку войти, после нажатия которой я должен авторизоваться и перейти на главную страницу сайта. Но после ее нажатия ...
0
голосов
1ответ
31 показ
Как можно нажимать на кнопки, и писать текст, не используя selenium? [закрыт]
Я делаю бота, который должен делать некоторые действия в браузере.Могу ли я делать это без использования selenium? Если да, то объясните пожалуйста как.
6
голосов
4ответа
225 показов
Парсинг строки в си
Как максимально эффективно вытащить данные из строки? Имеется на входе:
" { 'Parametr1 2000' ; [ 5 & 2 ] ; [ 3 & 2 ] }{'ParametrLoooooooong 2021';[10&5];[ 6 &4]}"
"{'...
0
голосов
1ответ
33 показа
Как спарсить “полностью прокрученную” html страницу?
Когда мы листаем ленту паблика вк или чего-то подобного, она постепенно прогружается. Моя задача спарсить полностью прогруженную страницу (html код). Возможно плохо искал, но в документации к urllib я ...
0
голосов
0ответов
22 показа
Получить значения конкректных тегов в парсере
Парсил geeksforgeeks. Чуть изменил код - получил список тем из stackoverflow и из ru.stackoverflow. На сайте stackoverflow - спрашивают больше, но там и много вопросов с "-" рейтингом ...
0
голосов
1ответ
46 показов
Как скачать текст в виде базы данных с сайта? [закрыт]
Я новичок в Python. Мне нужно спарсить информацию с сайта https://skazki-basni.ru/skazki/, чтобы она была представлена в виде таблицы с названием сказки и текстом. Когда я пытаюсь вывести все данные ...
5
голосов
1ответ
40 показов
Как разбить строку сразу по нескольким разделителям?
import re
s = input().split()
print(re.split('?|&',s))
Не получается таким образом, выводит кучу непонятных ошибок.
Нужно разбить строку по знакам: ? или &
Для примера подается какая то URL ...
2
голоса
1ответ
59 показов
Ошибка: get() takes from 1 to 2 positional arguments but 4 were given
Эксперементировал, пробовал "засунуть" рекурсивные функции в get. Не вышло. Ошибка:
TypeError: get() takes from 1 to 2 positional arguments but 4 were given
Вот код, получает html страницы:
...
0
голосов
2ответа
72 показа
Discord.py не может запуститься при парсинге
import requests
from bs4 import BeautifulSoup
import discord
import random
from discord.ext import commands, tasks
import asyncio
import time
URL = 'https://stopgame.ru/news'
HEADERS = {'User-Agent': ...
0
голосов
0ответов
16 показов
Авторизация парсера на python через библиотеку requests
Перепробовал разные варианты авторизации найденные в поисковике. Ни один не сработал... Подскажите пожалуйста, как авторизироваться на сайте?
Код:
from bs4 import BeautifulSoup
import urllib.request
...
0
голосов
2ответа
43 показа
Python функции и переменные
есть код формата:
def get_content(html):
soup = BeautifulSoup(html, 'html.parser')
items = soup.find_all('span',class_='left')
gamers = []
for item in items:
gamers.append(...
2
голоса
1ответ
47 показов
Получить значение из html тега
Есть к примеру такой HTML код:
<img alt="HDG" src="s.png"/>
Учитывая, что HDG и s.png могут быть абсолютно разными, мне нужно получить в чистом виде строку s.png. Видел ...
0
голосов
0ответов
44 показа
Python requests: как парсить “авито”?
Не получается средствами python и библиотеки requests сделать запрос на авито: всегда возвращается ответ 403, хотя средствами php-curl я получил нужный мне код ответа 200
Headers'ы в python разные ...
1
голос
1ответ
31 показ
Как спарсить ссылки?
import requests
from bs4 import BeautifulSoup
URL = 'https://stopgame.ru/news'
HEADERS = {'ll'}
def get_html(url, params=None):
r = requests.get(url, headers = HEADERS, params = params ) #...
0
голосов
1ответ
11 показов
Парсер не выводит заголовок статьи
import requests
from bs4 import BeautifulSoup
URL = 'https://stopgame.ru/news'
HEADERS = {'Тут что-то было.'}
def get_html(url, params=None):
r = requests.get(url, headers = HEADERS, params = ...
0
голосов
1ответ
27 показов
Что делать чтобы добавить текст в пустой блок TD?
Я пытаюсь спарсить сайт с таблицей, в ячейках которой есть пропуски и они не как не парсятся:
import requests
from bs4 import BeautifulSoup
URL = 'https://www.bestfightodds.com/#'
HEADERS = {'user-...
1
голос
1ответ
32 показа
BeautifulSoup Парсер элементов
Подскажите пожалуйста, как спарсить div idэлемента c15597187
<div id="c15597187" class="l_class">
<a class="ref_goods_n_p j-open-full-product-card" href="/...
-1
голос
2ответа
34 показа
Как парсить элементы HTML кода, если у них одинаковые названия?
Например, есть код:
1. div class = 'chtoto'
2. div class = 'chtoto'
У них одинаковые названия, и получу я только содержимое того элемента, который был раньше. Как получить данные из 2 choto?
0
голосов
0ответов
16 показов
Как сделать так что бы парсинг участников начинался с N участника?
Например я хочу что бы пирсинг начинался с человека под номером 51
как мне это сделать?
Вот код:
from telethon.sync import TelegramClient
from telethon.tl.functions.messages import GetDialogsRequest
...
0
голосов
1ответ
15 показов
JSON-файл не парсится при большом количестве запросов к серверу
Используя Graphi API, делаю запрос к серверу и получаю в ответ JSON-файл. Если https://api.giphy.com/v1/gifs/trending?api_key=${API_KEY}&limit=5 работает нормально, то когда лимит больше 7 или ...
1
голос
1ответ
27 показов
Как написать условие, чтобы при парсинге данных не выводилось время?
Есть задача - вытащить с сайта название банков, цену покупки и продажи валют. В таблице на странице банка есть еще время(которое мне не нужно). Не понимаю как записать условие, при котором время не ...
0
голосов
1ответ
44 показа
Ошибка: “Не удается выполнить привязки исполняющей среды по нулевой ссылке”
Появляется ошибка при попытке вывести фотографии групп пользователя.
Вот код метода:
void Save_Photo()
{
string photo = "";
string response = FunctionGroupPolz....