3
голоса
python: парсинг запросов с заданным словарем
Один из хороших вариантов, это создать свой парсер используя библиотеки для построения парсеров.
Вот пример с использованием lark для (почти) вашего случая:
from lark import Lark, Tree
parser = Lark(
...
2
голоса
Оптимизация парсинга больших страниц c# httpwebrequest
Чтобы быстро всё работало, надо использовать хорошо оптимизированный .NET 6 и HttpClient вместо давно устаревшего HttpWebRequest.
Напишу класс парсера на основе HtmlAgilityPack. Смысл парсера будет в ...
1
голос
Принятый
Как сохранять файл в openpyxl в мультипроцессорности?
Ну как-то так:
from multiprocessing import Pool
from openpyxl import Workbook
import requests
from bs4 import BeautifulSoup
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) ...
1
голос
Обработка дат разных локализаций в Pandas. PyICU или "ручками"?
Решился-таки в отдельном окружении установить подходящий мне PyICU-2.9-cp39-cp39-win_amd64.whl взятый отсюда. Позаимствов код из приведенных источников и плюнув на зональное время, получил ...
1
голос
Помогите разобраться с многопроцессорностью
Передайте все необходимые данные в кортежах:
import requests
from multiprocessing import Pool
def get_data(url, headers, cookies):
r = requests.get(url)
print('1')
def get_data_for_map(...
1
голос
Вытащить из ответа JSON либо XML данные и в виде текста подставить в переменную PHP
XML
$data = new SimpleXMLElement($res);
$status = $data->suggestions[0]->data->state->status;
$full_with_opf = $data->suggestions[0]->data->name->full_with_opf;
$value = $data-&...
1
голос
Принятый
Как определять какой вебдрайвер нужен автоматически Selenium Python?
Например можно использовать selene или selenide, он сам определит установленный браузер, скачает и запустит нужный драйвер:
import selene.api
selene.api.browser.open_url('http://ya.ru')
====== ...
1
голос
Принятый
Как изменять элементы сайта через Pyhhon
link = 'http://127.0.0.1:5500/dat.html'
response = requests.get(link).text
res = response.replace("https://www.youtube.com/", "https://google.com/")
with open('parse.html', 'w', ...
1
голос
Принятый
Как сохранить значения парсинга JSON в массив в ArduinoJson
Всё гораздо проще, можно просто использовать
JsonArray ids = doc["id"];
и использовать внутри функций как ids[1]
1
голос
Принятый
Не хватает памяти при парсинге страниц
Cделайте пошаговую обработку данных, не отдавайте массив с тысячей URL, при обработке которых он гарантированно упадет. Если он успевает обработать только 5 страниц - отдайте ему 5 первых url, ...
Only top scored, non community-wiki answers of a minimum length are eligible
Связанные метки
парсер × 2968python × 1393
php × 457
python-3.x × 451
beautiful-soup × 342
html × 297
java × 291
c# × 232
json × 207
requests × 207
bs4 × 166
javascript × 158
selenium × 141
xml × 135
android × 124
jsoup × 101
регулярные-выражения × 85
curl × 72
c++ × 69
pandas × 59
csv × 53
selenium-webdriver × 51
node.js × 46
xmlparser × 45
строки × 39