0

Всех приветствую.

Парсю дату новостей с этого портала .И после эти полученные даты преобразовываю в нужный мне формат с помощью библиотеки dateparser .

И произошла такая дилемма .У этого портала есть два типа дат. То есть вот так:1 тип даты 2 тип даты.

1 тип даты выглядит вот так и этот тип нормально преобразовывается с помощью библиотеки dateparser в нужный мне формат 2019-09-03 13:54:23

введите сюда описание изображения

2 тип даты выглядит вот так и при попытке преобразования с помощью библиотеки dateparser результат None

введите сюда описание изображения

Я думал 2 тип даты выводит None так как в библиотеке dateparser нужен год для преобразования в нужный мне формат.

Но я парсил на этом же портале новость 2016 года. И при попытке преобразовать дату в нужные мне формат результат был None

Вот участок кода который парсит даты:

# < Собираем даты с страницы.
def get_item_datetime(item_page,datetime_rule,datetime1_rule):
    if item_page is None:
        return
    soup = BeautifulSoup(item_page, 'lxml')
    item_datetime = soup.find(datetime_rule[0],{datetime_rule[1]:datetime_rule[2]})
    if item_datetime is not None:
        item_datetime = soup.find(datetime_rule[0],{datetime_rule[1]:datetime_rule[2]}).text
        item_datetime = dateparser.parse(item_datetime, date_formats=['%d %B %Y %H'])
    else:
        if (len(datetime1_rule) == 3):
            item_datetime = soup.find(datetime1_rule[0],{datetime1_rule[1]:datetime1_rule[2]}).text
            item_datetime = dateparser.parse(item_datetime, date_formats=['%d %B %Y %H'])
        else:
            item_datetime = ''
    return item_datetime

Как решить эту проблему ? Как мне преобразовать преобразовать 2 тип даты?

UPD: Создал переменную и присвоил ей значение в точь-точь как у 2 типа.И дал это dateparser библиотека нормально отработала.Думаю проблема в том что я парсю и еще ненужные dateparser элементы такие как пример: 2 Сентября,22:51 721 то есть 721 это цифра просмотров новости.

Вот место где я беру дату: введите сюда описание изображения

4
  • Поставил эту библиотеку, проверил различные комбинации дат с этого сайта. На всякий случай указал languages=['ru'], попробовал ваш date_formats. Во всех случаях выдает правильный datetime. Проверьте, правильно ли у вас BeautifulSoup находит сами такие даты.
    – Jazzis
    4 сен 2019 в 12:34
  • @Jazzis,Я проверил BS4 он находит даты без проблем. Уточняющий вопрос,я правильно вас понял ? Вы использовали библиотеку dateparser? И у вас даты по типу 2 Сентября, 13:33 преобразовывается нормально ? 5 сен 2019 в 3:39
  • Всё верно. У меня Python 3.7.4 и dateparser==0.7.1 (latest версия). Возможно у вас другая версия питона и библиотеки, и конкретно на них не работает? P. S. Комментарий написан без учета UPD.
    – Jazzis
    5 сен 2019 в 5:28
  • @Jazzis,хм... Можете скинуть ваш код который работает ? А на счет версий питона и библиотеки у меня все в порядке,я это в первую очередь проверил.P.S. Я думаю то что я указал в UPD и есть проблема 5 сен 2019 в 5:35

1 ответ 1

2

Тогда вам надо над селекторами поработать, по которым ищите даты. Судя по коду вам надо брать первый span из <div class="nl__details nl__details_left">. Словами BS4 это будет что-то типа:

item_datetime = soup.select_one('div.nl__details.nl__details_left > span').text
dt = dateparser(item_datetime, date_formats=['%d %B %Y %H'])

return dt

P. S. Насчет работоспособности не уверен, но судя по документации select_one работает так.

3
  • Я думаю селекторы мне не подойдут.Так как правила выдергивания контента я беру из БД.И я думаю что лучше буду использовать другие методы.В любом случае благодарю вас за потраченное внимание и время) 5 сен 2019 в 5:49
  • 1
    @Jazzis, первый селектор внутри того div это ` > span`, угловая скобка говорит, что нужно строго искать вложенный тег. А без скобки будут искаться у всех детей, их детей и т.д.
    – gil9red
    5 сен 2019 в 6:19
  • Исправил ответ по замечанию @gil9red, спасибо :)
    – Jazzis
    5 сен 2019 в 6:37

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.