0

Написал парсер сайта. Логика в том чтобы просматривать данную страницу через определенный интервал времени. Для отслеживания изменений записываю приходящие данные в словарь all_exercise. Далее делаю копию словаря new_all_exercise = all_exercise.copy(). И при каждом запуске функции происходит проверка словарей на предмет добавления новых записей на сайт. Пока запись не добавленна все работает корректно. Но при добавлении новой записи выдает ошибку.

Как реализовать вывод только новых данных приходящих на сайт?


import requests
from bs4 import BeautifulSoup
import time

headers = {
    "Accept": "*/*",
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.85 YaBrowser/21.11.4.730 Yowser/2.5 Safari/537.36"
}


def parse():
    while True:
        link = 'https://www.weblancer.net/jobs/html-verstka-32/'
        responce = requests.get(link, headers=headers).text

        soup = BeautifulSoup(responce, 'lxml')

        block = soup.find('div', class_="divided_rows")

        exercise = block.find_all('div', class_="col-sm-10")

        all_exercise = {}

        for item in exercise:
            item_title = item.find('div', class_="title")
            item_text = item.find('div', class_="text_field")
            item_link_all = item.find_all('a', class_="show_visited")

            all_exercise[item_title] = item_text

            if 'new_all_exercise' not in locals():
                for item_link_href in item_link_all:
                    href = item_link_href.get('href')
                    print(f"Задание: \n{item_title.get_text()} \n\n*** \nТекст задания: \n{item_text.text} \n\n*** \nссылка: https://www.weblancer.net{href}\n______________\n\n")
            else:
                if all_exercise[item_title] != new_all_exercise[item_title]:
                    for item_link_href in item_link_all:
                        href = item_link_href.get('href')
                        print(f"Задание: \n{item_title.get_text()} \n\n*** \nТекст задания: \n{item_text.text} \n\n*** \nссылка: https://www.weblancer.net{href}\n______________\n\n")
                else:
                    for item_link_href in item_link_all:
                        href = item_link_href.get('href')
                        print(f"Задание: \n{item_title.get_text()} \n\n*** \nТекст задания: \n{item_text.text} \n\n*** \nссылка: https://www.weblancer.net{href}\n______________\n\n")
        new_all_exercise = all_exercise.copy()
        time.sleep(3)

parse()

8
  • 1
    Если сайт нормальный, то можно делать head запрос и смотреть на заголовок Last-Modified
    – evo
    16 янв 2022 в 10:23
  • 1
    Ну собственно вот: Last-Modified: Sun, 16 Jan 2022 10:29:57 GMT, так что делайте запрос заголовков и смотрите на дату, если она новее той что была в прошлом запросе, тогда грузите через GET.
    – evo
    16 янв 2022 в 10:31
  • Как я понимаю загрузиться вся страница. А мне нужно только новые объявления (то есть те которых у меня еще нет)
    – sap
    16 янв 2022 в 10:36
  • 2
    Тогда делайте так: сначала Head, проверили дату\время, если обновлено, грузим весь контент, далее парсим данные, и смотрим на <span data-toggle="tooltip" title="" data-timestamp="1642312692" class="time_ago" data-original-title="16.01.2022 в 07:58">4 часа назад</span> сортируем, откидываем все что не нужно, добавляем только то чего нет. В написании кода я помогать не стану, т.к. я не пишу ничего на python, да и что там вообще писать то, у вас миллионы готовых библиотек для этого есть.
    – evo
    16 янв 2022 в 10:50
  • 1
    А вы не знали что ответ не всегда состоит из кода написанного за вас?
    – evo
    16 янв 2022 в 12:15

1 ответ 1

0

Запрос продолжения можно исключить, но тогда новые задание (если они будут при одной из следующих проверок), сотрут то, что выведено

Нюанс 1:
Делал этот обработчик основываясь на том, что Ваш вариант обрабатывает только первую страницу. Мой, соответственно, тоже.

Нюанс 2:
Не смотря на то, что в данном случае для хранения данных используется json если делать прям для себя, я бы предпочел для этой цели каку-нибудь простенькую БД типа sqlite

Нюанс 3:
Делая такие частые запросы к сайту, Вы рискуете быть забанены!!!

import json
import re
import time
from datetime import datetime
from pathlib import Path
from typing import Dict, Any

from bs4 import BeautifulSoup as Soup
from bs4.element import Tag, NavigableString
from requests import Session

base_url = 'https://www.weblancer.net'

def parse_snippet(top: Tag):
    title = None
    text = None
    link = None
    requests = 0
    closed = False
    started_at = None
    task_id = None

    parent = top.parent
    top_right = parent.find('div', class_='col-sm-2')
    bottom = parent.find('div', class_='col-sm-8')
    bottom_right = parent.find('div', class_='col-sm-4')

    if isinstance(text_tag := top.find(
            'div', class_=['collapse', 'show', 'text-inline']
    ), Tag):

        if isinstance(dropup := text_tag.find('a', class_="dropup"), Tag):
            dropup.replace_with('')

        text = '\n'.join(item.strip() for item in filter(lambda x: isinstance(x, NavigableString), text_tag
                                                         .contents[-1]))

    if isinstance(requests_tag := top_right.find('div', class_='text_field'), Tag):
        requests = int(match.group(1)) if isinstance(match := re.search('(\d+)', requests_tag.get_text(strip=True),
                                                                        flags=re.S),
                                                     re.Match) else 0
    if isinstance(requests_tag := top_right.find('div', class_='text-success'), Tag):
        closed = bool(requests_tag.get_text(strip=True))

    hash_tags = [
        elem.get_text(strip=True)
        for elem in bottom.find_all('a', class_='tag')
    ]

    if isinstance(a := top.find('a', class_='click_target'), Tag):
        title = a.get_text(strip=True)
        link = base_url + a.get('href')
        task_id = m.group(1) if isinstance(m := re.search(r'(\d+)[/]?$', link), re.Match) else None

    if isinstance(time_tag := bottom_right.find('span', class_='time_ago'), Tag):
        started_at = datetime.fromtimestamp(float(time_tag.get('data-timestamp')))

    return task_id, {
        'title': title,
        'text': text,
        'link': link,
        'hash_tags': hash_tags,
        'started_at': started_at,
        'requests': requests,
        'closed': closed
    }


while True:
    site = Session()
    site.headers.update(
        {
            "Accept": "*/*",
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) "
                          "Chrome/94.0.4606.85 YaBrowser/21.11.4.730 Yowser/2.5 Safari/537.36"
        }
    )

    data_file = Path('./data.json')

    data: Dict[str, Dict[str, Any]]

    if data_file.exists():
        data = json.load(
            data_file.open('r', encoding='utf-8')
        )
    else:
        data = dict()

    response = site.get(base_url + '/jobs/html-verstka-32/')
    soup = Soup(response.content, 'html.parser')


    def datetime_serialize(val):
        if isinstance(val, datetime):
            return val.isoformat()


    task_pattern = ("Задание: \n{title} \n\n*** \nТекст задания: \n{text} \n\n*** \nссылка: {link}\n"
                    "Начато: {started_at}\nПодано заявок: {requests}\nТеги: {tags}\n______________\n\n")

    new_items = 0

    for k, v in map(parse_snippet, soup.find_all('div', class_='col-sm-10')):
        if k in data:
            data[k] = v
            continue
        new_items += 1
        data.setdefault(
            k, v
        )
        tags = ','.join(v.get('hash_tags', []))
        print(
            task_pattern.format(tags=tags, **v)
        )

    json.dump(
        dict(map(parse_snippet, soup.find_all('div', class_='col-sm-10'))),
        data_file.open('w', encoding='utf-8'),
        ensure_ascii=False,
        indent=2,
        default=datetime_serialize
    )
    if new_items:
        if not (reply := input(
                f'Поступили новые предложения ({new_items}), продолжить мониторинг? [Y/Д/N/н]: '
        )).lower() in ['y', 'д']:
            break
        time.sleep(10)

Вывод

Задание: 
Редактирование главной страницы через страницу администратора 

*** 
Текст задания: 
Необxодимо добавть возможность редактирования главной страницы (несколько текстовыx блоков и изображения) через страницу администратора (доступна она, когда человек заxодит под логином и паролем администратора). Вся вёрстка готова, главное добавить функционал.
Работает на локальном xостинге.
Используется mongodb для связи с базой
 

*** 
ссылка: https://www.weblancer.net/projects/html-verstka-32/redaktirovanie-glavnoj-stranitcy-cherez-stranitcu-administratora-1149392/
Начато: 2022-01-16 14:41:57
Подано заявок: 3
Теги: mongodb
______________


Задание: 
Правка верстки 

*** 
Текст задания: 
Необходимо добавить две иконки на сайт через css, возможно с использованием псевдоэлементов, так как иконки должны быть кликабельны. Сделать задачу - в течение суток.
Адаптивно.
Для десктопа и мобайла - 2 разных файла используются (хоя, думаю, это не сущственно).
Какие файлы править - я скажу.
 

*** 
ссылка: https://www.weblancer.net/projects/html-verstka-32/pravka-verstki-1149393/
Начато: 2022-01-16 14:40:18
Подано заявок: 23
Теги: css
______________


Задание: 
Необходимо сверстать блок на страницу 

*** 
Текст задания: 
Есть макет (к сожалению psd нет) во вложении, качество изображения для верстки в оригинальном размере (больше чем во вложении здесь)
Необходимо его сверстать для встраивания на страницу в рабочий сайт (
)
 

*** 
ссылка: https://www.weblancer.net/projects/html-verstka-32/neobhodimo-sverstat-blok-na-stranitcu-1149363/
Начато: 2022-01-16 08:58:12
Подано заявок: 24
Теги: 
______________


Задание: 
Сайт-парсер цен с 5 разных источников. Размещение этих цен в столбец. 

*** 
Текст задания: 
 

*** 
ссылка: https://www.weblancer.net/projects/html-verstka-32/sajt-parser-tcen-s-5-raznyh-istochnikov-razmeshenie-etih-tcen-v-stolbetc-1149351/
Начато: 2022-01-16 08:43:04
Подано заявок: 0
Теги: 
______________


Задание: 
Обновить бутстрап. Верстка 

*** 
Текст задания: 
 

*** 
ссылка: https://www.weblancer.net/projects/html-verstka-32/obnovit-butstrap-verstka-1149292/
Начато: 2022-01-15 17:08:12
Подано заявок: 11
Теги: bootstrap
______________


Задание: 
Внести изменения в сайт 

*** 
Текст задания: 
Мы хотим улучшить информативность, удобство и внешний вид сайта - это наша цель.
Речь о таких правках:
* замена баннера + установить формат слайдера, где мы можем ставить ряд баннеров на ротацию с задержкой;
* замена основного фона и цвета шрифтов, в том числе и на внутренних страницах;
* изменения в блоках на главной странице:  "Наши специалисты" убрать, видео убрать, часть блоков Киевской гомеопатической школы убрать. Оставшиеся крупные квадратные блоки скомпоновать вместе: гом лечение, другие виды терапии, Киевская гомеопатическая школа. Вместо текущего видео поставить другие видео-визитки. Отзывы опустить вниз, перед картой;
* разделы и подразделы в шапке профиля перекомпоновать с другой логикой.
* учитывая вышеизложенное, внести изменения во внутренних страницах.
 

*** 
ссылка: https://www.weblancer.net/projects/html-verstka-32/vnesti-izmeneniya-v-sajt-1149201/
Начато: 2022-01-14 23:12:21
Подано заявок: 19
Теги: правки на сайт
______________


Задание: 
Верстка html письма 

*** 
Текст задания: 
Необходимо сверстать письмо для html рассылки.
Корректное отображения в популярный почтовых сервисах.
Прикрепляйте примеры свёрстанных писем.
Указывайте цену, сроки а так же телеграмм для связи.
 

*** 
ссылка: https://www.weblancer.net/projects/html-verstka-32/verstka-html-pisyma-1149133/
Начато: 2022-01-14 15:28:19
Подано заявок: 16
Теги: html
______________


Задание: 
Верстка всех страниц сервиса 

*** 
Текст задания: 
Добрый день!
Ищем исполнителя для верстки пользовательской части нового проекта.
Дизайн макет создан в фигме, 14 страниц, несколько форм, макет письма.
Требования к верстке:
- БЭМ
- pug
- gulp
 

*** 
ссылка: https://www.weblancer.net/projects/html-verstka-32/verstka-vseh-stranitc-servisa-1149001/
Начато: 2022-01-13 19:10:08
Подано заявок: 0
Теги: figma,gulp,бэм
______________


Задание: 
Маркетплейс. Веб-дизайн + верска 

*** 
Текст задания: 
Выбран вектор фирстиля и сверстана главная маркетплейса.
Исходник есть в Figma.
Требуется работа под ключ, с понятными сроками и бюджетом.
Вот в этом векторе нужно продолжить.
Нужно: за две недели по готовому четкому ТЗ сверстать 10-12 страниц.
Одна лендинг-страница главная.
На ее основе пару поменьше лендингов.
И маркетплейс с админкой, с соответствующим функционалом, все остальные страницы строятся по сути на уже созданном примере.
Все описано в ТЗ, есть примеры.
Выбрана тема на themeforest, в ней есть куча сэмплов разных блоков.
Сверстать нужно адаптивный дизайн.
Разработчик работает на Laravel.
 

*** 
ссылка: https://www.weblancer.net/projects/html-verstka-32/marketplejs-veb-dizajn-verska-1148987/
Начато: 2022-01-13 18:30:09
Подано заявок: 11
Теги: laravel,figma
______________


Задание: 
Вёрстка сайта 

*** 
Текст задания: 
 

*** 
ссылка: https://www.weblancer.net/projects/html-verstka-32/vyorstka-sajta-1148976/
Начато: 2022-01-13 17:14:24
Подано заявок: 73
Теги: 
______________


Задание: 
Сверстать несложный web-кошелек по готовому дизайн-проекту. 

*** 
Текст задания: 
Необходимо сверстать web-кошелек по готовому дизайн-проекту. Всего 3 страницы и Pop Up,ы. Так же необходима адаптация под мобильную версию. Работа не сложная. Все подробности при личном общении. Передача макета выбранному исполнителю.
Срок до 26.01.22
 

*** 
ссылка: https://www.weblancer.net/projects/html-verstka-32/sverstat-neslozhnyj-web-koshelek-po-gotovomu-dizajn-proektu-1148930/
Начато: 2022-01-13 14:55:13
Подано заявок: 26
Теги: 
______________


Задание: 
Исправление багов/модификация сайта 

*** 
Текст задания: 
 

*** 
ссылка: https://www.weblancer.net/projects/html-verstka-32/ispravlenie-bagov-modifikatciya-sajta-1147415/
Начато: 2022-01-13 14:51:15
Подано заявок: 4
Теги: django,rest
______________


Задание: 
Верстка шаблона по макету (CMS DLE) 

*** 
Текст задания: 
1) шаблон под DLE, использовать все необходимые теги из документации 2) разбивка стилей на отдельные css файлы, css оптимизация (разбивка, critical css, минификация) (мобильные\десктопные\критикал и тд. (пример могу скинуть) заточить под webvitals
3) для значков не использовать font awesome, только спрайты или svg
4) оптимизация js ( минификация, оптимизировать доставку)
5) оптимизация внешних сервисов (реклама, слайдеры итп)
6) в html и css не использовать комментарии
7) в js комментировать, какой код за что отвечает (для личного ознакомления)
макет показываю лично каждому кто может реализовать по всем критериям выше описанными .
 

*** 
ссылка: https://www.weblancer.net/projects/html-verstka-32/verstka-shablona-po-maketu-cms-dle-1148922/
Начато: 2022-01-13 13:53:44
Подано заявок: 5
Теги: верстка шаблона,шаблон для dle,html,css,javascript,dle
______________


Задание: 
Сверстать несложный web-кошелек по готовому дизайн-проекту. 

*** 
Текст задания: 
Необходимо сверстать web-кошелек по готовому дизайн-проекту.  Всего 3 страницы и Pop Up,ы. Так же необходима адаптация под мобильную версию. Работа не сложная. Все подробности при личном общении. Передача макета выбранному исполнителю.
Срок до 26.01.22
 

*** 
ссылка: https://www.weblancer.net/projects/html-verstka-32/sverstat-neslozhnyj-web-koshelek-po-gotovomu-dizajn-proektu-1148900/
Начато: 2022-01-13 12:40:17
Подано заявок: 40
Теги: 
______________


Задание: 
Сделать анимацию слайдера 

*** 
Текст задания: 
Есть старая анимация слайдера на Flash, надо переделать ее на HTML (JS)
Вот ссылка на анимацию
Иногда браузер блокирует доступ к swf файлу вот ссылка на него же в архиве
Все тексты и картинки есть  отдельно. Справа там есть еще меню, его делать не надо, только слайдер с текстами
Пишите сразу цену и срок
 

*** 
ссылка: https://www.weblancer.net/projects/html-verstka-32/sdelat-animatciyu-slajdera-1148901/
Начато: 2022-01-13 12:32:07
Подано заявок: 0
Теги: html,flash,javascript
______________


Задание: 
Нужно сверстать  пару лендигов   на  тильда 

*** 
Текст задания: 
Крипто-проект,  который   позволит   продавать   свои   работы,   нужно сверстать лендинг на тильде,   максимум 5-7 блоков включая хедер и футер.
Срок до 02.12.2021.
Подробности  в ТЗ


 

*** 
ссылка: https://www.weblancer.net/projects/html-verstka-32/nuzhno-sverstat-paru-lendigov-na-tilyda-1142276/
Начато: 2022-01-12 22:26:36
Подано заявок: 21
Теги: tilda
______________


Задание: 
Вёрстка на вордпресс 

*** 
Текст задания: 
 

*** 
ссылка: https://www.weblancer.net/projects/html-verstka-32/vyorstka-na-vordpress-1148809/
Начато: 2022-01-12 20:26:26
Подано заявок: 18
Теги: дизайн сайта,wordpress,opencart
______________


Задание: 
Лендинг на вордпресс 

*** 
Текст задания: 
Нужно сверстать лендинг (12 блоков, минимум анимации) и натянуть на Wordpress. Макет в psd. Макет отправлю исполнителю.
Напишите в предложении стоимость.
Антибот: 14 + 26
 

*** 
ссылка: https://www.weblancer.net/projects/html-verstka-32/lending-na-vordpress-1148739/
Начато: 2022-01-12 15:07:16
Подано заявок: 40
Теги: wordpress
______________


Задание: 
SEO оптимизация по указанным пунктам в ТЗ, устранение ошибок верстки 

*** 
Текст задания: 
Нужно сделать оптимизацию по SEO:
Нелогичное использование тегов h2-h6Добавить недостающую информацию в файл robots.txtЗакрыть страницы пагинации и другие элементы в мета роботс noindex follow
Настроить редиректы на Главную, постраничные редиректыИсправить все некорректные коды страниц 2хх, 3хх, 4хх
Исправить скорость загрузки страниц для ПК и мобильнойИсправление ошибок валидацииСоздать микроразметки Schema.org и Open Graph
Исправить ошибки адаптивности сайта под мобильные устройстваСоздать 404 с корректным видом и откликом
Исправить ошибки вёрстки:Поправить работу Поиска, чтобы работал при неверной раскладкеДобавить кнопку мессенджера на страницу КонтактыПункт с видео нужно вынести к изображениям, чтобы сразу после пролистывания фото, можно было просматривать видео, сейчас блок с видеороликом теряется далеко внизу
Привести размеры карточек товаров в категориях к единому
Возможны задачи по переделыванию внешнего вида Каталога, склейке карточек товаров с одинаковым содержимым, создание сортировки, работы в админке для удобства распределения товаров по категориям.
Сайт на Модексе. Адрес
 

*** 
ссылка: https://www.weblancer.net/projects/html-verstka-32/seo-optimizatciya-po-ukazannym-punktam-v-tz-ustranenie-oshibok-verstki-1148700/
Начато: 2022-01-12 12:08:25
Подано заявок: 5
Теги: 
______________


Задание: 
Верстальщик Tilda 

*** 
Текст задания: 
 

*** 
ссылка: https://www.weblancer.net/projects/html-verstka-32/verstalyshik-tilda-1148467/
Начато: 2022-01-12 08:59:42
Подано заявок: 23
Теги: tilda
______________

Содержимое json

{
  "1149392": {
    "title": "Редактирование главной страницы через страницу администратора",
    "text": "Необxодимо добавть возможность редактирования главной страницы (несколько текстовыx блоков и изображения) через страницу администратора (доступна она, когда человек заxодит под логином и паролем администратора). Вся вёрстка готова, главное добавить функционал.\nРаботает на локальном xостинге.\nИспользуется mongodb для связи с базой\n",
    "link": "https://www.weblancer.net/projects/html-verstka-32/redaktirovanie-glavnoj-stranitcy-cherez-stranitcu-administratora-1149392/",
    "hash_tags": [
      "mongodb"
    ],
    "started_at": "2022-01-16T14:41:57",
    "requests": 3,
    "closed": false
  },
  "1149393": {
    "title": "Правка верстки",
    "text": "Необходимо добавить две иконки на сайт через css, возможно с использованием псевдоэлементов, так как иконки должны быть кликабельны. Сделать задачу - в течение суток.\nАдаптивно.\nДля десктопа и мобайла - 2 разных файла используются (хоя, думаю, это не сущственно).\nКакие файлы править - я скажу.\n",
    "link": "https://www.weblancer.net/projects/html-verstka-32/pravka-verstki-1149393/",
    "hash_tags": [
      "css"
    ],
    "started_at": "2022-01-16T14:40:18",
    "requests": 24,
    "closed": false
  },
  "1149363": {
    "title": "Необходимо сверстать блок на страницу",
    "text": "Есть макет (к сожалению psd нет) во вложении, качество изображения для верстки в оригинальном размере (больше чем во вложении здесь)\nНеобходимо его сверстать для встраивания на страницу в рабочий сайт (\n)\n",
    "link": "https://www.weblancer.net/projects/html-verstka-32/neobhodimo-sverstat-blok-na-stranitcu-1149363/",
    "hash_tags": [],
    "started_at": "2022-01-16T08:58:12",
    "requests": 25,
    "closed": false
  },
  "1149351": {
    "title": "Сайт-парсер цен с 5 разных источников. Размещение этих цен в столбец.",
    "text": "",
    "link": "https://www.weblancer.net/projects/html-verstka-32/sajt-parser-tcen-s-5-raznyh-istochnikov-razmeshenie-etih-tcen-v-stolbetc-1149351/",
    "hash_tags": [],
    "started_at": "2022-01-16T08:43:04",
    "requests": 0,
    "closed": true
  },
  "1149292": {
    "title": "Обновить бутстрап. Верстка",
    "text": "",
    "link": "https://www.weblancer.net/projects/html-verstka-32/obnovit-butstrap-verstka-1149292/",
    "hash_tags": [
      "bootstrap"
    ],
    "started_at": "2022-01-15T17:08:12",
    "requests": 11,
    "closed": false
  },
  "1149201": {
    "title": "Внести изменения в сайт",
    "text": "Мы хотим улучшить информативность, удобство и внешний вид сайта - это наша цель.\nРечь о таких правках:\n* замена баннера + установить формат слайдера, где мы можем ставить ряд баннеров на ротацию с задержкой;\n* замена основного фона и цвета шрифтов, в том числе и на внутренних страницах;\n* изменения в блоках на главной странице:  \"Наши специалисты\" убрать, видео убрать, часть блоков Киевской гомеопатической школы убрать. Оставшиеся крупные квадратные блоки скомпоновать вместе: гом лечение, другие виды терапии, Киевская гомеопатическая школа. Вместо текущего видео поставить другие видео-визитки. Отзывы опустить вниз, перед картой;\n* разделы и подразделы в шапке профиля перекомпоновать с другой логикой.\n* учитывая вышеизложенное, внести изменения во внутренних страницах.\n",
    "link": "https://www.weblancer.net/projects/html-verstka-32/vnesti-izmeneniya-v-sajt-1149201/",
    "hash_tags": [
      "правки на сайт"
    ],
    "started_at": "2022-01-14T23:12:21",
    "requests": 19,
    "closed": false
  },
  "1149133": {
    "title": "Верстка html письма",
    "text": "Необходимо сверстать письмо для html рассылки.\nКорректное отображения в популярный почтовых сервисах.\nПрикрепляйте примеры свёрстанных писем.\nУказывайте цену, сроки а так же телеграмм для связи.\n",
    "link": "https://www.weblancer.net/projects/html-verstka-32/verstka-html-pisyma-1149133/",
    "hash_tags": [
      "html"
    ],
    "started_at": "2022-01-14T15:28:19",
    "requests": 16,
    "closed": false
  },
  "1149001": {
    "title": "Верстка всех страниц сервиса",
    "text": "Добрый день!\nИщем исполнителя для верстки пользовательской части нового проекта.\nДизайн макет создан в фигме, 14 страниц, несколько форм, макет письма.\nТребования к верстке:\n- БЭМ\n- pug\n- gulp\n",
    "link": "https://www.weblancer.net/projects/html-verstka-32/verstka-vseh-stranitc-servisa-1149001/",
    "hash_tags": [
      "figma",
      "gulp",
      "бэм"
    ],
    "started_at": "2022-01-13T19:10:08",
    "requests": 0,
    "closed": true
  },
  "1148987": {
    "title": "Маркетплейс. Веб-дизайн + верска",
    "text": "Выбран вектор фирстиля и сверстана главная маркетплейса.\nИсходник есть в Figma.\nТребуется работа под ключ, с понятными сроками и бюджетом.\nВот в этом векторе нужно продолжить.\nНужно: за две недели по готовому четкому ТЗ сверстать 10-12 страниц.\nОдна лендинг-страница главная.\nНа ее основе пару поменьше лендингов.\nИ маркетплейс с админкой, с соответствующим функционалом, все остальные страницы строятся по сути на уже созданном примере.\nВсе описано в ТЗ, есть примеры.\nВыбрана тема на themeforest, в ней есть куча сэмплов разных блоков.\nСверстать нужно адаптивный дизайн.\nРазработчик работает на Laravel.\n",
    "link": "https://www.weblancer.net/projects/html-verstka-32/marketplejs-veb-dizajn-verska-1148987/",
    "hash_tags": [
      "laravel",
      "figma"
    ],
    "started_at": "2022-01-13T18:30:09",
    "requests": 11,
    "closed": false
  },
  "1148976": {
    "title": "Вёрстка сайта",
    "text": "",
    "link": "https://www.weblancer.net/projects/html-verstka-32/vyorstka-sajta-1148976/",
    "hash_tags": [],
    "started_at": "2022-01-13T17:14:24",
    "requests": 73,
    "closed": false
  },
  "1148930": {
    "title": "Сверстать несложный web-кошелек по готовому дизайн-проекту.",
    "text": "Необходимо сверстать web-кошелек по готовому дизайн-проекту. Всего 3 страницы и Pop Up,ы. Так же необходима адаптация под мобильную версию. Работа не сложная. Все подробности при личном общении. Передача макета выбранному исполнителю.\nСрок до 26.01.22\n",
    "link": "https://www.weblancer.net/projects/html-verstka-32/sverstat-neslozhnyj-web-koshelek-po-gotovomu-dizajn-proektu-1148930/",
    "hash_tags": [],
    "started_at": "2022-01-13T14:55:13",
    "requests": 26,
    "closed": false
  },
  "1147415": {
    "title": "Исправление багов/модификация сайта",
    "text": "",
    "link": "https://www.weblancer.net/projects/html-verstka-32/ispravlenie-bagov-modifikatciya-sajta-1147415/",
    "hash_tags": [
      "django",
      "rest"
    ],
    "started_at": "2022-01-13T14:51:15",
    "requests": 4,
    "closed": false
  },
  "1148922": {
    "title": "Верстка шаблона по макету (CMS DLE)",
    "text": "1) шаблон под DLE, использовать все необходимые теги из документации 2) разбивка стилей на отдельные css файлы, css оптимизация (разбивка, critical css, минификация) (мобильные\\десктопные\\критикал и тд. (пример могу скинуть) заточить под webvitals\n3) для значков не использовать font awesome, только спрайты или svg\n4) оптимизация js ( минификация, оптимизировать доставку)\n5) оптимизация внешних сервисов (реклама, слайдеры итп)\n6) в html и css не использовать комментарии\n7) в js комментировать, какой код за что отвечает (для личного ознакомления)\nмакет показываю лично каждому кто может реализовать по всем критериям выше описанными .\n",
    "link": "https://www.weblancer.net/projects/html-verstka-32/verstka-shablona-po-maketu-cms-dle-1148922/",
    "hash_tags": [
      "верстка шаблона",
      "шаблон для dle",
      "html",
      "css",
      "javascript",
      "dle"
    ],
    "started_at": "2022-01-13T13:53:44",
    "requests": 5,
    "closed": false
  },
  "1148900": {
    "title": "Сверстать несложный web-кошелек по готовому дизайн-проекту.",
    "text": "Необходимо сверстать web-кошелек по готовому дизайн-проекту.  Всего 3 страницы и Pop Up,ы. Так же необходима адаптация под мобильную версию. Работа не сложная. Все подробности при личном общении. Передача макета выбранному исполнителю.\nСрок до 26.01.22\n",
    "link": "https://www.weblancer.net/projects/html-verstka-32/sverstat-neslozhnyj-web-koshelek-po-gotovomu-dizajn-proektu-1148900/",
    "hash_tags": [],
    "started_at": "2022-01-13T12:40:17",
    "requests": 40,
    "closed": false
  },
  "1148901": {
    "title": "Сделать анимацию слайдера",
    "text": "Есть старая анимация слайдера на Flash, надо переделать ее на HTML (JS)\nВот ссылка на анимацию\nИногда браузер блокирует доступ к swf файлу вот ссылка на него же в архиве\nВсе тексты и картинки есть  отдельно. Справа там есть еще меню, его делать не надо, только слайдер с текстами\nПишите сразу цену и срок\n",
    "link": "https://www.weblancer.net/projects/html-verstka-32/sdelat-animatciyu-slajdera-1148901/",
    "hash_tags": [
      "html",
      "flash",
      "javascript"
    ],
    "started_at": "2022-01-13T12:32:07",
    "requests": 0,
    "closed": true
  },
  "1142276": {
    "title": "Нужно сверстать  пару лендигов   на  тильда",
    "text": "Крипто-проект,  который   позволит   продавать   свои   работы,   нужно сверстать лендинг на тильде,   максимум 5-7 блоков включая хедер и футер.\nСрок до 02.12.2021.\nПодробности  в ТЗ\n\n\n",
    "link": "https://www.weblancer.net/projects/html-verstka-32/nuzhno-sverstat-paru-lendigov-na-tilyda-1142276/",
    "hash_tags": [
      "tilda"
    ],
    "started_at": "2022-01-12T22:26:36",
    "requests": 21,
    "closed": false
  },
  "1148809": {
    "title": "Вёрстка на вордпресс",
    "text": "",
    "link": "https://www.weblancer.net/projects/html-verstka-32/vyorstka-na-vordpress-1148809/",
    "hash_tags": [
      "дизайн сайта",
      "wordpress",
      "opencart"
    ],
    "started_at": "2022-01-12T20:26:26",
    "requests": 18,
    "closed": false
  },
  "1148739": {
    "title": "Лендинг на вордпресс",
    "text": "Нужно сверстать лендинг (12 блоков, минимум анимации) и натянуть на Wordpress. Макет в psd. Макет отправлю исполнителю.\nНапишите в предложении стоимость.\nАнтибот: 14 + 26\n",
    "link": "https://www.weblancer.net/projects/html-verstka-32/lending-na-vordpress-1148739/",
    "hash_tags": [
      "wordpress"
    ],
    "started_at": "2022-01-12T15:07:16",
    "requests": 40,
    "closed": false
  },
  "1148700": {
    "title": "SEO оптимизация по указанным пунктам в ТЗ, устранение ошибок верстки",
    "text": "Нужно сделать оптимизацию по SEO:\nНелогичное использование тегов h2-h6Добавить недостающую информацию в файл robots.txtЗакрыть страницы пагинации и другие элементы в мета роботс noindex follow\nНастроить редиректы на Главную, постраничные редиректыИсправить все некорректные коды страниц 2хх, 3хх, 4хх\nИсправить скорость загрузки страниц для ПК и мобильнойИсправление ошибок валидацииСоздать микроразметки Schema.org и Open Graph\nИсправить ошибки адаптивности сайта под мобильные устройстваСоздать 404 с корректным видом и откликом\nИсправить ошибки вёрстки:Поправить работу Поиска, чтобы работал при неверной раскладкеДобавить кнопку мессенджера на страницу КонтактыПункт с видео нужно вынести к изображениям, чтобы сразу после пролистывания фото, можно было просматривать видео, сейчас блок с видеороликом теряется далеко внизу\nПривести размеры карточек товаров в категориях к единому\nВозможны задачи по переделыванию внешнего вида Каталога, склейке карточек товаров с одинаковым содержимым, создание сортировки, работы в админке для удобства распределения товаров по категориям.\nСайт на Модексе. Адрес\n",
    "link": "https://www.weblancer.net/projects/html-verstka-32/seo-optimizatciya-po-ukazannym-punktam-v-tz-ustranenie-oshibok-verstki-1148700/",
    "hash_tags": [],
    "started_at": "2022-01-12T12:08:25",
    "requests": 5,
    "closed": false
  },
  "1148467": {
    "title": "Верстальщик Tilda",
    "text": "",
    "link": "https://www.weblancer.net/projects/html-verstka-32/verstalyshik-tilda-1148467/",
    "hash_tags": [
      "tilda"
    ],
    "started_at": "2022-01-12T08:59:42",
    "requests": 23,
    "closed": false
  }
}

З.Ы. Я, на Вашем месте, добавил бы какую-нибудь оповещалку ну типа телеграм-бота, ну не будете-же вы сидет и "фтыкать" в монитор
З.З.Ы Я бы особо не надеялся на Last-Modified поскольку:

from requests import Session
import time
from dateutil.parser import parse

s = Session()
for _ in range(5):
    response = s.head(
        'https://www.weblancer.net/jobs/html-verstka-32/'
    )
    print(
        parse(response.headers.get('Last-Modified'))
    )
    time.sleep(5)
2022-01-16 15:21:35+00:00
2022-01-16 15:21:40+00:00
2022-01-16 15:21:45+00:00
2022-01-16 15:21:50+00:00
2022-01-16 15:21:55+00:00
1
  • Хорошо. Какие бы можно было предложить варианты вместо 'Last-Modified'
    – hubble
    20 янв в 9:44

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.