0

Суть вопроса следующая. я пишу сайт - парсер других сайтов с вакансиями на пайтоне, Django. и мне нужно чтобы при выборе пользователем города и поискового запроса автоматически формировался URL для парсинга. Например, он хочет найти вакансии в москве по запросу python. адрес будет следующим: https://....ru/.../vacancy?area=1&text=python area=1 на данном сайте означает поиск по Москве Так вот я прошу совета, как все это сделать, чтобы вручную не заходить на каждый сайт и в каждый город, может где-то на сайте можно найти эти данные? и как их лучше хранить? я предполагаю, что в словаре:

Moscow = {"..1..ru/": "area=1", "..2..ru/": "city_id=678"}

или может быть создать отдельную таблицу в БД?

P.S. я новичок в этом, не судите строго

3
  • "Может где-то на сайте можно найти эти данные?" —, может. Но как мы узнаем, если Вы не привели ссылку на сайт? Сами данные я бы хранил в БД, но если её нет, то пойдёт и словарь.
    – nomnoms12
    30 янв 2021 в 14:33
  • @nomnoms12 планируется несколько сайтов, мне бы узнать алгоритм поиска. например, пусть будет hh.ru. куда вообще лезть? 30 янв 2021 в 21:30
  • Лезть в HTML-код страницы. Конкретно у hh.ru в расширенной форме поиска каждому чекбоксу присвоено значение. Оно записано и в теге input (в атрибуте value) и в div'е выше (атрибут data-id). Всё зависит от реализации конкретного сайта.
    – nomnoms12
    31 янв 2021 в 12:49

1 ответ 1

0

Я думаю алгоритм в твоем случае такой - открываешь расширенную форму поиска, открываешь логи браузера и смотришь куда он в итоге лезет при поиске, при выборе дополнительных параметров.

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.