2

Хочу написать небольшой проект, который собирает данные стоимости медицинских анализов с сайтов разных клиник.

Есть ли реализация такой штуки? Например, на сервере стоит, возможно, служба или приложение, которое раз в день опрашивает сайты и записывает данные в базу. Клиент же получает данные из этой базы.

Как обычно реализуются такие проекты? Как мне действовать и в какую сторону копать? Как мне раз в день парсить страницы с ценами и актуализировать базу? Мне нужно написать приложение на сервере, которое грубо говоря висит в треи и запускается раз в день и парсит сайты?

3

1 ответ 1

11
+50

Агрегатор (в вашем случае - агрегатор цен), создается, если у опрашиваемых сайтов есть REST API или RSS.

В случае, когда опрашиваемый сайт не поддерживает указанных технологий, можно сделать следующий трюк:

Найти на сайте страницу с ценами, сохранить ее URL, открыть ее в браузере в режиме разработчика, найти тег, содержащий цену, получить его id, если он есть. Иначе, смотрим в браузере цепочку вложенности тегов, ведущую к нужному вам тегу, сохраняем ее (желательно сохранять id, или тег вместе с class). После подготовительных работ используем класс HttpClient для скачивания страницы с ценами, затем парсим ее либой CsQuery.

Однако такой подход крайне не универсален: Вам придётся по-разному обрабатывать каждый сайт и обновлять свой код, если структура страницы с ценами изменится.

5
  • Строго говоря, можно парсить страницы и искать по ключевым словам ещё, но с этим и у поисковиков проблемы, ТС точно не потянет.
    – Risto
    21 мар 2016 в 22:16
  • Если цены искать по тегам, то при смене цен или добавлении новых услуг, вряд ли придется переписывать признаки поиска
    – gil9red
    22 мар 2016 в 12:00
  • Нет это я все понимаю, получается у меня на сервере стоит служба , которая парсит со страниц цены и обновляет базу?
    – shatoidil
    22 мар 2016 в 19:19
  • ну конечно не при каждом запросе нужно парсить, а время от времени)
    – user205867
    22 мар 2016 в 19:24
  • Разумеется, тут нужна отдельная служба. Еще есть вариант - задание для виндового планировщика. 23 мар 2016 в 6:54

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.