-11

Добрый день. Суть моей задачи:

  1. есть некий ресурс, с которого необходимо скачивать over 20 тыс. файлов за сутки
  2. есть прокси на 10 IP
  3. с 10 IP я могу скачать 600-700 файлов (в зависимости от размера) за 25-30 минут (файлы по 100-500 Кб)
  4. через эти самые 25-30 минут все 10 IP банятся на 1 час

Как итог:

  1. за сутки я могу выкачать около 12 тыс. файлов
  2. существует вероятность, что могут забанить не на 1 час, а более, или много более

Суть вопроса к сообществу:

  • как можно программно шифровать свой IP?
  • есть ли какое-нибудь программное решение (библиотека, ресурс)?
  • можно ли для моих целей использовать, например, 10 модемов (у них вроде IP динамический выдается АТС), раз в 10 минут программно их переподключать, чтобы получать новый IP?
  • можно как-то заюзать в моих целях браузер Opera(у них есть встроенный VPN)? Есть ли какие-нибудь библиотеки, для использования вместо стандартного WebBrowser компонента на основе оперы? И если есть такой компонент, то можно ли в нем заюзать программно VPN?

P.S: прикупить подсеть на штук 200 IP и юзать их, как прокси, не вариант - текущие 10 не особо охотно дали, а про 200 и говорить смысла нет. И, даже если и будет такая подсеть, то всегда будет вероятность, что все 200 IP будут со временем забанены и подсеть можно будет выкинуть

Использую для работы VS10 C#

7
  • может проще обратиться к разработчикам ресурса с просьбой предоставить api?
    – Grundy
    7 дек 2016 в 8:56
  • @Grundy пробовали, это было первой мыслью, чтобы напрямую без костылей, но у них нет API, или не хотят делиться
    – Artem
    7 дек 2016 в 9:00
  • Так а разработчики что ответили? или обращения не было?
    – Grundy
    7 дек 2016 в 9:20
  • @Grundy Ответили, что API нет у них, и что нефиг скачивать все подряд, тогда и банить не будут. Но, к сожалению, начальство просит качать все, а не только то, что нужно - мало ли пригодится.
    – Artem
    7 дек 2016 в 9:24
  • 7
    @Sky, соболезную. Крайне рекомендую в таких случаях зафиксировать письменно (в email переписке обычно), ваше мнение что это крайне хреновая идея. Чтобы потом когда начнут разбирать полеты "почему все так плохо" было что предъявить. 7 дек 2016 в 10:17

1 ответ 1

2
  1. Нет. Это "обратный адрес". Если вы хотите получить ответ, вы вынуждены использовать какой-нибудь адрес, ответы на который вы можете каким-то образом получить (напрямую или проксируя).
  2. Есть, и много, в основном оформлены в виде проксей с какими-то стандартными для прокси интерфейсами. Но стоят денег в зависимости от требований к скорости получения данных (косвенно, это может быть число проксей, объём скачанных данных или число запросов в месяц).
  3. Теоретически, до момента, пока провайдер не получит жалобу, не отследит её до вас и не приостановит оказание вам услуг связи. Это при условии, что на том конце попросту не забанят всю подсеть, что вообще-то опасно для общедоступных сервисов, но в крайних случаях бывает и такое.
  4. См. п. 3, + он медленный.
2
  • Спасибо за подробный ответ! По поводу п. 4 - в опере vpn предоставляется самой оперой же, как тогда могут забанить? Да и вопрос скорости при скачивании файлов размером преимущественно 100к не столь важен, если, конечно, 1 такой файл не будет секунд 5 качаться. Не подскажете, где можно посмотреть какие-нибудь библиотеки/компоненты для работы с оперой? На блогах оперы не нашел упоминаний какого-нибудь API для работы из .net.
    – Artem
    7 дек 2016 в 13:05
  • @Sky 4. Так VPN же тоже адреса не из ниоткуда берёт. IP-адреса Оперы и забанят. С Оперой можно работать через Selenium, например.
    – user181100
    7 дек 2016 в 13:08

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.