Я пытаюсь заскрапить сайт, на котором есть капча, пример страницы. Я обнаружил, что при использовании Selenium Chromedriver капчу нужно вводить только один раз, и после этого я могу загружать страницы столько, сколько потребуется, не получая капчу. Но скрапинг с помощью Selenium происходит очень медленно и в целом неудобен, поэтому я попробовал другой подход. Я загружаю любую страницу в селениуме только один раз, ввожу капчу и сохраняю куки хрома , используя
Set<Cookie> cookies = chromeDriver.manage().getCookies();
Далее, этого я передаю эти cookie в свой метод построения запросов.
private Request buildRequest(String url, Set<Cookie> cookies) {
Iterator<Cookie> iterator = cookies.iterator();
StringBuilder cookieSb = new StringBuilder();
while (iterator.hasNext()) {
Cookie cookie = iterator.next();
cookieSb.append(cookie.getName() + "=" + cookie.getValue() + "; ");
}
String cookie = cookieSb.toString();
cookie = cookie.substring(0, cookie.length() - 2);
return new Request.Builder()
.url(url)
.header("User-Agent", "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.183 Safari/537.36")
.header("Cookie", cookie)
.build();
}
И выполняю запрос с помощью okHttp3Client:
private Response getResponse(Request request) throws IOException {
return client.newCall(request).execute();
}
Если cookie пустые или с ошибками, на такой запрос выдается немедленный ответ c капчей, поэтому можно сказать, что этот метод работает в какой-то степени и в ответ на валидные куки приходит необходимый ответ. Но после выполнения некоторого количества запросов я снова получаю капчу, и если я перезагружу страницу в chromedriver, там также будет капча. Я не смог обнаружить закономерность, по которой отдается капча, всегда разное количество запросов и время от первого до последнего. Я пробовал установить таймауты между запросами, не помогает. Я также пробовал различные комбинации хедеров помимо cookie в запросе. Я пробовал хранить 100 валидных cookie из разных окон Chrome и итерироваться по ним, все они достаточно быстро получают капчу.
Я что-то упускаю? Есть ли способ улучшить мой объект запроса, чтобы я всегда получал ответ без капчи, как это происходит с использованием селениума?