Как обычно скажу что возможно подобные темы есть. Но я и не нашел, либо гуглил плохо. Все что нашел испробовал, но мне нужно конкретные подсказки или помощь именно для меня.
Мне нужно оптимизировать вывод страницы, её обработку (например найти слова и записать количество или взять данные со страницы).
Но страница очень большая скрин:
Я не знаю, возможно для кого то она маленькая, я её обрабатываю за 2 секунды, бывает за 5, или за 10. Но можно ли быстрее? И вообще оптимизировать вывод, и обработку. В дальнейшим я хочу сделать многопоточный режим, т.е парсить несколько сайтов. Но они так-же большие. И не могу понять как мне быстро обрабатывать страницу, или как то получать более малый ответ но данных будет меньше и не смогу все спарсить.
Сейчас у меня есть List<string>
конкретных слов, я проверяю количество этих слов на данной странице. И как я понимаю такая страница у меня хранится в памяти программы если я записываю её в string.
Вот код: Консольное приложение. Главный класс Program вызывает конструктор ServiesCheck который принимает настройки (В виде коллекции классов 1 класс - настройка).
new ServiesCheck(settingslist);
Конструктор ServiesCheck
перебирает настройки (ссылки) и вызывает метод
В конструкторе вызываю метод: ControlSettingsServies()
private bool ControllSettingsServies(ServiesSettings setting, CookieContainer containerCookies)
{
if (setting.oneChecked)
{
var onecheckerservies = OneCheckServies(setting.settingsCheck, containerCookies, setting.linkServis);
if (onecheckerservies.isValid)
{
Console.WriteLine("Нашел");
return true;
}
else
{
Console.WriteLine("Не нашел");
return false;
}
}
return false;
}
В методе вызываю OneCheckServies(принимает мои заготовленные куки, настройки по которым я буду обрабатывать вывод, и ссылку по которой нужно перейти)
private (bool isValid, int[] countSearch, string ResHtml) OneCheckServies(ServiesSettingCheck settingsCheck, CookieContainer containercookies, string link)s
{
var startTime = System.Diagnostics.Stopwatch.StartNew();
HttpWebRequest request = (HttpWebRequest)HttpWebRequest.Create(link);
request.CookieContainer = containercookies;
request.AutomaticDecompression = DecompressionMethods.GZip;
//request.Proxy = null;
HttpWebResponse response = (HttpWebResponse)request.GetResponse();
String setCookieHeader = response.Headers[HttpResponseHeader.SetCookie];
bool isSerach = false;
string responceTextHtml = "";
int[] countSerchList = new int[settingsCheck.worldSerach.Count];
using (Stream stream = response.GetResponseStream())
{
using (StreamReader reader = new StreamReader(stream))
{
string line = "";
while ((line = reader.ReadLine()) != null) {
responceTextHtml += line + "\n";
foreach (string worldS in settingsCheck.worldSerach) {
if (countSerchList[settingsCheck.worldSerach.IndexOf(worldS)] <= settingsCheck.closeFoundNum) {
if (line.Contains(worldS)) {
countSerchList[settingsCheck.worldSerach.IndexOf(worldS)] += 1;
}
}
}
}
}
}
for (int i = 0; i < countSerchList.Length; i++) {
if (countSerchList[i] > settingsCheck.closeFoundNum) {
isSerach = true;
}else {
isSerach = false;
break;
}
}
startTime.Stop();
var resultTime = startTime.Elapsed;
Console.WriteLine(String.Format("{0:00}:{1:00}:{2:00}.{3:000}",
resultTime.Hours,
resultTime.Minutes,
resultTime.Seconds,
resultTime.Milliseconds));
var result = (isSerach, countSerchList, responceTextHtml);
response.Close();
return result;
}
Код возможно для вас ужасный но по другому не могу, и не знаю.
- Как оптимизировать вывод?
- Как оптимизировать поиск?
- И оптимизация памяти если нужно. Или это придельная скорость (от 2 до 10 секунд)?
В дальнейшем мне нужно использовать эту найденную страницу для дальнейших манипуляций.
HttpWebRequest
буду использоватьHttpClient
, он асинхронный. Для парсинга вполне сгодитсяHtmlAgilityPack
, я удивлен, что вы его не используете, там делов 1 цикл и 3 строки кода.