Доброго времени суток.
Столкнулся с такой проблемой: некоторые сайты парсятся адекватно - текст из формочек достается в читабельной кодировке, а некоторые - нет.
Сначала грешил на UTF-8 на сайте, но ведь Go искаропки только с UTF-8 и работает по-дефолту
Получаю странику таким кодом:
func FetchHTML(url string) (string, bool){
page := ""
resp, HttpErr := http.Get(url)
if HttpErr != nil {
err := HTTPError{url, "", HttpErr.Error()}
fmt.Println(err.Error())
return "", false
}
defer resp.Body.Close()
body, IoErr := ioutil.ReadAll(resp.Body)
if IoErr != nil {
fmt.Println("IO error: ", IoErr.Error())
return "", false
}
fmt.Println(body)
page = string(body)
fetched = true
return page, true
}
Примеры:
Например, спарсим цитату из любимого всеми ithappens.
Передаю парсеру страничку по адресу http://ithappens.me/story/623
Получаем:
#623
КПД 100%
26 февраля 2009, 11:00
Приятель-программист поделился историей: написал для внутреннего пользования бенчмарк — в шестнадцати потоках перемножаются здоровенные матрицы. Все скомилировалось, запустилось и заработало, причем не просто быстро, а слишком быстро.
Матрицы перемножались мгновенно!
После разбора причин происходящего выяснилось, что тестовые матрицы представляли из себя массивы нулей. Умный интеловский компилято решил не загружать процессор перемножением и сложением нулей и оптимизировал код таким образом, чтобы сразу заполнить матрицы необходимого размера нулями.
Rating: 1866
Tags: чудеса техники, программы
Теперь пытаемся сделать то же самое, например, с http://bash.im/quote/435048
Получаем:
#435048
2015-08-06 12:13
���: �� �������� ���� �������� ������, ��������� 15 ��� ������
���: ����� �������: ����, �� �� �����, �� ��� �� ������
���: �� ���, �� � ����. ��� � �� �����, � ����� ������� ����.
���: ���� �������, � ��� ��� ����� ��� ������ �����, �������� ������������ �� ������ ��������� ����� ������ ������
���: �� � � ������� �������, �������� - ���� �������������, ���������. �������������. ������: ���� �����, 158, 161, 162 (�����, ������, ������), ��������� ��� ��� �� �������� - ���� ����� ������� �� ������ �� ����������. (�� ����� ���� - �����, ����� ����� �� ���� � ������ ������ ������). �, ������, ���������, �� ��� ��� � �� �������.
���: ��� ��������, ��������
���: � ��� �������, ��� �� ��� ������.
���: ��������� ���������. ��������� �� ���������, �� 4 �����, ������� � ���� - ������ ������. ���� ������� �� �����, ������������ ������ - ����� ��� � �������� �����. ���, ��, ����� ����, ����� ����... ���� ����, ��� ���� �������� � ���� �����, ��� ��� � � ����� ����� ���� ����� ����� ��. � ������: ��-�������, ���� �������� �������.
���: ����!!! � � ���� ��������, �� ������� ������, �� �������!!!
Rating:
Заметил, что в то время как байты текста с ithappens имеют значение 1??, байты текста bash.im переваливают в значениях за 200. В чем может быть проблема и как ее решить?