Изучая Go, придумал себе задачу. Есть некий URL вида https://host/id. На некоторых айдишниках есть контент, на некоторых возвращает сообщение о том, что нет ничего по такому айдишнику. Задача: чтобы не перебирать вручную, пишу программу, которая будет смотреть содержимое страницы и если там что-то есть, сохранять URL. Янаписал функцию такого вида
var id int = 104500 // начинаю с этого айди
func checkUrl(host string, id int, wg *sync.WaitGroup) {
for i := 0; i < 500; i++ { // функция переберёт 500 разных айди
postId := id
resp, err := http.Get(host + strconv.Itoa(postId)) // стучусь по урлу
if err != nil {
fmt.Println(err)
}
defer resp.Body.Close()
body, err := ioutil.ReadAll(resp.Body) // читаю содержимое
if err != nil {
fmt.Println(err)
}
res := string(body) // сохраняю в строку
scan := bufio.NewScanner(strings.NewReader(res))
for scan.Scan() {
line := scan.Text()
if strings.Index(line, "<meta name=\"twitter") >= 0 { // если нахожу такую строчку, то
fmt.Println(host + strconv.Itoa(postId)) // вывожу в консоль полный адрес
break
}
}
id++
}
wg.Done()
}
func main() {
var wg sync.WaitGroup
for i := 0; i < 5; i++ { // запускаю 5 горутин
wg.Add(1)
go checkUrl(host, id, &wg)
}
wg.Wait()
}
В таком варианте запускается 5 горутин, но всё равно всё идёт медленно и он просто по 5 раз проверяет один и тот же урл. Я пробовал использовать мьютексы, пробовал каналы, но в этом случае возникали race conditions и вместо рабочего урла с айди 104543 в консоль выводился, например, 104550. Я здаюсь. 4 дня не могу понять, как решить такую задачу. Помогите советом.
--race
это подебажить, он говорит, что есть race conditions, но я вообще не врубился как это вылечить.