0

Изучая Go, придумал себе задачу. Есть некий URL вида https://host/id. На некоторых айдишниках есть контент, на некоторых возвращает сообщение о том, что нет ничего по такому айдишнику. Задача: чтобы не перебирать вручную, пишу программу, которая будет смотреть содержимое страницы и если там что-то есть, сохранять URL. Янаписал функцию такого вида

var id int = 104500 // начинаю с этого айди

func checkUrl(host string, id int, wg *sync.WaitGroup) {
   for i := 0; i < 500; i++ { // функция переберёт 500 разных айди
     postId := id
     resp, err := http.Get(host + strconv.Itoa(postId)) // стучусь по урлу
     if err != nil {
       fmt.Println(err)
     }
     defer resp.Body.Close()

     body, err := ioutil.ReadAll(resp.Body) // читаю содержимое
     if err != nil {
       fmt.Println(err)
     }
     res := string(body) // сохраняю в строку
     scan := bufio.NewScanner(strings.NewReader(res))
     for scan.Scan() {
       line := scan.Text()
       if strings.Index(line, "<meta name=\"twitter") >= 0 { // если нахожу такую строчку, то
         fmt.Println(host + strconv.Itoa(postId)) // вывожу в консоль полный адрес
         break
       }
     }
     id++
   }
   wg.Done()
}

func main() {
  var wg sync.WaitGroup
   for i := 0; i < 5; i++ { // запускаю 5 горутин
     wg.Add(1)
     go checkUrl(host, id, &wg)
   }
  wg.Wait()
}

В таком варианте запускается 5 горутин, но всё равно всё идёт медленно и он просто по 5 раз проверяет один и тот же урл. Я пробовал использовать мьютексы, пробовал каналы, но в этом случае возникали race conditions и вместо рабочего урла с айди 104543 в консоль выводился, например, 104550. Я здаюсь. 4 дня не могу понять, как решить такую задачу. Помогите советом.

2
  • Опишите задачу по подробней. Как я понял, вам надо пройтись по 500 url и вы хотите параллельно это делать? 13 авг 2019 в 9:17
  • @ЕвгенийГаврилов Ну в общем да. Я хочу, чтобы одна горутина проходила 500 урлов. Но таких горутин я хочу запустить, например, 10. Итого будет 5000 урлов пройдено. А получается, что когда пускал через каналы или через мьютексы пытался лочить, то он при выводе пропускает нужный урл. И чем больше горутин запущено, тем сильнее эта "погрешность". Я пытался с флагом --race это подебажить, он говорит, что есть race conditions, но я вообще не врубился как это вылечить. 13 авг 2019 в 10:05

1 ответ 1

0

Проблема в то, что Вы в каждую горутину передаете один и тот же начальный идентификатор, Вам нужно для каждой горутины высчитать идентификатор и передать его в функцию. Мой пример "прогулки" по урлам, я его не тестировал, так набросал:

package main

import (
    "bufio"
    "fmt"
    "io/ioutil"
    "net/http"
    "strconv"
    "strings"
    "sync"
)

type Options struct {
    // FirstID первоначальный идентификатор
    FirstID int
    // CountStream кол-во потоков
    CountStream int
    // CountIDForStream кол-во id в каждом потоке
    CountIDForStream int
    // BaseURL базовый url
    BaseURL string
}

type Parser struct {
    opt Options
}

func NewParser(opt Options) *Parser {
    return &Parser{
        opt: opt,
    }
}

func (p *Parser) Run() {
    wg := sync.WaitGroup{}
    for i := 0; i < p.opt.CountStream; i++ {
        // Вычисляем первый идентификатор для каждой горутины
        firstID := p.opt.FirstID + (i * p.opt.CountIDForStream)
        go func() {
            wg.Add(1)
            err := p.walk(firstID)
            if err != nil {
                panic(err)
            }
            wg.Done()
        }()
    }
    wg.Wait()
}

func (p *Parser) walk(firstID int) error {
    for i := 0; i < p.opt.CountIDForStream; i++ {
        id := firstID + i
        url := p.opt.BaseURL + strconv.Itoa(id)
        err := p.checkUrl(url)
        if err != nil {
            return err
        }
    }

    return nil
}

func (p *Parser) checkUrl(url string) error {
    resp, err := http.Get(url) // стучусь по урлу
    if err != nil {
        return err
    }
    defer resp.Body.Close()

    body, err := ioutil.ReadAll(resp.Body) // читаю содержимое
    if err != nil {
        return err
    }
    res := string(body) // сохраняю в строку
    scan := bufio.NewScanner(strings.NewReader(res))
    for scan.Scan() {
        line := scan.Text()
        if strings.Index(line, "<meta name=\"twitter") >= 0 { // если нахожу такую строчку, то
            fmt.Println(url) // вывожу в консоль полный адрес
            break
        }
    }
    return nil
}

func main() {
    p := NewParser(Options{
        FirstID:          104500,
        CountStream:      5,
        BaseURL:          "http://test.ru/",
        CountIDForStream: 500,
    })
    p.Run()
}

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.