0

Начитавшись на Хабре цикл статей "Web scraping при помощи Node.js" сделал скрейпинг сайта ferra.ru, и захотел для эксперимента сделать приложение переводчик. Идея такая, ввожу слово на ENG, приложение на node.js пересылает его на translate.google.ru, вывожу в консоли результат - слово на русском языке. Строка запроса (перевожу на русский слово Speed).

Сначала проверил в браузере, делаю F12 на странице, ага, есть <span class="tlid-translation .."> в него вложен <span class="title .."> в котором собственно перевод. По началу воодушевился, мол сейчас на cheerio распарсю полученную страницу и готов переводчик ;-) наивный ;-)

По факту мой запрос возвращает только пустую стартовую страницу переводчика translate.google.ru даже без полей ввода информации.

Так же в браузере посмотрел что происходит при вводе ссылки

  1. собственно загружаются translate.google.ru (и он возвращает cookie)
  2. далее многочисленные скрипты и ресурсы
  3. где-то на середине загрузки, пролетает GET запрос с моим словом "speed": https://translate.google.ru/translate_a/single?client=webapp&sl=en&tl=ru&hl=ru&dt=at&dt=bd&dt=ex&dt=ld&dt=md&dt=qca&dt=rw&dt=rm&dt=ss&dt=t&source=bh&ssel=0&tsel=0&kc=1&tk=747203.915042&q=speed
  4. В ответ который возвращается массив в котором содержится и начальное слово и его перевод: [[["скорость", "Speed", null, null, 0] - поймав этот ответ можно было бы остановится

Я конечно сам буду думать как решить задачу, но хотел бы от сообщества получить наставления в какую сторону думать (в последнюю очередь, использовать Яндекс API для яндекс.переводчика ;-) )

С уважением, Герасим.

1 ответ 1

0

Помаявшись с HTTP запросами, я уткнулся в нерешаемую тему подсчёта HASH . Поэтому пошёл по пути эмуляции браузера, воспользовавшись Nightmare Вот черновой исходник, из командной строки беру одно английское слово для перевода на русский язык, запускается браузер Electron, на полученной странице нахожу элементы содержащие перевод, извлекаю из них перевод, показываю в консоли ответ.

const Nightmare = require('nightmare')
const nightmare = Nightmare({ show: false })

    let engWord = process.argv[2];//беру слово для перевода
    //формирую строку запроса (если потребуется перевести несколько слов, то в запросе они разделены пробелами)
    var URL=`https://translate.google.ru/#view=home&op=translate&sl=en&tl=ru&text=${engWord}`;
    console.log(URL);//контроль полученного пути
    /*это пример какие элементы я буду искать на странице
    <span class="tlid-translation translation"> 
      <span title="">скорость</span> 
    ответ содержится в span`aх вложенных в span с class="tlid-translation 
    */
            nightmare
              .goto(URL)
              .evaluate(() => {
                  /*выбираю span`ы вложенные в span c классом tlid-translation*/
                  let elements = document.querySelector('.tlid-translation').childNodes
                  let i = elements.length
                  let a = []
                  while (i--) {
                    /*собираю ответы в массив.. в обратном порядке ;-)*/
                    a.push(elements[i].innerHTML)
                  }
                  return a
                })
              .end()
              .then(result=> {
                  console.log(result)//перевод
                })
              .catch(error => {
                console.error('Search failed:', error)
              })

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.