0

Я пытаюсь решить это задание:

а) Перейдите по ссылке https://datatables.net/, введя «datatables» в поиске Google и нажав на правильный результат.
б) Вы найдете пример таблицы с некоторыми данными. Извлеките данные из таблицы в массив. В массиве у вас будут объекты. Объект будет строкой из таблицы. Свойства объекта будут данными из каждого столбца таблицы.
c) Пожалуйста, экспортируйте массив как CSV.

Поскольку я никогда не работала с nightmare.js, я погуглила и нашла именно то, что мне нужно https://github.com/XanderGriff/webscraping-with-nightmare/blob/master/main.mjs , но в начале этот код не работал, и я немного изменила его, но все равно есть ошибка.
Вот измененный код:

// Package Definitions
    var csvWriter = require('csv-write-stream');
    var fs = require('fs');
    var Nightmare = require('nightmare');


    // Constant Definitions
    const GOOGLE = 'https://www.google.com';
    const QUERY = 'datatables';
    const SEARCHBAR = 'form[action*="/search"] [name=q]';
    const SEARCHBUTTON = 'form[action*="/search"] [type=submit]';
    const SEARCH_RESULT_ID = 'h3.r > a';
    const DATATABLES_LINK = 'https://datatables.net/';
    const DATATABLES_SIZE_SELECTOR = 'select[name="example_length"]';
    const DATATABLES_DATA_SELECTOR = 'table#example tr';

    (async ()=>{
        let nightmare;
        try {
        nightmare = Nightmare({ show: true });
        await nightmare
            // Navigate to Google
            .goto(GOOGLE)
            .type(SEARCHBAR, QUERY)
            .click(SEARCHBUTTON)
            .wait(SEARCH_RESULT_ID)
            await nightmare.evaluate( (SEARCH_RESULT_ID, 

    DATATABLES_LINK) => {
    // filter results based on css selectors to choose link with 
    proper url
    // indexed at 0 to access element from single-element array 
    produced in above instruction

    (Array.from(document.querySelectorAll(SEARCH_RESULT_ID))).filter(a 
    => a.href === DATATABLES_LINK)[0].click();
                    }, SEARCH_RESULT_ID, DATATABLES_LINK)

            // Adjust datatable to show all entries
                await nightmare
                    .wait(DATATABLES_SIZE_SELECTOR)
                    .select(DATATABLES_SIZE_SELECTOR, 100);

            // Retrieve values from datatable
            await nightmare.evaluate( (DATATABLES_DATA_SELECTOR) => {
                let table_rows = 
    Array.from(document.querySelectorAll(DATATABLES_DATA_SELECTOR));
    // delineate between keys and vals from retrieved table data
                let table_keys_row = 
    Array.from((table_rows[0]).querySelectorAll('th')).map(e => 
    e.innerHTML); //array of strings
                let table_data_rows = table_rows.slice(1,58); //array 
    of arrays of HTML elements

                let array_of_row_objects = [];
                let row_object = {};
                let formatted_values = [];

                table_data_rows.forEach( row => {
                // grab innerHTML from each element in the row
                    formatted_values = 
    Array.from(row.querySelectorAll('td')).map(e => e.innerHTML);

    // place each of the element values in an object with each value 
    associated with its respective key 
                    row_object = {};
                    for(i = 0; i < table_keys_row.length; i++) {
                        row_object[table_keys_row[i]] = 
    formatted_values[i];
                    }

                    array_of_row_objects.push(row_object);
                })

                    return array_of_row_objects;
                }, DATATABLES_DATA_SELECTOR)

                // Write to CSV
                writer.pipe(fs.createWriteStream('output.csv'));
                result.forEach( obj => {
                    writer.write(obj);
                });
                writer.end();

                console.log("Wrote values to CSV...")
            } catch (error) {
                console.error(error);
                throw error;
            } finally {
                await nightmare.end();
            }
    })();

Я запускаю код с DEBUG=nightmare и получаю следующее:

 nightmare queuing process start +0ms
  nightmare queueing action "goto" for https://www.google.com +3ms
  nightmare queueing action "type" +0ms
  nightmare queueing action "click" +0ms
  nightmare queueing action "wait" +0ms
  nightmare running +1ms
  nightmare queueing action "evaluate" +5s
  nightmare running +1ms
{ TypeError: Cannot read property 'click' of undefined
    at fn (<anonymous>:8:106)
    at javascript (<anonymous>:23:21)
    at <anonymous>:38:3
    at EventEmitter.electron.ipcRenderer.on (/home/anna/automation/node_modules/electron/dist/resources/electron.asar/renderer/web-frame-init.js:36:30)
    at emitMany (events.js:147:13)
    at EventEmitter.emit (events.js:224:7) code: -1 }
  nightmare running +12ms
  nightmare electron child process exited with code 0: success! +55ms
(node:10610) UnhandledPromiseRejectionWarning: TypeError: Cannot read property 'click' of undefined
    at fn (<anonymous>:8:106)
    at javascript (<anonymous>:23:21)
    at <anonymous>:38:3
    at EventEmitter.electron.ipcRenderer.on (/home/anna/automation/node_modules/electron/dist/resources/electron.asar/renderer/web-frame-init.js:36:30)
    at emitMany (events.js:147:13)
    at EventEmitter.emit (events.js:224:7)
(node:10610) UnhandledPromiseRejectionWarning: Unhandled promise rejection. This error originated either by throwing inside of an async function without a catch block, or by rejecting a promise which was not handled with .catch(). (rejection id: 1)
(node:10610) [DEP0018] DeprecationWarning: Unhandled promise rejections are deprecated. In the future, promise rejections that are not handled will terminate the Node.js process with a non-zero exit code.

Не понимаю как исправить ошибку с click() в силу своей неопытности с nightmare.js, помогите, пожалуйста.

2
  • В такой ситуации console.log на каждом из этапов.
    – user256824
    17 авг 2019 в 3:11
  • Уже сделала, проблема была в (Array.from(document.querySelectorAll(SEARCH_RESULT_ID))).filter(a => a.href === DATATABLES_LINK)[0].click(); }, SEARCH_RESULT_ID, DATATABLES_LINK) Пришлось на прямую задать ссылку, которую нужно нажать: var link = document.querySelector(".r a"); link.click();
    – Anna
    17 авг 2019 в 3:17

1 ответ 1

0
var csvWriter = require('csv-write-stream');
var writer = csvWriter();
var fs = require('fs');
var Nightmare = require('nightmare');

(async () => {
    let nightmare;
    try {
    nightmare = Nightmare({ show: true });
    await nightmare
        .goto('https://www.google.com')
        .type('form[action*="/search"] [name=q]', 'datatables')
        .click('form[action*="/search"] [type=submit]')
        .wait(2500)
        await nightmare.evaluate( () => {
            var link = document.querySelector(".r a");
            link.click();
        })
        await nightmare
            .wait('select[name="example_length"]')
            .select('select[name="example_length"]', 100);

        await nightmare.evaluate( () => {
            let tableRows = Array.from(document.querySelectorAll('table#example tr'));
            let tableKeysRow = Array.from((tableRows[0]).querySelectorAll('th')).map(e => e.innerHTML); 
            let tableDataRows = tableRows.slice(1,58); 
            let arrayOfRowObjects = [];
            let rowObject = {};
            let formattedValues = [];

            tableDataRows.forEach( row => {
                formattedValues = Array.from(row.querySelectorAll('td')).map(e => e.innerHTML);
                rowObject = {};
                for(i = 0; i < tableKeysRow.length; i++) {
                    rowObject[tableKeysRow[i]] = formattedValues[i];
                }

                arrayOfRowObjects.push(rowObject);
            })

                return arrayOfRowObjects;
            })
            .then( result => {
                writer.pipe(fs.createWriteStream('outputData.csv'));
                result.forEach( obj => {
                    writer.write(obj);
                });
                writer.end();
            })
        } catch (error) {
            console.error(error);
            throw error;
        } finally {
            await nightmare.end();
        }
})();

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.