0

Мне нужно написать веб-приложение, которое обрабатывало бы CSV документы, порядком 20 миллионов строк на документ. Оно бы само по себе ещё ничего, но стандартный объект FileReader имеет только метод считывания всего файла, а мне нужно отобразить процессбар. Кроме того, я переживаю, что программа может просто повиснуть из-за строки такого размера

1 ответ 1

0

Можно использовать Uint8Array с new FileReader().readAsArrayBuffer(). Просто разбить массив на кусочки через "\n".charCodeAt(0) и декодировать с TextDecoder.

<html>
<head>
    <script>

        const r_char_code = "\r".charCodeAt(0);

        function detectEncoding(subArr,func){  
            const isUnicode = subArr[subArr.length-1]!=r_char_code;
            const decoder = isUnicode?new TextDecoder():new TextDecoder('windows-1251');

            const str = decoder.decode(subArr);

            console.log({
                result: str,
                encoding: isUnicode?"utf-8":"windows-1251"
            });

            func(str);
        }

        function parseByteArray(arr,func){
            let tmp = [];
            arr.forEach((byte,i)=> {
                const char = String.fromCharCode(byte);

                if(char!='\n'){
                    tmp.push(byte);
                }

                //line by line or EOF
                if(char=='\n'||i==arr.length-1){

                    const buf = Uint8Array.from(tmp);

                    for(let i=0;i!=tmp.length+1;i++){
                        buf[i]=tmp[i];
                    }

                    detectEncoding(buf,func);

                    tmp=[];
                }
            });
        }

        function readFileAsByteArray(file){
            const reader = new FileReader();
            reader.readAsArrayBuffer(file);

            reader.onloadend=()=>{

                if(reader.error){
                    throw new Errow(":-(");
                }

                parseByteArray(new Uint8Array(reader.result), console.log);
            }
        }

        function readLineByLine(){
            const input = document.createElement('input');
            input.type = 'file';
            input.accept = '.txt,.csv,.md';
            input.click();

            input.onchange = ()=>{
                readFileAsByteArray(input.files[0]);
            }
        }    
    </script>
</head>
<body>
    <button onclick="readLineByLine()">Go!</button>
</body>

Проверить можно на pasteBin

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.