0

Здравствуйте.

Идея такова, создать диапазон, основанный на размера файла, каждый диапазон на свой поток, т.е. если например размер файла 100000 байт, и мы разбиваем этот размер на несколько потоков, то получаем диапазоны 0-1000, 1001-2000,2001-3000 и т.д. Собственной данный алгоритм я написал.

    public List<String> getThreadsDiapason(int startBytes, int endBytes, int c_thread)
    {
        int step = (int)(endBytes / c_thread);
        List<Integer> temp_start = new ArrayList<>();
        List<Integer> temp_end = new ArrayList<>();
        temp_start.add(startBytes);
        temp_end.add(step);

        try
        {
            for(int i = 1; i < c_thread; i++)
            {
                temp_start.add(i,temp_end.get(i - 1) + 1);
                temp_end.add(i,temp_end.get(i - 1) + step);
            }
        }
        catch (Exception ex)
        {
            Log.e("getThreadsDiapason", ex.getMessage());
        }
        int last_value = temp_end.get(c_thread-1) + (endBytes - temp_end.get(c_thread-1));
        temp_end.set(c_thread-1,last_value);

        List<String> finalList = new ArrayList<>();
        try
        {
            for(int i = 0; i < c_thread; i++)
            {
                finalList.add(temp_start.get(i)+"-"+temp_end.get(i));
            }
        }
        catch (Exception ex)
        {
            Log.e("getThreadsDiapason",ex.getMessage());
        }
        return finalList;
    }

После необходимо прогоняя этот список создать потоки с параметрами равной каждой из ячеек данного списка. Написал метод описанный ниже:

    public void threadedDownload(final String url,final String path,final int size) throws Exception
    {
        int threads_count = 32;
        final int stock_buffer = 4096 * threads_count;
        final List<String> threadsDiap = getThreadsDiapason(0,size,threads_count);
        final List<Thread> threadList = new ArrayList<>();

        for(int i = 0; i < threads_count; i++)
        {
            final int diap_i = i;
            Thread t = new Thread(new Runnable() {
                @Override
                public void run() {
                    byte[] buffer = new byte[stock_buffer];
                    int bytesRead = -1;

                    try
                    {
                        System.out.println("Thread  "+diap_i+" Started : " + threadsDiap.get(diap_i));
                        HttpURLConnection conn = null;
                        FileOutputStream fileOutputStream = null;
                        try {
                            conn = (HttpURLConnection)new URL(url).openConnection();
                        } catch (IOException e) {
                            Log.e("threadedDownload",e.getMessage());
                        }

                        conn.setDoInput(true);
                        conn.setConnectTimeout(100000);
                        conn.setRequestProperty("Range", "bytes="+threadsDiap.get(diap_i));
                        fileOutputStream = new FileOutputStream(path ,true);
                        conn.connect();

                        InputStream inputStream = conn.getInputStream();
                        while ((bytesRead = inputStream.read(buffer)) != -1)
                        {
                            fileOutputStream.write(buffer, Integer.parseInt(threadsDiap.get(diap_i).split("-")[0]), bytesRead);
                        }

                        fileOutputStream.flush();
                        fileOutputStream.close();

                        System.out.println("Thread "+diap_i+" Ended : " + threadsDiap.get(diap_i));
                    }catch (Exception ex)
                    {
                        Log.e("Error",ex.getMessage());
                    }
                }
            });

            threadList.add(t);
        }

        final List<Thread> finalThreadList =  threadList;
        new Thread(new Runnable() {
            @Override
            public void run() {
                for(int i = 0; i < finalThreadList.size(); i++)
                {
                    finalThreadList.get(i).start();
                }
            }
        }).start();

    }

Но при старте получаю ошибки:

E/Error: length=131072; regionStart=84024925; regionLength=1360
E/Error: length=131072; regionStart=33609970; regionLength=894
E/Error: length=131072; regionStart=201659820; regionLength=1360
E/Error: length=131072; regionStart=235269790; regionLength=1580
E/Error: length=131072; regionStart=100829910; regionLength=2048
E/Error: length=131072; regionStart=168049850; regionLength=2048
E/Error: length=131072; regionStart=117634895; regionLength=2048
E/Error: length=131072; regionStart=50414955; regionLength=1582
E/Error: length=131072; regionStart=184854835; regionLength=1580
E/Error: length=131072; regionStart=16804985; regionLength=1589
E/Error: length=131072; regionStart=319294715; regionLength=1580
E/Error: length=131072; regionStart=302489730; regionLength=2048
E/Error: length=131072; regionStart=285684745; regionLength=1580
E/Error: length=131072; regionStart=268879760; regionLength=2048
E/Error: length=131072; regionStart=369709670; regionLength=1360
E/Error: length=131072; regionStart=470539580; regionLength=1580
E/Error: length=131072; regionStart=252074775; regionLength=1580
E/Error: length=131072; regionStart=67219940; regionLength=2048
E/Error: length=131072; regionStart=420124625; regionLength=1580
E/Error: length=131072; regionStart=386514655; regionLength=1580
E/Error: length=131072; regionStart=453734595; regionLength=2048
E/Error: length=131072; regionStart=520954535; regionLength=1580
E/Error: length=131072; regionStart=436929610; regionLength=1580
E/Error: length=131072; regionStart=487344565; regionLength=2048
E/Error: length=131072; regionStart=336099700; regionLength=2048
E/Error: length=131072; regionStart=403319640; regionLength=1580
E/Error: length=131072; regionStart=537759529; regionLength=1580
E/Error: length=131072; regionStart=504149550; regionLength=1580
E/Error: length=131072; regionStart=151244865; regionLength=2048
E/Error: length=131072; regionStart=352904685; regionLength=1580
E/Error: length=131072; regionStart=218464805; regionLength=1580
E/Error: length=131072; regionStart=134439880; regionLength=1580

Пробовал разные способоы, последнее это видимо самое правильное, указать смещение и вести запись в файл fileOutputStream.write(buffer, Integer.parseInt(threadsDiap.get(diap_i).split("-")[0]), bytesRead); Тем не менее работает не корректно.

Наставьте меня на путь истинный.

3
  • Спасибо, чуть позже попробую, т.е. использовать RandomAccessFile.seek(<указать начало записи в байтах>)?
    – just_koala
    11 ноя 2016 в 21:09
  • Предполагаю, что решается какая-то лабораторная работа, а не задача реально работающей Системы? Ведь если файл скачивается с одного источника одному потребителю, то хоть его в одном потоке качай, хоть в множестве потоков - канал между ними от этого не увеличится. Т.е., скорость останется той же, а надёжность функционала заметно снизится, не говоря уже о читабельности исходного кода...
    – bobzer
    12 ноя 2016 в 16:14
  • @bobzer можно и так сказать, лабораторная работа, все возможные файлы, которые будут скачиваться с помощью данного метода, будут скачиваться с китайских серверов, при обычном , однопоточном скачивании скорость с них достигает невеорятных 40кб в секунду, иногда больше, с потоками скорость возарастает до 5 мб в секунду, что существенно ускоряет загрузку больших файлов
    – just_koala
    12 ноя 2016 в 17:55

1 ответ 1

1

При подсказке @zRrr вышло следующее:

Класс Range который занимается создание списка диапазонов с различными вариантами выдачи данных

    class Range
    {
        public List<String> rangeList = new ArrayList<>();

        Range(int startBytes, int endBytes, int c_thread)
        {
            rangeList = getThreadsDiapason(startBytes,endBytes,c_thread);
        }

        public String getRangeString(int rangeId)
        {
            if(rangeList.size() < rangeId)
                return null;
            else
                return rangeList.get(rangeId);
        }

        public int getFirstRangeInt(int rangeId)
        {
            if(rangeList.size() < rangeId)
                return 0;
            else
                return Integer.parseInt(rangeList.get(rangeId).split("-")[0]);
        }

        public int getLastRangeInt(int rangeId)
        {
            if(rangeList.size() < rangeId)
                return 0;
            else
                return Integer.parseInt(rangeList.get(rangeId).split("-")[1]);
        }

        private List<String> getThreadsDiapason(int startBytes, int endBytes, int c_thread)
        {
            int step = (int)(endBytes / c_thread);
            List<Integer> temp_start = new ArrayList<>();
            List<Integer> temp_end = new ArrayList<>();
            temp_start.add(startBytes);
            temp_end.add(step);

            try
            {
                for(int i = 1; i < c_thread; i++)
                {
                    temp_start.add(i,temp_end.get(i - 1) + 1);
                    temp_end.add(i,temp_end.get(i - 1) + step);
                }
            }
            catch (Exception ex)
            {
                Log.e("getThreadsDiapason", ex.getMessage());
            }
            int last_value = temp_end.get(c_thread-1) + (endBytes - temp_end.get(c_thread-1));
            temp_end.set(c_thread-1,last_value);

            List<String> finalList = new ArrayList<>();
            try
            {
                for(int i = 0; i < c_thread; i++)
                {
                    finalList.add(temp_start.get(i)+"-"+temp_end.get(i));
                }
            }
            catch (Exception ex)
            {
                Log.e("getThreadsDiapason",ex.getMessage());
            }
            return finalList;
        }
    }

И метод threadedDownload, с использованием RandomAccessFile:

    public void threadedDownload(final String url,final String path,final int size, int threads_count) throws Exception
    {
        final int stock_buffer = 4096 * threads_count;
        final Range range = new Range(0,size,threads_count);
        final List<Thread> threadList = new ArrayList<>();

        for(int i = 0; i < threads_count; i++)
        {
            final int diap_i = i;
            Thread t = new Thread(new Runnable() {
                @Override
                public void run() {
                    byte[] buffer = new byte[stock_buffer];
                    int bytesRead = -1;

                    try
                    {
                        System.out.println("Thread  "+diap_i+" Started : " + range.getRangeString(diap_i));
                        HttpURLConnection conn = null;
                        RandomAccessFile randomAccessFile = null;
                        try {
                            conn = (HttpURLConnection)new URL(url).openConnection();
                        } catch (IOException e) {
                            Log.e("threadedDownload",e.getMessage());
                        }

                        conn.setDoInput(true);
                        conn.setConnectTimeout(100000);
                        conn.setRequestProperty("Range", "bytes="+range.getRangeString(diap_i));
                        randomAccessFile = new RandomAccessFile(path, "rw");
                        randomAccessFile.seek(range.getFirstRangeInt(diap_i));
                        conn.connect();

                        InputStream inputStream = conn.getInputStream();
                        while ((bytesRead = inputStream.read(buffer)) != -1)
                        {
                            randomAccessFile.write(buffer, 0, bytesRead);
                        }
                        randomAccessFile.close();

                        System.out.println("Thread "+diap_i+" Ended : " + range.getRangeString(diap_i));
                    }catch (Exception ex)
                    {
                        Log.e("Error",ex.getMessage());
                    }
                }
            });

            threadList.add(t);
        }

        final List<Thread> finalThreadList =  threadList;
        new Thread(new Runnable() {
            @Override
            public void run() {
                for(int i = 0; i < finalThreadList.size(); i++)
                {
                    finalThreadList.get(i).start();
                }
            }
        }).start();
    }
1
  • Добавил внешнюю переменную, в которую приплюсовываю bytesRead из всех потоков, на выхходе получаю сумму не равную размеру файла, в чем может быть проблема?
    – just_koala
    12 ноя 2016 в 17:59

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.