Есть программа, которая скачивает файлы по заранее найденным ссылкам. Файлов достаточно большое количество и в теории можно ускорить их скачивание, запустив скачивание в несколько потоков. Главная проблема(на мой взгляд) в том, что файлы нужно сохранить в том же порядке, в котором они лежат на сайте. В гугле пишут, что потоки могут работать хаотично. Из за этого может получиться так, что файлы будут скачаны не по порядку. Возможно должно быть так что работает 1 поток и 2 поток. Пока первый не завершил свою работу - второй тоже не завершает. Подскажите как реализовать)
-
"Современные операционные системы" Э. Таненбаум (Можете скачать бесплатно, есть в свободном доступе) Глава 2: 2.2.Потоки, 2.4.6. Планирование потоков. А лучше прочитайте полностью главу, так как темы одна из другой вытекают. И да, потоки не могут работать хаотично, а будут (без особых манипуляций).– user3660974 фев 2020 в 11:42
1 ответ
Можно просто добавить какое-то число в имени файла при сохранении а потом, после завершении скачивания, сортировать по имени и получить правильный порядок.
Например 1ый поток скачает файлы с 1 до 10 и добовляет соответствующие цифры к имени. Например 1_file_name.txt 2_file_name.txt и т.д.
Второй поток с 11 до 20 и делает тоже самое. Ну и остальные потоки тоже добавляют соответствующие цифры к имени файлам.
-
В названиях файлов есть числа, но дело в том, что файлы нумеруются исходя из порядка скачивания. Если что то пойдет не так реальный порядок не получится установить, потому что файлов больше 10000– Виктор Б4 фев 2020 в 12:47
-
-
а как вы разделаете работу между потокамы и какой у вас источник ? если это сайт с страницами можете нумировать по страницам и файлам, а если у вас лист в котором уже правильный порядок ссылок,то можно отправить индекс начального и последнего элемента потоку, чтобы поток читал из листа "свои" ссылки, скачал и заодно именовал по индексу а дальше просто сортировка. 4 фев 2020 в 14:07
-