1
for x in range(0,2048):     
        filepath1=newpath +str(x)+suffix
        filein = open(filepath1, mode='rb');
        bufRead=filein.read();filein.close()
        err=0
        for i in range(Size):           # Slow
                if  bufRead[i] != num : # Slow
                        err=err+1       # Slow
        if err != 0:
            print(filepath1,"errorREAD",err)
            input()
        else  :print(filepath1,"errorREAD",err)

Очень медленно выполняется цикл For по прикидкам должно быть не менее 50 млн проходов за секунду для 3ГГц процессора .наблюдается на 2 порядка меньше Как сравнить ускоренно весь массив загруженный из файла с константой ?

0

2 ответа 2

0

Если bufRead - список (судя по всему, это так), то можно использовать метод count(), который в несколько раз быстрее, чем проход по списку:

# считаем количество элементов num в списке и вычитаем из общего количества
err = len(bufRead) - bufRead.count(num)

Сравнение цикла for и .count():

import time

buf = [1,2,3,4,5,34,5,2,3,3,42,3,4,23,4,254]*100

#Solution 1 - Faster
n = 0
start = time.monotonic()
while n < 100000:
    count = 0
    for element in buf:
        if element == 5:
            count += 1
    n += 1
end = time.monotonic()
print(count)
print('Длительность for: {}'.format(end - start))

n = 0
start = time.monotonic()
while n < 100000:
    count = buf.count(5)
    n += 1
end = time.monotonic()
print (count)
print('Длительность count(): {}'.format(end - start))

Результат:

200
Длительность for: 9.89000000001397
200
Длительность count(): 2.3249999999970896

В данном примере count() примерно в 4 раза быстрее.

4
  • Как видно из кода, bufRead это таки bytes (к счастью, у него тоже есть count)
    – andreymal
    23 мая 2019 в 15:02
  • в моем варианте накапливается количество несовпадений а в вашем количество совпадений 23 мая 2019 в 16:01
  • Посмотрите первый фрагмент кода, который до сравнения. 23 мая 2019 в 16:04
  • подскажите решение через numpy. 23 мая 2019 в 16:56
0
import time
X = 100000000
R = list(range(X))
bufRead = [b'1']*X

# index
(err, num) = (0, b'2')
t = time.monotonic()
for i in R:
    if bufRead[i] != num:
        err += 1
print(time.monotonic() - t)  # 30.3 сек

# iter
(err, num) = (0, b'2')
t = time.monotonic()
for e in bufRead:
    if e != num:
        err += 1
print(time.monotonic() - t)  # 21.0 сек

# len
(err, num) = (0, b'2')
t = time.monotonic()
err = len([e for e in bufRead if e != num])
print(time.monotonic() - t)  # 17.7 сек

# filter len
(err, num) = (0, b'1')
t = time.monotonic()
err = (X - len(list(filter(num.__eq__, bufRead))))  # 15.6 сек
print(time.monotonic() - t)
1
  • Сравните теперь с err = len(bufRead) - bufRead.count(b'1') 24 мая 2019 в 13:23

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.