В Вашем случае можно сделать несколько оптимизаций и выбрать необходимый баланс.
Исходные данные
Все проверки на аудиокниге размером 200 Мб. Все переменные - поля класса. Замеры в симуляторе, так что не объективно, но повторяемо.
0 Код из Вашего примера:
file = try! AVAudioFile(forReading: url)
format = AVAudioFormat(commonFormat: .pcmFormatFloat32, sampleRate: file.fileFormat.sampleRate, channels: file.fileFormat.channelCount, interleaved: false)
buf = AVAudioPCMBuffer(pcmFormat: format, frameCapacity: UInt32(file.length))
try! file.read(into: buf)
array = Array(UnsafeBufferPointer(start: buf.floatChannelData?[0] , count:Int(buf.frameLength)))
Время выполнения 30,7 секунд, потребление памяти 3.5 Гб:

1 Вам необходимы только каждый 300-й элемент, поэтому можем пройтись циклом и добавить в массив только необходимые элементы. Код:
file = try! AVAudioFile(forReading: url!)
format = AVAudioFormat(commonFormat: .pcmFormatFloat32, sampleRate: file.fileFormat.sampleRate, channels: file.fileFormat.channelCount, interleaved: false)
buffer = AVAudioPCMBuffer(pcmFormat: format!, frameCapacity: UInt32(file.length))
try! file.read(into: buffer!)
for i in stride(from: 0, to: Int(buffer!.frameLength), by: 300) {
arr.append((buffer?.floatChannelData?[0].advanced(by: i).pointee)!)
}
print(arr.count)
Время выполнения 21.1 секунды, потребление памяти значительно ниже, 2.4 Гб:

2 Мы можем снизить потребление памяти, если будем читать из файла только то что нам необходимо:
file = try! AVAudioFile(forReading: url!)
format = AVAudioFormat(commonFormat: .pcmFormatFloat32, sampleRate: file.fileFormat.sampleRate, channels: file.fileFormat.channelCount, interleaved: false)
buffer = AVAudioPCMBuffer(pcmFormat: format!, frameCapacity: 1)
for i in stride(from: 0, to: file.length, by: 300) {
file.framePosition = i
try! file.read(into: buffer, frameCount: 1)
arr.append((buffer?.floatChannelData?[0].pointee)!)
}
print(arr.count)
Время выполнения значительно дольше, 898.1 секунд, т.к много дисковых операций. Потребление памяти низкое, 49 Мб:

3 Комбинируем 1 и 2:
file = try! AVAudioFile(forReading: url!)
format = AVAudioFormat(commonFormat: .pcmFormatFloat32, sampleRate: file.fileFormat.sampleRate, channels: file.fileFormat.channelCount, interleaved: false)
let readingMultiplier = 1000
let bufferSize = 300 * readingMultiplier
buffer = AVAudioPCMBuffer(pcmFormat: format!, frameCapacity: AVAudioFrameCount(bufferSize))
for i in stride(from: 0, to: file.length, by: bufferSize) {
file.framePosition = i
try! file.read(into: buffer, frameCount: AVAudioFrameCount(bufferSize))
for j in stride(from: 0, to: Int(buffer!.frameLength), by: 300) {
arr.append((buffer?.floatChannelData?[0].advanced(by: j).pointee)!)
}
}
print(arr.count)
Время выполнения 19,6 секунд, меняется от размера буфера. Потребление памяти для данного примера 52 Мб, меняется от размера буфера:
