1

Есть два файла file1.txt и file2.txt и на выходе мы должны получить file.txt

Использовал StreamReader и ReadLine, но скорость не очень. Дело в том, что файлы большие, оба порядка 20-80 мБ и их нужно не просто склеить, а разбить построчно и объединить каждую строку с каждой. Например, файл1 содержит строки вида

аа1
аа2 
аа3 
аа4

а файл2

bb1
bb2

В итоге мы хотим получить

aa1;bb1
aa1;bb2
aa2;bb1
aa2;bb2
...
aa4;bb2

Желательно еще сделать все с прогресс-баром, чтобы знать сколько еще ждать. Спасибо.

2 ответа 2

8

Вот вам простая версия без прогресс-бара:

var content2 = File.ReadAllLines("src2.txt");
File.WriteAllLines(
        "result.txt",
        File.ReadLines("src1.txt") // тут ReadLines, а не ReadAllLines
            .Select(l => l + ";")
            .SelectMany(prefix => content2.Select(l2 => prefix + l2)));

Для прогресс-бара надо UI, многопоточность и BackgroundWorker или лучше async/await, двумя строчками кода не обойдёшься.

2
  • Для большого количества строк НАМНОГО лучше использовать StringBuilder. 28 окт 2013 в 4:10
  • @Иван Навознов: хм, думаете? Надо будет отпрофилировать. Я думал, что (1) левая строка с префиксом кешируется — так должно быть быстрее, и (2) для сложения двух строк + должен быть всё же не медленнее. Дополнительное соображение: чтение строки из файла — настолько медленная штука, что должна по идее перекрывать разницу.
    – VladD
    28 окт 2013 в 10:09
5

А что значит скорость не очень? Вы их каждый раз читаете? Раз уж @VladD уже предложил Linq-Fu ответ, предложу вариант с прогрессбаром:

class CartesianFiles : BackgroundWorker
{
    private readonly String filename1;
    private readonly String filename2;
    private readonly String outfile;

    public CartesianFiles(String f1, String f2, String outf) {
        // Передаем все исходные данные
        filename1 = f1;
        filename2 = f2;
        outfile = outf;

        // Разрещаем вызов ReportProgress
        WorkerReportsProgress = true;
    }

    protected override void OnDoWork(DoWorkEventArgs e) {

        var strings1 = File.ReadAllLines(filename1);
        var strings2 = File.ReadAllLines(filename2);

        // Каждый такой вызов обновляет состояние прогресса у всех подписчиков
        ReportProgress(0); 
        var i = 0;

        using (var outstrings = new StreamWriter(File.OpenWrite(outfile))) {

            foreach (var s1 in strings1) {

                foreach (var s2 in strings2) {
                    outstrings.Write(s1);
                    outstrings.Write(';');
                    outstrings.WriteLine(s2);
                }

                ReportProgress(strings1.Length * 100 / ++i);

            }
        }

        ReportProgress(100);
    }

}

public class Usage
{
    public void Start() {
        var worker = new CartesianFiles("in1.txt", "in2.txt", "out.txt");
        // Подписываемся на изменение прогресса фоновой работы
        worker.ProgressChanged += 
            delegate(object sender, ProgressChangedEventArgs args) { 
                  bpBar.Value = args.ProgressPercentage; // Обновляем прогрессбар
            }; 
        worker.RunWorkerAsync(); // Запускаем в фоне
    }
}

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.