Задание и код исправленный взяты отсюда: Парсинг и статистика,недопонимание ситуации с преобразованием,аргументами
На это фрагменте кода программа останавливается она выдаёт путь и название 2 текстовых файлов которые у меня в папке и всё, программа перестает дальше выполняться. Отладка делалась пошагово.
string logDir = @"D:\logfiles\"; ;
var userstat = new Stat();
var cq = new ConcurrentQueue<Stat>();
// параллельно ...
Directory.EnumerateFiles(logDir, "log*.txt").AsParallel().ForAll(file =>
{
Console.WriteLine("@" + Environment.CurrentManagedThreadId + "\t" + file);
// собрать статистику из файла
foreach (var line in Line.ParseFiles(logDir,file, 1))
userstat.Add(line.User, line);
// сохранить статистику для дальнейшего агрегирования
cq.Enqueue(userstat);
});
Весь код программы:
using System;
using System.Collections.Generic;
using System.Linq;
using System.IO;
using System.Data;
using System.Collections.Concurrent;
using System.Text.RegularExpressions;
using System.Threading;
using System.Text;
using System.Threading.Tasks;
namespace LabWork2
{
public class Line
{
public string User;
public string Address;
public int Traffic;
public DateTime Date;
public string ToCsv(bool header = false)
{
var s = ", ";
return header
? String.Concat("User", s, "Address", s, "Traffic", s, "Date")
: String.Concat(
this.User, s,
this.Address, s,
this.Traffic, s,
this.Date.ToString("d.MM"));
}
public static IEnumerable<Line> ParseFiles(string logDir, string pattern = "log?.txt", int skip = 0)
{
string result = Path.GetFileName(pattern);
foreach (var file in Directory.EnumerateFiles(logDir, result))
while (File.Exists(pattern))
{
foreach (var line in ParseFile(logDir, result, 1))
yield return line;
}
}
public static IEnumerable<Line> ParseFile(string logDir,string pattern, int skip = 0)
{
return ParseFiles(logDir,pattern,skip);
}
}
class Stat
{
public class Item
{
public string Key;
public int Traffic;
public DateTime From;
public DateTime To;
public string ToCsv(bool header=false)
{
var s = ", ";
return header
? String.Concat("Key", s, "Traffic", s, "From", s, "To")
: String.Concat(
this.Key, s,
this.Traffic, s,
this.From.ToString("d.MM"), s,
this.To.ToString("d.MM"));
}
}
Dictionary<string, Item> tbl = new Dictionary<string, Item>();
public void Add(string key, Line line)
{
Item itm;
if (tbl.TryGetValue(key, out itm) == false)
{
itm = new Item { Key = key, From = line.Date, To = line.Date };
tbl.Add(key, itm);
}
itm.From = new DateTime(Math.Min(itm.From.Ticks, line.Date.Ticks));
itm.To = new DateTime(Math.Max(itm.To.Ticks, line.Date.Ticks));
itm.Traffic += line.Traffic;
}
public IEnumerable<Item> Items { get { return tbl.Values; } }
}
class Program
{
static void Main(string[] args)
{
string logDir = @"D:\logfiles\"; ;
var userstat = new Stat();
var cq = new ConcurrentQueue<Stat>();
// параллельно ...
Directory.EnumerateFiles(logDir, "log*.txt").AsParallel().ForAll(file =>
{
Console.WriteLine("@" + Environment.CurrentManagedThreadId + "\t" + file);
// собрать статистику из файла
foreach (var line in Line.ParseFiles(logDir,file, 1))
userstat.Add(line.User, line);
// сохранить статистику для дальнейшего агрегирования
cq.Enqueue(userstat);
});
Console.WriteLine(cq.Count);
File.WriteAllLines(logDir + "userstat.txt",userstat.Items.Select(si => si.ToCsv()));
File.WriteAllLines(logDir + "adrestat.txt",userstat.Items.Select(si => si.ToCsv()));
File.WriteAllLines(logDir + "datastat.txt", userstat.Items.Select(si => si.ToCsv()));
Console.ReadKey();
}
}
}
UPD UPD UPD
Исключение исчезло! Спасибо за помощь!
Учёл предыдущие советы присвоил отдельную переменную и даже извлекаю имя c Path.GetFileName(pattern) и уже работаю с ней. В итоге он уже пишет переполнение стэка и на этой же строке. Циклом while пройтись по папке с файлами?
По шагово отладчиком я ходил и у меня выдало
logDir = "D:\\logfiles\\" string
pattern "D:\\logfiles\\log1.txt" string
result = "log1.txt" string
Убрал лишнее и теперь переменная result мне выдаёт имя файла. Но исключение Стэк переполнен...
static IEnumerable<Line> Parse(IEnumerable<string> lines)
{
foreach (var line in lines)
{
var arr = Regex.Split(line.Trim(), @"\s+");
yield return new Line
{
User = arr[0],
Address = arr[1],
Traffic = int.Parse(arr[2]),
Date = DateTime.ParseExact(arr[3], "d.MM", null)
};
}
}
public static IEnumerable<Line> Parse(string logDir, string pattern = "log?.txt", int skip = 0)
{
string result = Path.GetFileName(pattern);
foreach (var file in Directory.GetFiles(logDir,result))----Переполнение стэка Исключение.
{
foreach (var line in ParseFile(logDir, file, 1))
yield return line;
}
}
public static IEnumerable<Line> ParseFile(string logDir,string file, int skip = 0)
{
return Parse(logDir,file, skip);
}