Имеется некая таблица MS Excel(в формате CSV), которая содержит n-ое количество строк, содержащих некоторые данные, разделенные ";". Один из видов данных - время в формате unix timestamp. Какой есть эффективный способ считывания и преобразования данных из файла, дальнейшей записи в структуру на С++?
3 ответа
file.in:
1;Ivan;777;1850040995;1
Чтение будет выглядеть примерно следующим образом:
struct Record {
uint64_t id;
string partner;
time_t number; // поле для даты
bool status;
};
//...
std::ifstream fin{"file.in"};
struct Record rec;
char dummy;
fin >> rec.id >> std::ws >> dummy;
if (dummy!=';') {
fin.setstate(std::ios_base::failbit);
}
std::getline (fin, rec.partner, ';');
fin.ignore (std::numeric_limits<long>::digits10, ';');
fin >> rec.number >> std::ws >> dummy;
if (dummy!=';') {
fin.setstate(std::ios_base::failbit);
}
fin >> rec.status;
if (fin.fail()) {
std::cerr << "Malformed input" << std::endl;
}
Для даты стоит использовать тип предназначенный для этого — time_t
. Это арифметический целочисленный тип; строго говоря, не гарантируется, что этот он представляет собой именно unix-timestamp, но по факту это почти на всех системах так. Отдельно, не стоит использовать 32-х битные типы для хранения подобных.
Парсинг с помощью плюсовых потоков — всё же реализован относительно криво, для относительно элегантного варианта ожидания/верификации конкретных символов в потоке можно воспользоваться ответом отсюда.
-
-
@yrHeTaTeJlb, не поможете с исправлением? пока не могу сориентироваться в плане чтения даты. coliru.stacked-crooked.com/a/fbc79b22e05b046d– Facade7 авг 2019 в 10:59
-
-
@Koka_LV, да, глупость написал... забыл, что оно так не работает... сейчас поправлю...– Fat-Zer7 авг 2019 в 11:09
-
@yrHeTaTeJlb, просто в вашем примере вы явно заполняете data.txt. А у меня имеется таблица формата .csv, где есть несколько полей.– Facade7 авг 2019 в 11:27
Допустим у вас есть следующая структура
struct Line{
using Clock = std::chrono::system_clock;
using TimePoint = Clock::time_point;
int id = 0;
std::string name;
int number = 0;
TimePoint time;
bool flag = false;
};
Есть разные способы заполнить ее значениями из файла, но я предпочитаю перегрузку operator>>
и за компанию operator>>
.
struct Line{
//..
friend std::istream& operator>>(std::istream &in, Line &line)
{
in >> line.id;
in.ignore(std::numeric_limits<std::streamsize>::max(), ';');
std::getline(in, line.name, ';');
in >> line.number;
in.ignore(std::numeric_limits<std::streamsize>::max(), ';');
std::time_t time = 0;
in >> time;
line.time = Line::Clock::from_time_t(time);
in.ignore(std::numeric_limits<std::streamsize>::max(), ';');
in >> line.flag;
return in;
}
friend std::ostream& operator<<(std::ostream &out, const Line &line)
{
out << line.id << ';'
<< line.name << ';'
<< line.number << ';'
<< Line::Clock::to_time_t(line.time) << ';'
<< line.flag << ';';
return out;
}
};
in.ignore(std::numeric_limits<std::streamsize>::max(), ';');
нужен для того, чтобы пропустить непрочитанные символы до ;
включительно. timestamp чиатется в std::time_t
, и конвертируется в std::chrono::system_clock::time_point
(если вдруг класс system_clock
не нравится, можете выбрать другой).
int main()
{
{
//Заполняем файл данными для теста
std::ofstream data{"data.txt"};
data << " 1 ; Ivan ; 777 ; 1850040995 ; 1\n"
"2;Alex;31337;1850045946;0\n"
"3;Sam;13;1850047631;1\n"
"4;Dean;666;1850047513;0\n";
}
//Читаем только что созданный файл
std::ifstream data{"data.txt"};
std::vector<Line> lines(std::istream_iterator<Line>(data), {});
//Выводим на экран
std::copy(lines.begin(), lines.end(), std::ostream_iterator<Line>(std::cout, "\n"));
}
Еще один вариант чтения подобных форматов, это использовать сишную (С++ ее тоже приемлет) функцию fscanf.
Для чтения вашей структуры:
struct recd {
uint64_t id;
string name;
int number;
time_t ts;
bool b;
};
с учетом замечания в комментариях, что данные во всех строках заключены в кавычки ("
), получаем вот такую функцию:
#include <stdio.h>
#include <inttypes.h>
#include <time.h>
#include <iostream>
#include <string>
using namespace std;
#define NAME_LEN 4096
int
get_csv_record (struct recd *p, FILE *f)
{
char name[NAME_LEN];
int b,
r = fscanf(f, "\" %" SCNu64 " ;%[^;]; %d ; %" SCNiFAST32 " ; %d \"\n",
&p->id, name, &p->number, &p->ts, &b);
if (r > 0) {
p->b = (b != 0);
p->name = name;
}
return r;
}
Форматы ввода uin64_t
-- SCNu64
и time_t
-- SCNiFAST32
(32 разряда в 32-бит и 64 в 64-бит системах) определены в <inttypes.h>
. Это макросы, значения которых зависят от разрядности системы.
На мой взгляд все получилось весьма компактно. Еще бы, ведь scanf()
для подобных вещей и задумывалась. Если бы структура содержала только базовые типы, все вообще свелось бы к одной строке с return fscanf(...);
-)
Для теста делаем программку:
#include <iostream>
#include <string>
using namespace std;
struct recd {
uint64_t id;
string name;
int number;
time_t ts;
bool b;
};
int
get_csv_record (struct recd *p, FILE *f);
int main ()
{
struct recd r;
while (get_csv_record(&r, stdin) == 5)
cout << r.id << " "
<< '"' << r.name << '"' << " "
<< r.number << " "
<< r.ts << " "
<< (r.b ? "true" : "false")
<< '\n';
}
и вот такой файл (даже с пустыми строками):
avp@avp-xubu2:~/hashcode$ cat t
" 221 ;hshhs sj;1;1234567899876;17"
"222;ww "hs'hhs" . sj;2; 12345;1"
"223;wwh sh hs sj;3; 987456; 1 "
" 224 ;ww hshhs sj; 4; 78654 ; 0"
avp@avp-xubu2:~/hashcode$
Транслируем и печатаем:
avp@avp-xubu2:~/hashcode$ g++ tt2.cpp tt3.cpp && ./a.out <t
221 "hshhs sj" 1 1234567899876 true
222 "ww "hs'hhs" . sj" 2 12345 true
223 "wwh sh hs sj" 3 987456 true
224 "ww hshhs sj" 4 78654 false
avp@avp-xubu2:~/hashcode$
time_t
, хотя строго говоря это не гарантируется, данный тип почти всегда отсчитывает время от unix-эпохи... собственно в таком случае просто используйscanf
или для плюсовых потоковoperator>>
...править
.