0

Имеется некая таблица MS Excel(в формате CSV), которая содержит n-ое количество строк, содержащих некоторые данные, разделенные ";". Один из видов данных - время в формате unix timestamp. Какой есть эффективный способ считывания и преобразования данных из файла, дальнейшей записи в структуру на С++?

7
  • Пример данных в студию.
    – Fat-Zer
    7 авг 2019 в 9:01
  • @Fat-Zer, одна из строк таблицы(1;Ivan;777;1850040995;1) : 1 число в скобках - id, 2 - имя, 3 - просто рандомное число, 4 - та самая дата, которую нужно считать, 5 - булевское число. Такую строку надо считать из таблицы в структуры по полям(в структуре есть поле id, имя и т.д.).
    – Facade
    7 авг 2019 в 9:05
  • определённости ради добавь определение структуры и пример данных к вопросу... если кратко, то время можно банально читать в time_t, хотя строго говоря это не гарантируется, данный тип почти всегда отсчитывает время от unix-эпохи... собственно в таком случае просто используй scanf или для плюсовых потоков operator>>...
    – Fat-Zer
    7 авг 2019 в 9:32
  • @Fat-Zer, можете привести минимальный пример кода для считывания данных? Есть такая структура и функция для считывания: ` struct Record { uint64_t id; string partner; uint32_t number; // поле для даты bool status; }; void ReadFile() { fstream file("Test.cvs"); if (!(file.is_open())) { cout << "Error! Something wrong with file opening!" << endl; return; } else { } } `
    – Facade
    7 авг 2019 в 9:54
  • На будущее: добавляй код/всё что необходимо для ответа на вопрос прямо в его текст — под ним есть серая кнопочка править.
    – Fat-Zer
    7 авг 2019 в 10:22

3 ответа 3

1

file.in:

1;Ivan;777;1850040995;1

Чтение будет выглядеть примерно следующим образом:

struct Record {
    uint64_t id;
    string partner;
    time_t number; // поле для даты
    bool status;
}; 

//...

std::ifstream fin{"file.in"};
struct Record rec;
char dummy;

fin >> rec.id >> std::ws >> dummy;
if (dummy!=';') {
  fin.setstate(std::ios_base::failbit);
}

std::getline (fin, rec.partner, ';');
fin.ignore (std::numeric_limits<long>::digits10, ';');
fin >> rec.number >> std::ws >> dummy;
if (dummy!=';') {
  fin.setstate(std::ios_base::failbit);
}

fin >> rec.status;

if (fin.fail()) {
  std::cerr << "Malformed input" << std::endl;
}

Для даты стоит использовать тип предназначенный для этого — time_t. Это арифметический целочисленный тип; строго говоря, не гарантируется, что этот он представляет собой именно unix-timestamp, но по факту это почти на всех системах так. Отдельно, не стоит использовать 32-х битные типы для хранения подобных.


Парсинг с помощью плюсовых потоков — всё же реализован относительно криво, для относительно элегантного варианта ожидания/верификации конкретных символов в потоке можно воспользоваться ответом отсюда.

14
  • std::chrono? 7 авг 2019 в 10:25
  • @yrHeTaTeJlb, не поможете с исправлением? пока не могу сориентироваться в плане чтения даты. coliru.stacked-crooked.com/a/fbc79b22e05b046d
    – Facade
    7 авг 2019 в 10:59
  • @Koka_LV, просто попробуйте мой ответ, там все работает 7 авг 2019 в 11:09
  • @Koka_LV, да, глупость написал... забыл, что оно так не работает... сейчас поправлю...
    – Fat-Zer
    7 авг 2019 в 11:09
  • @yrHeTaTeJlb, просто в вашем примере вы явно заполняете data.txt. А у меня имеется таблица формата .csv, где есть несколько полей.
    – Facade
    7 авг 2019 в 11:27
1

Допустим у вас есть следующая структура

struct Line{
    using Clock = std::chrono::system_clock;
    using TimePoint = Clock::time_point;

    int id = 0;
    std::string name;
    int number = 0;
    TimePoint time;
    bool flag = false;
};

Есть разные способы заполнить ее значениями из файла, но я предпочитаю перегрузку operator>> и за компанию operator>>.

struct Line{
//..

friend std::istream& operator>>(std::istream &in, Line &line)
{
    in >> line.id;
    in.ignore(std::numeric_limits<std::streamsize>::max(), ';');

    std::getline(in, line.name, ';');

    in >> line.number;
    in.ignore(std::numeric_limits<std::streamsize>::max(), ';');

    std::time_t time = 0;
    in >> time;
    line.time = Line::Clock::from_time_t(time);
    in.ignore(std::numeric_limits<std::streamsize>::max(), ';');

    in >> line.flag;

    return in;
}
    friend std::ostream& operator<<(std::ostream &out, const Line &line)
    {
        out << line.id                           << ';'
            << line.name                         << ';'
            << line.number                       << ';'
            << Line::Clock::to_time_t(line.time) << ';'
            << line.flag                         << ';';

        return out;
    }
};

in.ignore(std::numeric_limits<std::streamsize>::max(), ';'); нужен для того, чтобы пропустить непрочитанные символы до ; включительно. timestamp чиатется в std::time_t, и конвертируется в std::chrono::system_clock::time_point(если вдруг класс system_clock не нравится, можете выбрать другой).


Проверяем

int main()
{
    {
        //Заполняем файл данными для теста
        std::ofstream data{"data.txt"};
        data << " 1 ; Ivan   ;  777  ; 1850040995  ; 1\n"
                "2;Alex;31337;1850045946;0\n"
                "3;Sam;13;1850047631;1\n"
                "4;Dean;666;1850047513;0\n";
    }

    //Читаем только что созданный файл
    std::ifstream data{"data.txt"};
    std::vector<Line> lines(std::istream_iterator<Line>(data), {});

    //Выводим на экран
    std::copy(lines.begin(), lines.end(), std::ostream_iterator<Line>(std::cout, "\n"));
}
0
0

Еще один вариант чтения подобных форматов, это использовать сишную (С++ ее тоже приемлет) функцию fscanf.

Для чтения вашей структуры:

struct recd {
  uint64_t  id;
  string    name;
  int       number;
  time_t    ts;
  bool      b;
};

с учетом замечания в комментариях, что данные во всех строках заключены в кавычки ("), получаем вот такую функцию:

#include <stdio.h>
#include <inttypes.h>
#include <time.h>

#include <iostream>
#include <string>

using namespace std;

#define NAME_LEN 4096

int
get_csv_record (struct recd *p, FILE *f)
{
  char name[NAME_LEN];
  int  b,
       r = fscanf(f, "\" %" SCNu64 " ;%[^;]; %d ; %" SCNiFAST32 " ; %d \"\n",
                 &p->id, name, &p->number, &p->ts, &b);
  if (r > 0) {
    p->b = (b != 0);
    p->name = name;
  }

  return r;
}

Форматы ввода uin64_t -- SCNu64 и time_t -- SCNiFAST32 (32 разряда в 32-бит и 64 в 64-бит системах) определены в <inttypes.h>. Это макросы, значения которых зависят от разрядности системы.

На мой взгляд все получилось весьма компактно. Еще бы, ведь scanf() для подобных вещей и задумывалась. Если бы структура содержала только базовые типы, все вообще свелось бы к одной строке с return fscanf(...); -)

Для теста делаем программку:

#include <iostream>
#include <string>

using namespace std;

struct recd {
  uint64_t  id;
  string    name;
  int       number;
  time_t    ts;
  bool      b;
};

int
get_csv_record (struct recd *p, FILE *f);

int main ()
{
  struct recd r;

  while (get_csv_record(&r, stdin) == 5)
    cout << r.id << "  "
     << '"' << r.name << '"' << "  "
     << r.number << "  "
     << r.ts << "  "
     << (r.b ? "true" : "false")
     << '\n';
}

и вот такой файл (даже с пустыми строками):

avp@avp-xubu2:~/hashcode$ cat t
"  221 ;hshhs sj;1;1234567899876;17"
"222;ww "hs'hhs" . sj;2; 12345;1"

"223;wwh  sh hs sj;3; 987456; 1   "  


"   224  ;ww hshhs sj; 4; 78654 ;   0"


avp@avp-xubu2:~/hashcode$ 

Транслируем и печатаем:

avp@avp-xubu2:~/hashcode$ g++ tt2.cpp tt3.cpp && ./a.out <t
221  "hshhs sj"  1  1234567899876  true
222  "ww "hs'hhs" . sj"  2  12345  true
223  "wwh  sh hs sj"  3  987456  true
224  "ww hshhs sj"  4  78654  false
avp@avp-xubu2:~/hashcode$ 
0

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.