1

у меня есть 3 класса с таблицами баз данных и в каждый надо добавить некоторые столбцы из таблицы файла csv, есть у кого нибудь пример как происходит импорт данных из таблицы с расширением csv? или методичка? я искала, но не нашла. Помогите пожаалуйста

public class DBObjectType extends SQLiteOpenHelper {
public static final int DATABASE_VERSION=1;
public static final String DATABASE_NAME= "Inventory_Tracking";
public static final String TABLE_CONSTACTS= "constacts";
public static final String KEY_ID="id";
public static final String NAME="name";
public DBObjectType(@Nullable Context context) {
super(context, DATABASE_NAME, null, DATABASE_VERSION);
}
@Override
public void onCreate(SQLiteDatabase db)
{
db.execSQL("create table " + TABLE_CONSTACTS + "(" + KEY_ID
+ " integer primary key, " + NAME
+ " text " + ")");
}
@Override
public void onUpgrade(SQLiteDatabase db, int oldVersion, int newVersion) {
db.execSQL("drop table if exists " + TABLE_CONSTACTS) ;
onCreate(db);
}
}

https://yadi.sk/d/BoFbuhyeIryP5Q (ссылка на файл csv)

13
  • вы же учите джаву) напишите парсер файла, можете использовать для чтения csv какую-то билиотеку, а потом сохраните в БД 1 июн 2020 в 19:56
  • нам дали задание на самостоятельное изучение, работаем с ней сравнительно недавно, поэтому и не знаю как это сделать 1 июн 2020 в 19:59
  • 1
    такая задача и не предполагает, что вы магистр йода)) поделите все на задачи. 1)прочитать csv-файл. 2)распарсить csv, т.е. получить из него объекты , которые поместиь в коллекцию. 3)сохранить коллекцию объектов в базу данных. на каком именно шаге у вас трудности? 1 июн 2020 в 20:21
  • ну вообще то на всех, я создала 3 класса (таблицы) и теперь предстоит импорт, я не понимаю с чего и как начать 1 июн 2020 в 20:29
  • ну для начала покажите файлы и ваши классы-модели. а с чего начинать я уже написал. 1 - чтение файлов с накопителя. с этим ест трудности? 1 июн 2020 в 20:42

1 ответ 1

1

Ситуация такова... Я написал вам пример парсера, модели и сервиса для сохранения в бд. Парсер работает, а сервис надо будет доделывать. поскольку настройки БД у каждого свои, мало того, БД у всех разная. нужен драйвер в зависимостях плюс урл, имя пользователя, пароль для доступа. У меня нет геттеров, сеттеров и прочего шаблонного кода, это генерирует зависимость, именуемая ломбок (но вы можете изменить это). Плюс ORMLite на вашей совести, я использую ее здесь.

Итак, это мои зависимости :

    compile group: 'org.projectlombok', name: 'lombok', version: '1.18.10'
    annotationProcessor 'org.projectlombok:lombok:1.18.10'   
    compile group: 'au.com.bytecode', name: 'opencsv', version: '2.4'
    compile group: 'com.j256.ormlite', name: 'ormlite-core', version: '5.1'
    compile group: 'com.j256.ormlite', name: 'ormlite-jdbc', version: '5.1'
    compile group: 'javax.persistence', name: 'persistence-api', version: '1.0.2'
    compile group: 'org.reflections', name: 'reflections', version: '0.9.10'
    compile group: 'log4j', name: 'log4j', version: '1.2.17'

Теперь пишем класс - модель (вы создаете для моделей отдельный пакет, имя которого нужно будет указать в сервисе для ORM). Экземпляры этого класса получатся в результате распарсивания и их же мы используем для записи в БД с помощью нашей ОРМ.

import java.util.Map;
import javax.persistence.Column;
import javax.persistence.Entity;
import javax.persistence.Id;

@lombok.Data
@lombok.NoArgsConstructor
@lombok.EqualsAndHashCode(callSuper = false)
@lombok.experimental.FieldDefaults(level = lombok.AccessLevel.PRIVATE)
@Entity(name = "book")
public class Book extends GeneratedObject {

    private static final long serialVersionUID = -1250491311329285427L;
    
    @Id
    //@GeneratedValue(strategy = GenerationType.IDENTITY)
    Long id;
    
    @Column(name = "inv_number")
    Long invNumber;
    
    @Column(name = "name")
    String name;
    
    @Column(name = "commissioning_date")
    String commissioningDate;
    
    @Column(name = "act_namber")
    String actNumber;
    
    @Column(name = "write_off_date")
    String writeOffDate;
    
    @Column(name = "write_off_act_number")
    String writeOffActNumber;
    
    @Column(name = "initial_cost")
    String initialCost;
    
    @Column(name = "object_placement")
    String objectPlacement;
    
    @Column(name = "responsible_name")
    String responsibleName;
    
    @Column(name = "responsible_phone")
    String responsiblePhone;
    
    @Column(name = "responsible_position")
    String responsiblePosition;
    
    @Column(name = "korpus_number")
    Integer korpusNumber;
    
    @Column(name = "audience_number")
    String audienceNumber;

    public Book(Map<String, String> values) {
        super(values);
        initFromCSV();
    }

    private void initFromCSV() {
        this.id = super.readLong("id");
        this.invNumber = super.readLong("Инвент.Номер");
        this.name = super.readString("Наименование объекта");  
        this.commissioningDate = super.readString("Дата ввода в эксплуатацию");
        this.actNumber = super.readString("№ акта ввода");        
        this.writeOffDate = super.readString("Дата списания");
        this.writeOffActNumber = super.readString("№ акта списания");
        this.initialCost = super.readString("Начальная стоимость");
        this.objectPlacement = super.readString("Уточнение размещения объекта учета");
        this.responsibleName = super.readString("ФИО ответственного");
        this.responsiblePhone = super.readString("Номер телефона ответственного");
        this.responsiblePosition = super.readString("Должность отвественного");
        this.korpusNumber = super.readInteger("№ копруса");
        this.audienceNumber = super.readString("№ аудитории");
    }

}

Супер класс для этой модели выглядит так(как и для всех ваших моделей)

import java.io.Serializable;
import java.util.Map;

@lombok.NoArgsConstructor
@lombok.EqualsAndHashCode
@lombok.ToString
public abstract class GeneratedObject implements Serializable {

    private static final long serialVersionUID = -5974468198694897022L;

    @javax.persistence.Transient
    private Map<String, String> values;
    
    public GeneratedObject(final Map<String, String> values) {
        this.values = values;
    }

    protected Integer readInteger(final String valueName) {
        try {
            return Integer.valueOf(this.values.get(valueName));
        } catch (NullPointerException e) {
            return null;
        }
    }

    protected Long readLong(final String valueName) {
        try {
            return Long.valueOf(this.values.get(valueName));
        } catch (NullPointerException e) {
            return null;
        }
    }

    protected Double readDouble(final String valueName) {
        try {
            return Double.valueOf(this.values.get(valueName).replace(",", ".").trim());
        } catch (NullPointerException e) {
            return null;
        }
    }

    protected String readString(final String valueName) {
        return valueName == null ? null : this.values.get(valueName.trim());
    }
    
}

Когда есть модель, напишем наш парсер. Я хочу, чтобы он был универсальным и мы переиспользовали его для остальных моделей.

import au.com.bytecode.opencsv.CSVReader;
import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.InputStreamReader;
import java.nio.charset.Charset;
import java.util.ArrayList;
import java.util.LinkedHashMap;
import java.util.List;
import java.util.Map;

public class CsvParser {
    
    private final static Class[] CONSTRUCTORS_ARGS = {Map.class};
    
    public <T> List<T> loadCSV(final String csvPath, final Class<T> clazz) throws Exception {
        //read from resoursec folder
//        try (final InputStreamReader inputStreamReader = new InputStreamReader
//                (new BufferedInputStream(CsvParser.class.getClassLoader()
//                        .getResourceAsStream(csvPath)), Charset.defaultCharset())) {
        try (final InputStreamReader inputStreamReader = new InputStreamReader
                (new BufferedInputStream(new FileInputStream(csvPath)), Charset.defaultCharset())) {
            
            final List<String[]> rows = new CSVReader(inputStreamReader, ';').readAll();
            
            final String[] columnsNames = ((String[]) rows.remove(0));
            
            final List<T> valuesList = new ArrayList<>(rows.size());
            
            for (final String[] value : rows) {
                final Map<String, String> values = new LinkedHashMap(value.length);
                for (int i = 0; i < value.length; i++) values.put(columnsNames[i], value[i]);
                T t = clazz.getDeclaredConstructor(CONSTRUCTORS_ARGS).newInstance(values);
                valuesList.add(t);
            }            
            return valuesList;            
        }
        
    }
    
}

Вызов будет выглядеть так

List<Book> loadCSV = new CsvParser().loadCSV("invent.book.csv", Book.class);

Результат выполнения - коллекция объектов Book. Осталось записать в БД. Для этого сделаем сервис леер. Чтобы не дублировать код, создадим интерфейс и абстрактный класс с универсальной (основанной на дженериках) реализацией для стандартных методов работы с БД. Выглядит это так.

import java.util.List;

public interface BaseService <T extends GeneratedObject, ID> {
    T save(final T t);
    T findById(final ID id);    
    List<T> findAll();
    void delete(T t);
    void saveAll(List<T> ts);
}



import com.j256.ormlite.dao.Dao;
import com.j256.ormlite.dao.DaoManager;
import com.j256.ormlite.jdbc.JdbcConnectionSource;
import com.j256.ormlite.support.ConnectionSource;
import com.j256.ormlite.table.TableUtils;
import java.io.IOException;
import java.sql.SQLException;
import java.util.Collection;
import java.util.List;
import java.util.Set;
import javax.persistence.Entity;
import org.reflections.Reflections;

@lombok.extern.log4j.Log4j
public abstract class BaseServiceImpl <T extends GeneratedObject, ID> implements BaseService <T,ID>{
    
    private static final String ENTITY_PACKAGE_NAME = "PATH_TO_PACKAGE_WITH_ENTITY";
    
    private final static String DB_URL = "YOUR_DB_URL";    
    private final static String DB_USERNAME = "YOUR_DB_USERNAME"; 
    private final static String DB_PASSWORD = "YOUR_DB_PASSWORD"; 
        
    private static final ConnectionSource CONNECTION;    
    static {CONNECTION = createConnectionSource(DB_URL, ENTITY_PACKAGE_NAME, DB_USERNAME, DB_PASSWORD);}
    
    protected Dao<T, ID> dao;
    
    public BaseServiceImpl(final Class <T>clazz) {
        try {
            this.dao = DaoManager.createDao(CONNECTION, clazz);
        } catch (SQLException ex) {
            log.error(BaseServiceImpl.class.getName(), ex);
        }
    }
    
    @Override
    public T findById (final ID id) {
        try {
            return dao.queryForId(id);
        } catch (SQLException ex) {
            log.error("FindByName(): " + ex.getMessage());
            return null;
        }
    }
    
    @Override
    public List<T> findAll() {
        try {
            return dao.queryForAll();
        } catch (SQLException ex) {
            log.error("FindAll(): " + ex.getMessage());
            return null;
        }     
    }
    
    @Override
    public void delete(T t) {
        try {
            dao.delete(t);
        } catch (SQLException ex) {
            log.error("Delete(): " + ex.getMessage());
        }
    }
    
    @Override
    public T save(final T t) {
        try {
            final ID id = dao.extractId(t);
            if (id != null && dao.idExists(id)) dao.update(t);
            else dao.create(t);            
        } catch (SQLException ex) {
            log.error("Save(): " + ex.getMessage());
        }
        return t;
    }
    
    @Override
    public void saveAll(List<T> ts) {
        for (final T t : ts) save(t);
    }
        
    protected void dropAndStore(final Collection<T> t) throws SQLException {
        drop();
        create();
        if (t!=null) dao.create(t);
    }
    
    private void drop() throws SQLException {
        TableUtils.dropTable(dao, true);
    }
    
    private void create() throws SQLException {
        TableUtils.createTable(dao);
    }
    
    
    private static ConnectionSource createConnectionSource(final String dbUrl, final String packageName, String userName, String password) {
        if (userName==null || password==null) return createConnectionSource(dbUrl, packageName);
        try (final ConnectionSource connectionSource = new JdbcConnectionSource(dbUrl, userName, password)) {
            return createConnectionSource(connectionSource, packageName);
        } catch (SQLException | IOException e) {return null;}
    }
    
    private static ConnectionSource createConnectionSource(final String dbUrl, final String packageName) {
        try (final ConnectionSource connectionSource = new JdbcConnectionSource(dbUrl)) {
            return createConnectionSource(connectionSource, packageName);
        } catch (SQLException | IOException e) {
            return null;
        }
    }
    
    private static ConnectionSource createConnectionSource(final ConnectionSource connectionSource, final String packageName) {
        final Set<Class<?>> reflections = new Reflections(packageName).getTypesAnnotatedWith(Entity.class);
        for (final Class clazz : reflections) {
            log.info("Creating table '" + clazz.getName() + "'");
            try {
                TableUtils.createTableIfNotExists(connectionSource, clazz);
            } catch (SQLException e) {
                log.info("Table " + clazz.getName() + " already exist");
                //do nothing
            }
        }
        return connectionSource;
    }
    
}   

В классе BaseServiceImpl все статические методы отвечают за создание коннекта к бд и ее инициализацию. Это далеко не лучшая практика, поэтому вы можете изменить это. Важно получить объект ConnectionSource.

Теперь все просто. Поскольку все методы работы с БД реализованы на абстрактном уровне, наш сервис работы с БД для модели Book выглядит проще некуда (как и все остальные будущие сервисы), достаточно лишь унаследоваться от класса BaseServiceImpl.

public class BookService extends BaseServiceImpl<Book, Long>{

public BookService() {
    super(Book.class);
}

}

Вот и все. В классе BaseServiceImpl вам нужно указать путь к пакету с классами-моделями, а также данные для подключения к БД.

Можете задавать вопросы)

16
  • на самом деле, вопросов очень много, я мало что поняла в коде, и я не понимаю надо ли мне это все для того, что бы совершить поиск по инвентарному номеру и по фрагменту названия 2 июн 2020 в 16:48
  • у вас задача другая в вопросе. распарсить файл, сохранить в бд. при этом файлов несколько. я показал вам, как это можно сделать нормальным способом. и вы поймете это, когда попытаетесь парсить и сохранять новые файлы, поскольку в текущей реализации нужно лишь добавлять модели, указывая соответствия полей данным из файла в конструкторе, и добавлять пустой сервис. альтернатива - писать сырые sql для не просто для каждой таблицы, а для каждого действия, а также каждый раз писать новый парсер для каждого файла. поиск по номеру и фрагменту названия можно сделать в бд и в коллекции. вам что надо? 2 июн 2020 в 17:16
  • задача состоит в том, что у меня есть 1 файл и несколько таблиц в бд, необходимо заполнить 3 таблицы данными из файла с расширением csv, далее выполнить поиск по инвентарному номеру и фрагменту назввания 2 июн 2020 в 17:20
  • так тоже можно. но для начала эти данные нужно распарсить и записать в бд. у вас получилось это сделать? 2 июн 2020 в 17:21
  • не получалось, поэтому я и написала здесь этот вопрос 2 июн 2020 в 18:12

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.