1

у меня есть 3 класса с таблицами баз данных и в каждый надо добавить некоторые столбцы из таблицы файла csv, есть у кого нибудь пример как происходит импорт данных из таблицы с расширением csv? или методичка? я искала, но не нашла. Помогите пожаалуйста

public class DBObjectType extends SQLiteOpenHelper {
public static final int DATABASE_VERSION=1;
public static final String DATABASE_NAME= "Inventory_Tracking";
public static final String TABLE_CONSTACTS= "constacts";
public static final String KEY_ID="id";
public static final String NAME="name";
public DBObjectType(@Nullable Context context) {
super(context, DATABASE_NAME, null, DATABASE_VERSION);
}
@Override
public void onCreate(SQLiteDatabase db)
{
db.execSQL("create table " + TABLE_CONSTACTS + "(" + KEY_ID
+ " integer primary key, " + NAME
+ " text " + ")");
}
@Override
public void onUpgrade(SQLiteDatabase db, int oldVersion, int newVersion) {
db.execSQL("drop table if exists " + TABLE_CONSTACTS) ;
onCreate(db);
}
}

https://yadi.sk/d/BoFbuhyeIryP5Q (ссылка на файл csv)

13
  • вы же учите джаву) напишите парсер файла, можете использовать для чтения csv какую-то билиотеку, а потом сохраните в БД 1 июн 2020 в 19:56
  • нам дали задание на самостоятельное изучение, работаем с ней сравнительно недавно, поэтому и не знаю как это сделать 1 июн 2020 в 19:59
  • 1
    такая задача и не предполагает, что вы магистр йода)) поделите все на задачи. 1)прочитать csv-файл. 2)распарсить csv, т.е. получить из него объекты , которые поместиь в коллекцию. 3)сохранить коллекцию объектов в базу данных. на каком именно шаге у вас трудности? 1 июн 2020 в 20:21
  • ну вообще то на всех, я создала 3 класса (таблицы) и теперь предстоит импорт, я не понимаю с чего и как начать 1 июн 2020 в 20:29
  • ну для начала покажите файлы и ваши классы-модели. а с чего начинать я уже написал. 1 - чтение файлов с накопителя. с этим ест трудности? 1 июн 2020 в 20:42

1 ответ 1

1

Ситуация такова... Я написал вам пример парсера, модели и сервиса для сохранения в бд. Парсер работает, а сервис надо будет доделывать. поскольку настройки БД у каждого свои, мало того, БД у всех разная. нужен драйвер в зависимостях плюс урл, имя пользователя, пароль для доступа. У меня нет геттеров, сеттеров и прочего шаблонного кода, это генерирует зависимость, именуемая ломбок (но вы можете изменить это). Плюс ORMLite на вашей совести, я использую ее здесь.

Итак, это мои зависимости :

    compile group: 'org.projectlombok', name: 'lombok', version: '1.18.10'
    annotationProcessor 'org.projectlombok:lombok:1.18.10'   
    compile group: 'au.com.bytecode', name: 'opencsv', version: '2.4'
    compile group: 'com.j256.ormlite', name: 'ormlite-core', version: '5.1'
    compile group: 'com.j256.ormlite', name: 'ormlite-jdbc', version: '5.1'
    compile group: 'javax.persistence', name: 'persistence-api', version: '1.0.2'
    compile group: 'org.reflections', name: 'reflections', version: '0.9.10'
    compile group: 'log4j', name: 'log4j', version: '1.2.17'

Теперь пишем класс - модель (вы создаете для моделей отдельный пакет, имя которого нужно будет указать в сервисе для ORM). Экземпляры этого класса получатся в результате распарсивания и их же мы используем для записи в БД с помощью нашей ОРМ.

import java.util.Map;
import javax.persistence.Column;
import javax.persistence.Entity;
import javax.persistence.Id;

@lombok.Data
@lombok.NoArgsConstructor
@lombok.EqualsAndHashCode(callSuper = false)
@lombok.experimental.FieldDefaults(level = lombok.AccessLevel.PRIVATE)
@Entity(name = "book")
public class Book extends GeneratedObject {

    private static final long serialVersionUID = -1250491311329285427L;
    
    @Id
    //@GeneratedValue(strategy = GenerationType.IDENTITY)
    Long id;
    
    @Column(name = "inv_number")
    Long invNumber;
    
    @Column(name = "name")
    String name;
    
    @Column(name = "commissioning_date")
    String commissioningDate;
    
    @Column(name = "act_namber")
    String actNumber;
    
    @Column(name = "write_off_date")
    String writeOffDate;
    
    @Column(name = "write_off_act_number")
    String writeOffActNumber;
    
    @Column(name = "initial_cost")
    String initialCost;
    
    @Column(name = "object_placement")
    String objectPlacement;
    
    @Column(name = "responsible_name")
    String responsibleName;
    
    @Column(name = "responsible_phone")
    String responsiblePhone;
    
    @Column(name = "responsible_position")
    String responsiblePosition;
    
    @Column(name = "korpus_number")
    Integer korpusNumber;
    
    @Column(name = "audience_number")
    String audienceNumber;

    public Book(Map<String, String> values) {
        super(values);
        initFromCSV();
    }

    private void initFromCSV() {
        this.id = super.readLong("id");
        this.invNumber = super.readLong("Инвент.Номер");
        this.name = super.readString("Наименование объекта");  
        this.commissioningDate = super.readString("Дата ввода в эксплуатацию");
        this.actNumber = super.readString("№ акта ввода");        
        this.writeOffDate = super.readString("Дата списания");
        this.writeOffActNumber = super.readString("№ акта списания");
        this.initialCost = super.readString("Начальная стоимость");
        this.objectPlacement = super.readString("Уточнение размещения объекта учета");
        this.responsibleName = super.readString("ФИО ответственного");
        this.responsiblePhone = super.readString("Номер телефона ответственного");
        this.responsiblePosition = super.readString("Должность отвественного");
        this.korpusNumber = super.readInteger("№ копруса");
        this.audienceNumber = super.readString("№ аудитории");
    }

}

Супер класс для этой модели выглядит так(как и для всех ваших моделей)

import java.io.Serializable;
import java.util.Map;

@lombok.NoArgsConstructor
@lombok.EqualsAndHashCode
@lombok.ToString
public abstract class GeneratedObject implements Serializable {

    private static final long serialVersionUID = -5974468198694897022L;

    @javax.persistence.Transient
    private Map<String, String> values;
    
    public GeneratedObject(final Map<String, String> values) {
        this.values = values;
    }

    protected Integer readInteger(final String valueName) {
        try {
            return Integer.valueOf(this.values.get(valueName));
        } catch (NullPointerException e) {
            return null;
        }
    }

    protected Long readLong(final String valueName) {
        try {
            return Long.valueOf(this.values.get(valueName));
        } catch (NullPointerException e) {
            return null;
        }
    }

    protected Double readDouble(final String valueName) {
        try {
            return Double.valueOf(this.values.get(valueName).replace(",", ".").trim());
        } catch (NullPointerException e) {
            return null;
        }
    }

    protected String readString(final String valueName) {
        return valueName == null ? null : this.values.get(valueName.trim());
    }
    
}

Когда есть модель, напишем наш парсер. Я хочу, чтобы он был универсальным и мы переиспользовали его для остальных моделей.

import au.com.bytecode.opencsv.CSVReader;
import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.InputStreamReader;
import java.nio.charset.Charset;
import java.util.ArrayList;
import java.util.LinkedHashMap;
import java.util.List;
import java.util.Map;

public class CsvParser {
    
    private final static Class[] CONSTRUCTORS_ARGS = {Map.class};
    
    public <T> List<T> loadCSV(final String csvPath, final Class<T> clazz) throws Exception {
        //read from resoursec folder
//        try (final InputStreamReader inputStreamReader = new InputStreamReader
//                (new BufferedInputStream(CsvParser.class.getClassLoader()
//                        .getResourceAsStream(csvPath)), Charset.defaultCharset())) {
        try (final InputStreamReader inputStreamReader = new InputStreamReader
                (new BufferedInputStream(new FileInputStream(csvPath)), Charset.defaultCharset())) {
            
            final List<String[]> rows = new CSVReader(inputStreamReader, ';').readAll();
            
            final String[] columnsNames = ((String[]) rows.remove(0));
            
            final List<T> valuesList = new ArrayList<>(rows.size());
            
            for (final String[] value : rows) {
                final Map<String, String> values = new LinkedHashMap(value.length);
                for (int i = 0; i < value.length; i++) values.put(columnsNames[i], value[i]);
                T t = clazz.getDeclaredConstructor(CONSTRUCTORS_ARGS).newInstance(values);
                valuesList.add(t);
            }            
            return valuesList;            
        }
        
    }
    
}

Вызов будет выглядеть так

List<Book> loadCSV = new CsvParser().loadCSV("invent.book.csv", Book.class);

Результат выполнения - коллекция объектов Book. Осталось записать в БД. Для этого сделаем сервис леер. Чтобы не дублировать код, создадим интерфейс и абстрактный класс с универсальной (основанной на дженериках) реализацией для стандартных методов работы с БД. Выглядит это так.

import java.util.List;

public interface BaseService <T extends GeneratedObject, ID> {
    T save(final T t);
    T findById(final ID id);    
    List<T> findAll();
    void delete(T t);
    void saveAll(List<T> ts);
}



import com.j256.ormlite.dao.Dao;
import com.j256.ormlite.dao.DaoManager;
import com.j256.ormlite.jdbc.JdbcConnectionSource;
import com.j256.ormlite.support.ConnectionSource;
import com.j256.ormlite.table.TableUtils;
import java.io.IOException;
import java.sql.SQLException;
import java.util.Collection;
import java.util.List;
import java.util.Set;
import javax.persistence.Entity;
import org.reflections.Reflections;

@lombok.extern.log4j.Log4j
public abstract class BaseServiceImpl <T extends GeneratedObject, ID> implements BaseService <T,ID>{
    
    private static final String ENTITY_PACKAGE_NAME = "PATH_TO_PACKAGE_WITH_ENTITY";
    
    private final static String DB_URL = "YOUR_DB_URL";    
    private final static String DB_USERNAME = "YOUR_DB_USERNAME"; 
    private final static String DB_PASSWORD = "YOUR_DB_PASSWORD"; 
        
    private static final ConnectionSource CONNECTION;    
    static {CONNECTION = createConnectionSource(DB_URL, ENTITY_PACKAGE_NAME, DB_USERNAME, DB_PASSWORD);}
    
    protected Dao<T, ID> dao;
    
    public BaseServiceImpl(final Class <T>clazz) {
        try {
            this.dao = DaoManager.createDao(CONNECTION, clazz);
        } catch (SQLException ex) {
            log.error(BaseServiceImpl.class.getName(), ex);
        }
    }
    
    @Override
    public T findById (final ID id) {
        try {
            return dao.queryForId(id);
        } catch (SQLException ex) {
            log.error("FindByName(): " + ex.getMessage());
            return null;
        }
    }
    
    @Override
    public List<T> findAll() {
        try {
            return dao.queryForAll();
        } catch (SQLException ex) {
            log.error("FindAll(): " + ex.getMessage());
            return null;
        }     
    }
    
    @Override
    public void delete(T t) {
        try {
            dao.delete(t);
        } catch (SQLException ex) {
            log.error("Delete(): " + ex.getMessage());
        }
    }
    
    @Override
    public T save(final T t) {
        try {
            final ID id = dao.extractId(t);
            if (id != null && dao.idExists(id)) dao.update(t);
            else dao.create(t);            
        } catch (SQLException ex) {
            log.error("Save(): " + ex.getMessage());
        }
        return t;
    }
    
    @Override
    public void saveAll(List<T> ts) {
        for (final T t : ts) save(t);
    }
        
    protected void dropAndStore(final Collection<T> t) throws SQLException {
        drop();
        create();
        if (t!=null) dao.create(t);
    }
    
    private void drop() throws SQLException {
        TableUtils.dropTable(dao, true);
    }
    
    private void create() throws SQLException {
        TableUtils.createTable(dao);
    }
    
    
    private static ConnectionSource createConnectionSource(final String dbUrl, final String packageName, String userName, String password) {
        if (userName==null || password==null) return createConnectionSource(dbUrl, packageName);
        try (final ConnectionSource connectionSource = new JdbcConnectionSource(dbUrl, userName, password)) {
            return createConnectionSource(connectionSource, packageName);
        } catch (SQLException | IOException e) {return null;}
    }
    
    private static ConnectionSource createConnectionSource(final String dbUrl, final String packageName) {
        try (final ConnectionSource connectionSource = new JdbcConnectionSource(dbUrl)) {
            return createConnectionSource(connectionSource, packageName);
        } catch (SQLException | IOException e) {
            return null;
        }
    }
    
    private static ConnectionSource createConnectionSource(final ConnectionSource connectionSource, final String packageName) {
        final Set<Class<?>> reflections = new Reflections(packageName).getTypesAnnotatedWith(Entity.class);
        for (final Class clazz : reflections) {
            log.info("Creating table '" + clazz.getName() + "'");
            try {
                TableUtils.createTableIfNotExists(connectionSource, clazz);
            } catch (SQLException e) {
                log.info("Table " + clazz.getName() + " already exist");
                //do nothing
            }
        }
        return connectionSource;
    }
    
}   

В классе BaseServiceImpl все статические методы отвечают за создание коннекта к бд и ее инициализацию. Это далеко не лучшая практика, поэтому вы можете изменить это. Важно получить объект ConnectionSource.

Теперь все просто. Поскольку все методы работы с БД реализованы на абстрактном уровне, наш сервис работы с БД для модели Book выглядит проще некуда (как и все остальные будущие сервисы), достаточно лишь унаследоваться от класса BaseServiceImpl.

public class BookService extends BaseServiceImpl<Book, Long>{

public BookService() {
    super(Book.class);
}

}

Вот и все. В классе BaseServiceImpl вам нужно указать путь к пакету с классами-моделями, а также данные для подключения к БД.

Можете задавать вопросы)

16
  • на самом деле, вопросов очень много, я мало что поняла в коде, и я не понимаю надо ли мне это все для того, что бы совершить поиск по инвентарному номеру и по фрагменту названия 2 июн 2020 в 16:48
  • у вас задача другая в вопросе. распарсить файл, сохранить в бд. при этом файлов несколько. я показал вам, как это можно сделать нормальным способом. и вы поймете это, когда попытаетесь парсить и сохранять новые файлы, поскольку в текущей реализации нужно лишь добавлять модели, указывая соответствия полей данным из файла в конструкторе, и добавлять пустой сервис. альтернатива - писать сырые sql для не просто для каждой таблицы, а для каждого действия, а также каждый раз писать новый парсер для каждого файла. поиск по номеру и фрагменту названия можно сделать в бд и в коллекции. вам что надо? 2 июн 2020 в 17:16
  • задача состоит в том, что у меня есть 1 файл и несколько таблиц в бд, необходимо заполнить 3 таблицы данными из файла с расширением csv, далее выполнить поиск по инвентарному номеру и фрагменту назввания 2 июн 2020 в 17:20
  • так тоже можно. но для начала эти данные нужно распарсить и записать в бд. у вас получилось это сделать? 2 июн 2020 в 17:21
  • не получалось, поэтому я и написала здесь этот вопрос 2 июн 2020 в 18:12

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.