Особого смысла запускать большое количество потоков - нет. Увеличение количества потоков имеет смысл до определенного предела, а дальше ресурсы сервера БД или ресурсы компьютера, где вы запускаете свое приложение, или пропускная способность сети станут узким горлышком и потоки все равно будут ждать конкурируя за ресурсы (или вообще их все исчерпают, как в вашем случае). Обычно речь идет максимум о десятке (а чаще еще меньше) потоков, и точно не о сотне.
Гораздо лучше со всех точек зрения загружать данные из небольшого количества потоков, используя одно и то же соединение к БД в каждом потоке. Это можно делать или с помощью connection pool типа HikariCP, если существующая структура вашего приложения подразумевает/требует открытия новых соединений, или просто повторно используя тот же объект javax.sql.Connection (хотя если вы используете jdbcTeamplate, то прямое использование jdbcTemplate.getDataSource()
выглядит подозрительным - это неканоническое использование jdbcTemplate
) для выполнения запросов.
Далее, имеет смысл рассмотреть использовать batch вставку используя batchUpdate
из jdbcTemplate
(что под капотом будет использовать PreparedStatement). Это обычно не требует больших переделок программы.
Еще лучше для вставки данных использовать операцию COPY с помощью CopyManager. Это самый лучший по производительности способ, но требует определенных изменений в программе.
После того как добавили код видно, что как минимум одна большая проблема с тем что создается новое соединение jdbcTemplate.getDataSource().getConnection()
несколько раз на одной итерации цикла и никогда не закрывается. Каждой итерации создается 2 новых соединения, так что на сервере очень быстро достигается лимит. Делайте как-то так (это ручное повторное использование соединения, как я предлагал выше):
@Autowired
public void loadIntoDb() throws Throwable {
try (Connection connection = jdbcTemplate.getDataSource().getConnection()) {
for (int i = 0; i <= Parser.lenght; i++)
jdbcTemplate.update(
"INSERT INTO db VALUES (?,?,?,?,?)",
someObject.getList().get(i).getString(),
createStringSqlArray(
connection,
someObject.getList().get(i).getAnotherList()),
someObject.getList().get(i).getString(),
someObject.getList().get(i).getInt(),
createStringSqlArray(
connection,
someObject.getList().get(i).getAnotherList()));
}
private java.sql.Array createStringSqlArray(Connection connection, List<String> list) {
java.sql.Array strArray = null;
try {
strArray = connection.createArrayOf("text", list.toArray());
} catch (SQLException ignore) {
}
return strArray;
}
Ну или если есть сконфигурирован connection pool, то можно оставить создание соединения в методе createStringSqlArray
, но добавить закрытие (это повторное использование соединения с помощью пула):
try (Connection connection = jdbcTemplate.getDataSource().getConnection()) {
strArray = connection.createArrayOf("text", list.toArray());
} catch (SQLException ignore) {
}
А еще лучше не открывать соединение для создания sql array вовсе, а использовать готовое с помощью org.springframework.jdbc.support.SqlValue, как описано тут
hikariConfig.setMaximumPoolSize(30); hikariConfig.setMaxLifetime(120000);