3

Столкнулся с проблемой при выборке большого количества данных.
Как оказалось Laravel связывает таблицы через оператор IN что не очень хорошо при выборке > 1M Model::with('user') получаем что-то вроде id in (1,2,3, ... 1000000)

Example: Есть таблица пользователей вида 'id', 'name', 'email', 'number', 'bdate' У каждого пользователя может быть создано в системе несколько проектов 'id', 'user_id', 'title', 'data', 'price', 'mode' поле user_id индексное

нужно выбрать всех пользователей и их проекты. Пускай модель выглядит так:

class User extends Model
{

    protected $table = 'users'

    public function project()
    {
      return $this->hasMany('App/Project', 'user_id', 'id');
    }

}

Какие есть варианты обхода ?

Да можно написать запрос самому с пагинацией и обрабатывать данный например по 50 000. Есть ли возможность сделать это средствами laravel при описании связи модели.

6
  • 4
    А кастомные where() или join() использовать не вариант?
    – VenZell
    Commented 12 авг. 2016 в 18:45
  • @VenZell да вариант, но возможно есть менее очевидные методы.
    – Shadow33
    Commented 13 авг. 2016 в 22:58
  • 1
    А можете показать конкретный пример, демонстрирующий вашу проблему? Нужен пример структуры таблиц и как вы их связываете в соответствующих моделях.
    – VenZell
    Commented 15 авг. 2016 в 11:30
  • Таких выборок быть не должно ни в Laravel нигде, даже с join-ом таблицы милионники соединять - нельзя. Лучше помозговать и переделать выборку, переделать логику. Иначе с этим позже будут проблемы. Commented 15 авг. 2016 в 22:48
  • @ГончаровАлександр умные слова, но решения проблемы Вы не предлагаете к сожалению. Когда у меня была подобная проблема в Yii2 (схожие фреймверки), я ее решал добавлением полей счетчиков в модель пользователя (например счетчик колиества проэктов). Таким образом для главной страницы мне хватало данных из модели User, а уже при открытии страницы пользователя подтягивались все его проэкты. Commented 19 авг. 2016 в 6:15

1 ответ 1

1

что не очень хорошо при выборке > 1M Model::with('user') получаем что-то вроде id in (1,2,3, ... 1000000)

Это не нормально, джоинить таблицы-милионники. Надо менять структуры данных/алгоритмы - если такое возникает. Структуру данных под задачу всегда можно подобрать, при чём так, что всё работать будет быстро. Что надо конкретно - не описано, кроме как сджоинить большие таблицы. Поэтому ответ никто и не даёт.

P.S. Топ порталы , например, фейсбук, вк - при использовании SQL запрещают join - как раз по этой причине.

Как оказалось Laravel связывает таблицы через оператор IN

Не хочешь париться и оставить джоин, тоже решение - но тогда зачем пользоваться конструциями Laravel для выборки из ORM, коли они делают выборку с джоинами не так как хочется? Разве там нельзя получить БД-адаптер , вписать выборку с join-ом вручную, получить колонку id-шников, а затем в цикле по ним сформировать объекты юзеров? Думаю можно! Даже думаю можно скормить выборку id-шников объекту-пажинатору, который судя по комменту используется: чтобы он сам проставлял limit/offset или max id/min id.

Думаю можно и в "Репозитории пользователей"(или он может называться класс таблицы пользователей) - добавить метод, который формирует тебе такой список объектов User по твоей выборке. И это архитектурно верно.

P.S. Если в чём-то конкретно не прав, не пеняй - Laravel в глаза не видел. За то более чем видел Zend(1,2,3), Yii

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.