3

Столкнулся с проблемой при выборке большого количества данных.
Как оказалось Laravel связывает таблицы через оператор IN что не очень хорошо при выборке > 1M Model::with('user') получаем что-то вроде id in (1,2,3, ... 1000000)

Example: Есть таблица пользователей вида 'id', 'name', 'email', 'number', 'bdate' У каждого пользователя может быть создано в системе несколько проектов 'id', 'user_id', 'title', 'data', 'price', 'mode' поле user_id индексное

нужно выбрать всех пользователей и их проекты. Пускай модель выглядит так:

class User extends Model
{

    protected $table = 'users'

    public function project()
    {
      return $this->hasMany('App/Project', 'user_id', 'id');
    }

}

Какие есть варианты обхода ?

Да можно написать запрос самому с пагинацией и обрабатывать данный например по 50 000. Есть ли возможность сделать это средствами laravel при описании связи модели.

6
  • 4
    А кастомные where() или join() использовать не вариант?
    – VenZell
    12 авг 2016 в 18:45
  • @VenZell да вариант, но возможно есть менее очевидные методы.
    – Shadow33
    13 авг 2016 в 22:58
  • 1
    А можете показать конкретный пример, демонстрирующий вашу проблему? Нужен пример структуры таблиц и как вы их связываете в соответствующих моделях.
    – VenZell
    15 авг 2016 в 11:30
  • Таких выборок быть не должно ни в Laravel нигде, даже с join-ом таблицы милионники соединять - нельзя. Лучше помозговать и переделать выборку, переделать логику. Иначе с этим позже будут проблемы. 15 авг 2016 в 22:48
  • @ГончаровАлександр умные слова, но решения проблемы Вы не предлагаете к сожалению. Когда у меня была подобная проблема в Yii2 (схожие фреймверки), я ее решал добавлением полей счетчиков в модель пользователя (например счетчик колиества проэктов). Таким образом для главной страницы мне хватало данных из модели User, а уже при открытии страницы пользователя подтягивались все его проэкты. 19 авг 2016 в 6:15

1 ответ 1

1

что не очень хорошо при выборке > 1M Model::with('user') получаем что-то вроде id in (1,2,3, ... 1000000)

Это не нормально, джоинить таблицы-милионники. Надо менять структуры данных/алгоритмы - если такое возникает. Структуру данных под задачу всегда можно подобрать, при чём так, что всё работать будет быстро. Что надо конкретно - не описано, кроме как сджоинить большие таблицы. Поэтому ответ никто и не даёт.

P.S. Топ порталы , например, фейсбук, вк - при использовании SQL запрещают join - как раз по этой причине.

Как оказалось Laravel связывает таблицы через оператор IN

Не хочешь париться и оставить джоин, тоже решение - но тогда зачем пользоваться конструциями Laravel для выборки из ORM, коли они делают выборку с джоинами не так как хочется? Разве там нельзя получить БД-адаптер , вписать выборку с join-ом вручную, получить колонку id-шников, а затем в цикле по ним сформировать объекты юзеров? Думаю можно! Даже думаю можно скормить выборку id-шников объекту-пажинатору, который судя по комменту используется: чтобы он сам проставлял limit/offset или max id/min id.

Думаю можно и в "Репозитории пользователей"(или он может называться класс таблицы пользователей) - добавить метод, который формирует тебе такой список объектов User по твоей выборке. И это архитектурно верно.

P.S. Если в чём-то конкретно не прав, не пеняй - Laravel в глаза не видел. За то более чем видел Zend(1,2,3), Yii

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.