0

Всем привет.
Имеется следующий код:

/*В данном цикле необходимо переменной $text присвоить значение LIMIT 100 и выполнять его повторно только после того, как массив из данного цикла был обработан следующими foreach циклами. В переменной $text хранится ID поста и сам текст.*/
for ($i = 0; ; $i = $i+100) {
    $text = $this->db->query("SELECT text, id FROM tabler WHERE key = 0 (LIMIT 100, $i)")->getResultArray();
    if (!empty($sql)) {
        break;
    }
}

/*Ниже мы объявляем переменную $tag, далее в цикле подготавливаем каждое ключевое слово к регулярке. После, во вложенном цикле проходимся всеми подготовленными регулярками по тексту новости для выборки всех возможных категорий. Такая реализация используется для того, что бы можно было использовать в БД ключевым словам/тегам * или .+, как пример*/
    $insert = '';
    $tag = $this->db->query("SELECT text, category FROM tags")
    foreach ($tag as $tags) {
        $tags_text = array($tags['text']);
        $depregex = "/" . implode("|", $tags_text ) . "/i";
        foreach ($text as $value) {
            $lowervalue = mb_strtolower($value);
            if (preg_match($depregex, $lowervalue, $matches)) {
                $insert.= "('$tags['category'], $value['id']'),";
            }
            else {
                //отдельный многострочный инсерт для тех новостей, где категория не была обнаружена
            }
        }
    }
    $insert = trim($insert, ',');
    $this->db->query("INSERT INTO tabler (category, id) VALUES $insert ON DUPLICATE KEY UPDATE id = VALUES(id)");

Задумка такова, что я в цикле хотел бы получать по 100 элементов массива из БД (от 0 до 100, от 100 до 200 и т.д.), а дальше проверять через соседний цикл foreach наличие определенных тэгов (второй цикл написан и работает), а в случае, если массив пустой - прерывать работу цикла for.
Текущий цикл for не вложен в соседний цикл foreach, но они оба располагаются в одной функции.

Имею следующий вопрос:

  1. Как правильно реализовать цикл for, что бы он в переменной хранил массив ровно до того момента, пока его не обработает соседний цикл foreach?
2
  • Напишите подробней, что за теги, откуда берутся и т.п. Есть подозрение что это одним запросом делается.. А по поводу лимита - вы его не трогайте.. лимит всегда 100 а оффсет только растёт
    – InDevX
    Commented 2 мар. 2023 в 19:53
  • @InDevX заапдейтил код
    – sadkin
    Commented 2 мар. 2023 в 20:04

1 ответ 1

0

@sadkin а выборка из таблицы tags это выборка ключевых слов и категорий?

Зачем тогда цикл по ним? У вас их там вроде было штук 40 же? Запихните эту выборку в массив, где ключом будет ключевое слово, а значением - категория. Из ключей сделайте одно регулярное выражение, через |.

Зачем там кстати mb_strtolower? У вас UTF-8? Регулярное выражение вида /.../ui будет искать для юникода независимо от регистра.

Насколько я помню категория определяется по первому найденному ключевому слову?

Пример:

<?php

$kwds = [
    'источник' => 1,
    'PHP' => 2,
    'базка' => 3,
    'слов' => 4
];

$pattern = "/[^\b](" . implode("|", array_keys($kwds)) .")\b/umi";

$text = <<< EOT
видимо я не понимаю источник постов. Если пост вводится / редактируется 
пользователем и сохраняется, 
то у вас явно есть валидация и сохранение и привязку можно делать где-то 
здесь. Собственно ~40 ключевых 
слов вполне в регулярное выражение влезают и анализируются на порядок 
вхождения (ну или не до конца 
понимаю задачу). Если же вы откуда-то парсите / получаете или пакеты уже 
готовых постов, то вы вполне 
можете организовать очередь их обработки. В общем - явно не хватает 
вводных данных для понимания. 
Но в целом, на мой взгляд, базка всегда менее масштабируема, чем PHP- 
приложение 

EOT;

if (preg_match($pattern, $text, $matches)) {
    echo "Найдено ключевое слово ". $matches[1] 
        . ", категория " . $kwds[$matches[1]] . PHP_EOL;
}

Если все же нужно искать все вхождения ключевых слов по порядку и привязывать к нескольким категориям, то:

if (preg_match_all($pattern, $text, $matches)) {
    foreach($matches[1] as $kw) {
        echo "Найдено ключевое слово ". $kw 
            . ", категория " . $kwds[$kw] . PHP_EOL;
    }
}

Исходя из комментария про проблемы с циклом, попробуем так подойти к задаче:

<?php
/*
 * Используем класс PDO для работы с базой
 */

// Коннект к базе, на примере MySQL
$dsn = 'mysql:dbname=<тут название базы>;host=<тут хост>';
$user = '<пользователь БД>';
$password = '<пароль к БД для пользователя>';
$dbh = new PDO($dsn, $user, $password);

// Формируем массив ключевых слов с категориями
$keywords = [];
$sql = "SELECT text, category FROM keywords"; // Запрос к таблице keywords, для получения ключевых слов 
                                              // как text и категорий, как category
if (($rows = $dbh->query($sql)->fetchAll(\PDO::FETCH_ASSOC))) {
    foreach($rows as $row) {
        $keywords[$row['text']] = $row['category'];
    }
}
// Формируем шаблон для регулярного выражения, для поиска первого по порядку точного вхождения ключевого слова целиком 
$pattern = $keywords? "/\b(" . implode("|", array_keys($keywords)) .")\b/umi" : false;


$sql = "SELECT id, text FROM tabler LIMIT %d, 100"; // Шаблон запроса для выборки постов из таблицы tabler(?), 
                                                    // для получения id поста и текста (text). Порциями по 100 постов за раз.
                                                    // функция sprintf(string, ...) выполнит подстановку в шаблон числового 
                                                    // значения $from на позицию %d
$from = 0; // Переменная offset отвечает за сдвиг в запросе

while(($rows = $dbh->query(sprintf($sql, $from))->fetchAll(\PDO::FETCH_ASSOC))) {
    foreach($rows as $post) {
        if ($pattern && preg_match($pattern, $post['text'], $matches)) {
            echo "Пост id " . $post['id'] . " относится к категории " . $keywords[$matches[1]] . " по слову ".$matches[1] . PHP_EOL;
        } else {
            echo "Для поста id " . $post['id'] . " не нашли ключевых слов" . PHP_EOL;
        } 
    }
    $from+=100; // увеличиваем сдвиг для следующей порции чтения постов
}
5
  • Спасибо за комментарий! Да, таблица tags хранит именно эти значения. Цикл использую для того, что ба за раз из базы брать ~ по 100 необработанных записей, далее по ним проходиться этим циклом (либо я не понял вопроса). По поводу таблицы: да, используется utf8mb4, он регистронезависимый, но т.к. я тестировал цикл ~ по 10 записям (которые записал в массив через php), то мне проще было на время тестов переводить все в нижний регистр, чем править текст в массиве)) P.S. Я решил, что раз уж использую php, а новость может относиться сразу к 2-3 категориям, то буду определять все возможные категории
    – sadkin
    Commented 2 мар. 2023 в 22:08
  • Как раз вот тут и встал вопрос о том, как сделать цикл, в котором будет переменная (селект новостей с лимитом в 100 записей) существовать ровно до того момента, пока всю эту информацию в полученном массиве не обработает цикл с включением новости в категорию, а после обработки всех полученных новостей, массив с этими новостями будет перезаписан вновь полученными данными из первого селекта (новости с лимитом в 100 записей).
    – sadkin
    Commented 2 мар. 2023 в 22:15
  • Что-то я не понимаю задачу в целом. Есть таблица с ключевыми словами и категориями - делаем из нее выборку всех слов и их категорий один раз. Загоняем в массив, где ключевое слово это индекс, а категория - значение. Затем пачками в цикле читаем посты, пока они есть. И внутри цикла получаем категорию по ключевому слову, как показал в коде. Можно обновить код в вопросе под эту схему? Потому что сейчас код странный Commented 3 мар. 2023 в 12:45
  • заапдейтил с комментариями и примером того, что будет происходить. Более развернуто объяснить не смогу, скорее всего из-за отсутствия каких-либо знаний
    – sadkin
    Commented 3 мар. 2023 в 20:06
  • Что-то легче не стало ))) Дописал код своего ответа из предположений что: 1) ключевые слова лежат в таблице keywords (id, text, category), 2) посты которые надо привязать по первому найденному в тексте поста ключевому слову - в таблице tabler (id, text,....) и 3) надо обойти все посты для того чтобы найти нужную категорию. Или я не понимаю вопрос ))) Commented 3 мар. 2023 в 22:24

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.