15

Здравствуйте. В базе данных есть таблица slovo, ее структура:

id - auto_increment 
name - само слово( уникальный )

Есть переменная: $text, которая содержит в себе некий текст.

В таблице slovo есть запись: id = 1, name = Яблоко , id = 2, name = дерево

$text = "В корзине лежит яблоко. В поле стоит дерево.";

Вопрос: каким образом определить, есть ли в переменной слова, которые находятся в таблице slovo, и если есть, то эти слова выделить в <span id="id_slovo">слово</span> , где id_slovo - значение id для этого слова из базы.

P.S. Учитывая то, что может быть и словосочетания.

Буду очень благодарен за любую полезную информацию.

7
  • база данных поддерживает SQL? 28 дек 2016 в 21:31
  • @MikhailVaysman, Да, конечно, база mysql
    – iKey
    28 дек 2016 в 21:31
  • морфологию русского языка надо учитывать? 28 дек 2016 в 21:34
  • @MikhailVaysman, желательно конечно... Было бы здорово. Но не обязательно. Главное чтоб на регистр(заглавные, строчные) не обращало внимания, то сеть, слова яблоко и Яблоко - принимались как одно и тоже.
    – iKey
    28 дек 2016 в 21:37
  • добавьте эту информацию в вопрос 28 дек 2016 в 21:40

7 ответов 7

6
//Сначала нужно найти все слова, бьем фразу в массив по пробелам

$words = explode(' ', $text);

//Затем проверяем каждое слово:

foreach($words as $word) {

    $word = trim($word); //убираем пробелы

    //Проверяем в базе, любимым адаптером выполняя запрос
    //Само собой никто не мешает заменить ILIKE на LIKE или =
    $wordId = $msSql->fetchOne("SELECT id FROM slove WHERE name ILIKE '{$word}'");


    //Если в базе такое слово есть, то заменяем его в тексте на нужный span
   if (!empty($wordId)) {
      $text = str_replace($word, "<span id='$wordId'>$word</span>", $text);
   }

}
9
  • А как в таком случае быть со словосочетаниями?
    – iKey
    28 дек 2016 в 21:48
  • Можно точно также, костылями. Берешь 2 слова последовательных, 3 слова последовательных, 4... в общем пока не надоест. Работать конечно будет, но очень плохо. Медленно и фраза "яблоко на дереве" не будет найдена если в базе есть "яблоки на дереве". Средствами mysql полнотекстовый поиск не знаю как решается, наверное никак. Если проект не старый, и подобный функционал полнотекстового поиска действительно нужен, то табличку со словами нужно перенести в postgres. Там нативные механизмы полнотекстового поиска, которые просто шикарно найдут "яблоко на дереве". 28 дек 2016 в 21:58
  • Да и в целом - postgres точно такой же как и mysql для начинающих, но там есть много крутых вещей которых нет в mysql. Это я не начинаю холивар если что :) И там и там много чего делал. 28 дек 2016 в 22:00
  • @DenisMatafonov, скажите пжл, а куда деваются запятые и точки из $text при explode в массив? Вернее в массив они не попадают?
    – TimurVI
    30 дек 2016 в 23:11
  • 1
    @TimurVI всякие знаки препинания можно отрезать в том месте где пробелы убираем, примерно так $word = trim($word, [' ', ',', '.', ';']); 5 янв 2017 в 16:42
4
$text = "В корзине лежит яблоко. В поле стоит дерево.";

// все слова из таблицы, присутствующие в тексте получаем одним запросом
$result = mysql_query("SELECT id, name FROM slovo
WHERE INSTR('" . mysql_escape_string($text) . "', name)");

// проходим по всем словам и делаем замену
while ($row = mysql_fetch_array($result, MYSQL_ASSOC)) {
    $text = str_ireplace($row['name'], 
        '<span id="word-' . $row['id'] . '">' . $row['name'] . '</span>', 
        $text); 
}
3

PHP MySQL PDO

Думаю что такое вот решение подойдет

    class ConnectPDO {

        private $connect = array(
            'login' => 'DB_USER',
            'password' => 'DB_PASS',
            'db' => 'slovo_db'
        );

        private $dbc;

        public function __construct() {
            $db_name=$this->connect['db'];
            $this->dbc = new PDO("mysql:host=localhost;dbname=$db_name;charset=utf8", $this->connect['login'], $this->connect['password']);
        }

    }

$connection=new ConnectPDO();

$sth = $connection->dbc->prepare("SELECT * FROM `slovo` WHERE `name` LIKE %:name% ");



$data = array();


    $text = "asd  sad asd as dasd asd asdasdas das das das";

    //explode делает массив из фразы с которым далее очень просто работать
    $text_aray = explode(" ", $text);

    foreach ($text_aray as $each) { 

        $sth->execute(array('name'=>$each));

        $result = $sth->fetchAll();

        $data[] = $result;
    }

    // отобразить все слова из базы
    foreach ($data as $data_block){
        foreach ($data_block as $each_row){
            echo '<span id="'.$each_row['id'].'">'.$each_row['name'].'</span><br>';
        }
    }

параметры, которые нужно заменить на на свои:

DB_USER юзер mysql 
DB_PASS пароль mysql
slovo_db база mysql
9
  • 1
    открывать новый коннект в pdo в цикле очень плохая практика. это очень плохой пример использования подготовленного выражения. никогда так не делайте.
    – Alex
    31 дек 2016 в 6:42
  • тогда можно просто создать подключение в __construct и использовать массив для передачи ` %:name% ",array('name'=>$each));` что есть best practice 31 дек 2016 в 12:37
  • это ни в коем случае не является best practice! Рекомендую еще раз почитать о принципах работы PDO. Не нужно готовить запрос повторно. Достаточно подготовить запрос лишь один раз и затем лишь передавать параметры. Вы же готовите запрос каждый раз в цикле.
    – Alex
    2 янв 2017 в 7:35
  • правда. но уже без повторного подключения.согласен. 2 янв 2017 в 11:52
  • Вы не поняли. 1 - подключение к бд повторно делать не нужно, тем более в цикле(это вы поправили). 2 - в pdo достаточно всего лишь один раз подготовить запрос и потом только подставлять параметры в подготовленный запрос. А Вы зачем-то это делаете каждый раз.
    – Alex
    2 янв 2017 в 13:09
3
+100
$text = "В корзине лежит яблоко. В поле стоит дерево.";
//заменяем несколько пустых символов на один (чтобы избежать ситуации, когда из-за нескольких пробелов сочетания не будут найдены)
$text = preg_replace('/\s{2,}/', ' ', $text);

//подключаемся к базе данных (на примере MYSQL, подправите под свою базу) и выбираем
// все слова из таблицы, присутствующие в тексте получаем одним запросом, сортируем по уменьшению длины слов (фраз).
// Это нужно, чтобы исключить вариант когда при наличии 2-х слов/фраз "яблоко", "лежит яблоко" после замены первого,
// второе не получится уже заменить, так как между ними уже будет span
try{
$link = new PDO(   'mysql:host=your-hostname;dbname=your-db;charset=utf8mb4',
                    'your-username',
                    'your-password',
                    array(
                        PDO::ATTR_ERRMODE => PDO::ERRMODE_EXCEPTION,
                        PDO::ATTR_PERSISTENT => false
                    )
                );

$handle = $link->prepare('SELECT id, name FROM slovo WHERE INSTR(?, name) ORDER BY CHAR_LENGTH(name) DESC');
$handle->bindValue(1, $text, PDO::PARAM_STR);
$handle->execute();
$result = $handle->fetchAll(PDO::FETCH_OBJ);

// проходим по всем словам и делаем замену
foreach($result as $row){

  //экранируем служебные символы " . \ + * ? [ ^ ] $ ( ) { } = ! < > | : - "
  $word = preg_quote($row->name);

  //используем регулярное выражение чтобы:
  //1) после замены регистр слов не был изменён
  //2) были заменены полностью слова а не только вхождения, например при слове "дерево", слово "деревообработка" останутся не тронутыми

  $text = preg_replace('/(^|\W)(' . $word . ')($|\W)/iu',  '\\1<span id="word-' . $row->id . '">\\2</span>\\3', $text);
}
}
catch(PDOException $ex){
    print($ex->getMessage());
}

если вы хотите использовать морфологию (например библиотеку phpMorphy), то я бы рекомендовал:

1) если количество записей в таблице slovo не большое, делать полную выборку

$handle = $link->prepare('SELECT id, name FROM slovo ORDER BY CHAR_LENGTH(name) DESC'); $handle->execute();

2) если количество записей в таблице slovo большое, то для уменьшения времени замены добавить в таблицу slovo столбик, в который помещать корень слова (можно автоматически через библиотеку) и по нему делать фильтрацию INSTR(?, new_column).

3) После при переборе слов перед

$word = preg_quote($row->name); 

сделать загрузку всех вариантов слова, а после сделать preg_replace для каждого варианта.

Решение не оформлялось в виде класса, так как, насколько я понимаю, это будет частью вашей задачи. здесь сосредоточено только на основных моментах.

3
  • А если name будет содержать один из служебных символов RegEx? 1 янв 2017 в 20:26
  • @P.Fateev добавлено экранирование служебных символов с помощью preg_quote
    – Alex
    1 янв 2017 в 20:43
  • если ставите минусы, то пожалуйста пишите за что, возможно это очень просто исправить....
    – Alex
    3 янв 2017 в 22:43
0

example

 <?php
  # there is no information about where this text is from... we have it in
  # varriable $text
  $text = "В корзине лежит яблоко. В поле стоит дерево.";

  #one row result from mysqli_fetch_assoc
  $replacement_arr = array("id"=>1, "name"=>"яблоко"); 

  echo 'before:'.$text."\n\t";
  f_process_text($text, $replacement_arr);
  echo 'after:'.$text."\n";


  function f_process_text(&$text, $replacement_arr){
     #set morphological phrases for $replacement_arr["name"];
     $phrases = f_get_phrases($replacement_arr["name"]); 
     list($patterns, $replacements) = f_get_prepared_fo_replacement_arrs($phrases, $replacement_arr["id"]);
     $text = preg_replace( $patterns, $replacements, $text);
  }

  #return array
  function f_get_phrases($words){
    $result = array();
    $result[] = $words;

    #to add phrases it is recomended to use [phpMorphy](http://phpmorphy.sourceforge.net/)

    return $result;
  }

  function f_get_prepared_fo_replacement_arrs($phrases, $id){
      $patterns = array();
      $replacements = array();
      foreach($phrases as $phrase){
          $patterns[] = '/'.$phrase.'/';
          $replacements[] = '<span id="'.$id.'">'.$phrase.'</span>';
      }
      return array($patterns, $replacements);
  }
?>
0

Вот такой касс у меня вышел:

<?php

/**
 * Поиск и замена фраз в строке
 * User: Rochfort
 */
class PhrasesReplacement
{
    /**
     * Текст
     * @var string
     */
    protected $text;
    /**
     * Массив фраз для замены
     * @var array
     */
    protected $phrases;
    /**
     * Массив подстрок для замены
     * @var array
     */
    protected $patterns = [];
    /**
     * Массив подстрок на замену
     * @var array
     */
    protected $replacements = [];

    /**
     * PhrasesReplacement constructor.
     * @param string $text
     * @param array $phrases
     */
    public function __construct(string $text = '', array $phrases = [])
    {
        if (!empty($text)) {
            $this->text = $text;
        }
        if (!empty($phrases)) {
            $this->phrases = $phrases;
        }
    }

    /**
     * Получить текст с заменами
     * @return string
     */
    public function getReplacedText()
    {
        if (empty($this->patterns) || empty($this->replacements)) {
            list($this->patterns, $this->replacements) = $this->getPatterns();
        }
        return preg_replace( $this->patterns, $this->replacements, $this->text);
    }

    /**
     * Формируем массивы для поиска и замены
     * @return array
     */
    protected function getPatterns() {
        $patterns = [];
        $replacements = [];

        foreach ($this->phrases as $phrase) {
            $name = preg_quote($phrase['name']);
            $patterns[] = '/('.$name.')/iu';
            $replacements[] = '<span id="'.$phrase['id'].'">$1</span>';
        }

        return [$patterns, $replacements];
    }

    /**
     * @return string
     */
    public function getText()
    {
        return $this->text;
    }

    /**
     * @param string $text
     * @return PhrasesReplacement
     */
    public function setText(string $text)
    {
        $this->text = $text;
        return $this;
    }

    /**
     * @return array
     */
    public function getPhrases()
    {
        return $this->phrases;
    }

    /**
     * @param array $phrases
     * @return PhrasesReplacement
     */
    public function setPhrases(array $phrases)
    {
        $this->patterns = [];
        $this->replacements = [];
        $this->phrases = $phrases;
        return $this;
    }
}

Работать с ним так:

$text = "В корзине лежит яблоко. В поле стоит дерево.";
$phrases = [
    ['id' => 1, 'name' => 'корзине лежит'],
    ['id' => 2, 'name' => 'дерево'],
];

$replacer = new PhrasesReplacement($text,$phrases);
echo $replacer->getReplacedText() . "\n";

$text2 = "В корзине ЛеЖаТ Яблоки. В поле стоит дерево.";
echo $replacer->setText($text2)->getReplacedText() . "\n";

$phrases = [
    ['id' => 1, 'name' => 'лежат яблоки']
];
echo $replacer->setPhrases($phrases)->getReplacedText() . "\n";

Ну и соответственно из базы удобнее всего будет получать значения так:

$dsn = 'mysql:dbname=dbname;host=127.0.0.1;port=3306';
$user = 'root';
$pass = 'root';
$pdo = new PDO($dsn, $user, $pass);

$sql = 'SELECT `id`, `name` FROM `slovo`;';
$stmt = $pdo->prepare($sql);
$stmt->setFetchMode(PDO::FETCH_ASSOC);
$stmt->execute();

$phrases = $stmt->fetchAll();
-1

Один вариант:

$dsn = 'mysql:host=localhost;dbname=...';
$user = '...';
$password = '...';

$text = "В корзине лежит яблоко. В поле стоит дерево."; // исходная строка
$max_count_of_replace = count(explode(' ', $text)); // максимальное кол-во замен в исходной строке

$opt = [
    PDO::ATTR_ERRMODE            => PDO::ERRMODE_EXCEPTION,
    PDO::ATTR_DEFAULT_FETCH_MODE => PDO::FETCH_ASSOC
];

try {
    $pdo = new PDO($dsn, $user, $password, $opt);
} catch (PDOException $e) {
    die('Ошибка: ' . $e->getMessage());
}

$sql = 'SELECT `id`, `name` FROM `slovo` WHERE INSTR(:text, `name`)';
$stmt = $pdo->prepare($sql);
$stmt->bindValue(':text', $text, PDO::PARAM_STR);
$stmt->execute();

// заменяем слова из таблицы, присутствующие в $text

$count_of_replace = 0;
foreach ($stmt as $row) {
    $text = str_ireplace($row['name'], "<span id=\"{$row['id']}\">{$row['name']}</span>", $text, $count);

    $count_of_replace += $count;
    if ($count_of_replace > $max_count_of_replace) {
        break;
    }
}

echo $text; // результат

Идея состоит в использовании MySQL-функции: INSTR() + добавлено ограничение на максимальное кол-во замен.

Второй вариант:

Не используем INSTR(), например, если хочется независимости от СУБД.

<?php

// параметры подключения
// ...

$text = "В корзине лежит яблоко. В поле стоит дерево."; // исходная строка
$max_count_of_replace = count(explode(' ', $text)); // максимальное кол-во замен в исходной строке

$opt = [
    PDO::ATTR_ERRMODE            => PDO::ERRMODE_EXCEPTION,
    PDO::ATTR_DEFAULT_FETCH_MODE => PDO::FETCH_ASSOC
];

try {
    $pdo = new PDO($dsn, $user, $password, $opt);
} catch (PDOException $e) {
    die('Ошибка: ' . $e->getMessage());
}

$sql = 'SELECT `id`, `name` FROM `slovo`;';
$stmt = $pdo->prepare($sql);
$stmt->execute();

$count_of_replace = 0;
foreach ($stmt as $row) {
    $text = str_ireplace($row['name'], "<span id=\"{$row['id']}\">{$row['name']}</span>", $text, $count);

    $count_of_replace += $count;
    if ($count_of_replace > $max_count_of_replace) {
        break;
    }
}

echo $text; // результат

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.