Вопросы с меткой [unicode]

Unicode (чаще Юникод, реже Уникод) — стандарт кодирования символов, позволяющий представить знаки почти всех письменных языков, а также технические символы, знаки пунктуации и многие другие символы, используемые в письменности.

Фильтрация
Сортировка
Метки
0 голосов
1 ответ
220 показов

git-grep --ignore-case и кириллица

Пытаюсь найти в проекте все вхождения русской строки без учёта регистра. Например, слово "линукс". Вызываю git grep -i 'линукс' Он находит все вхождения "линукс", но не "Линукс" или "ЛИНУКС". В то ...
0 голосов
0 ответов
83 показа

Как отправить письмо на русском языке с помощью smtplib? [дубликат]

Работаю с рассылкой сообщений по электронной почте, пользуюсь smtplib, а именно методом sendmail. Проблема заключается в том, что программа выдает ошибку: builtins.UnicodeEncodeError: 'ascii' ...
0 голосов
1 ответ
9k показов

&lt; и символ < одно и тоже в HTML или нет?

Могу ли я вместо, например, открывающего тега < писать &lt; ? И как браузер будет это интерпретировать?
0 голосов
2 ответа
3k показов

Python считывание string с несколькими строками из консоли

Мне нужно считать из консоли строку в юникоде, которая имеет такой вид: যুদ্ধ এবং শান্তি প্রথম ভলিউম অংশ এক আমি ভাল, আমার রাজকুমার জেনোয়া এবং লুক্কা Appanages তুলনায় আর নেই, উদাহরণস্বরূপ, ...
0 голосов
0 ответов
50 показов

Substitute character

Всем доброго времени суток! В очередной раз просматривая JLS наткнулся на интересный момент, на который доселе не обращал внимания. Речь идёт о параграфе 3.5 в котором отмечается, что в качестве ...
2 голоса
1 ответ
3k показов

Как решить проблему с кодировкой при записи в файл? UnicodeEncodeError: 'charmap' codec can't encode character

Есть скрипт: import requests import json def write_json(data): with open('posts.json','w') as file: json.dump(data, file, indent=2, ensure_ascii=False) def main(): group_id='-...
0 голосов
1 ответ
41 показ

Как привести слова вида Pröpper, Álvaro к виду Propper, Alvaro?

Возможно ли перевести слова со знаками над буквами перевести в те же слова, но без знаков? Есть два словаря вида: {name1:info1} и {name2:info2}. name1 и name2 - одни и те же слова, но одно без знаков, ...
1 голос
1 ответ
70 показов

String.fromCharCode(). превышение значения 16-битного числа

String.fromCharCode() Сводка Статический метод String.fromCharCode() возвращает строку, созданную из указанной последовательности значений Юникода. Примечание Хотя большинство ...
0 голосов
2 ответа
81 показ

Подстановка переменной c кириллическим текстом в python

Пытаюсь отматчить кусок текста в python 2.7 c с использованием re ,не могу установить кодировку текста и выдать нормальные результаты поиска ,вот пример : Так текст вообще не матчится # -*- coding: ...
0 голосов
2 ответа
4k показов

Как убрать все Unicode символы из строки? [закрыт]

Как убрать все Unicode символы из строки ?
0 голосов
0 ответов
278 показов

pip install выдает ошибки. Как побороть ошибку 'utf-8' codec can't decode byte 0xe3 in position 18: invalid continuation byte?

Устанавливаю Flask с помощью команды pip install flask и появляется следующие сообщения об ошибках. Как это побороть? Exception: Traceback (most recent call last): File "c:\users\генка\appdata\...
2 голоса
0 ответов
43 показа

Компаратор для "С" строк юникода

Можно использовать данный компаратор для "С" строк юникода? #include <iostream> #include <algorithm> class StrCmp { public: template <typename T> bool operator() (const ...
24 голоса
3 ответа
23k показов

Как из Python вывести на Windows-консоль строку в Юникоде?

Простой print() не срабатывает. Интерпретатор валится с жалобой на то, что он сам не может сконвертировать Юникод в ту кодировку, которая используется в Windows-консоли. Может быть ему можно как-то ...
0 голосов
0 ответов
2k показов

Внезапно UnicodeDecodeError: 'utf8' codec can't decode byte 0xcf

при старте программы сталкиваюсь с такой историей, как победить? извиняюсь, я не знаю как правильно, офорить, текст из dos ниже. python 3.6,3 установлен. UnicodeDecodeError: 'utf-8' codec can't ...
0 голосов
1 ответ
88 показов

При шеринге в вк в личных сообщениях экранируется emoji и символ, добавленный через юникод

Вставляю в title шера в вк символ юникодом (пробовала и обычным emoji), но если я делюсь в личных сообщениях в вк этим шефом, то он экранизирует и сердце выглядит как юникод (в title видим его в виде ...
1 голос
1 ответ
1k показов

Вывести Unicode-значения каждого символа строки через пробел

Подскажите пожалуйста, как создать функцию, которая принимает строку на вход и возвращает другую строку, состоящую из Unicode-значений символов входной строки, разделенных пробелами.
1 голос
0 ответов
621 показ

Кодировка в MySql - поддержка украинского со знаком ударения

Для MySql-таблицы нужна кодировка, которая поддерживает украинский язык и нечувствительная к регистру. До сих пор использовал кодировку utf8_unicode_ci. Но появилась проблема: буквы "і" и "ї" ...
2 голоса
1 ответ
595 показов

Py.test и русские символы

Пытаюсь использовать такой код: @pytest.mark.parametrize("array, number_of, expected", TEST_FRAME_CHUNKS, ids=IDS_TEST_FRAME_CHUNKS) def test_chunks(array, number_of, expected): # code ... В ...
0 голосов
0 ответов
51 показ

Ломаются символы когда в видео добавляю субтитры

Есть видео и у него есть субтитры. делаю перевод видео субтитров на русский и открываю файл через нотепад вроде всё ок вс на русском а в видео вместо субтитров на русском какието иероглифы .Windows ...
4 голоса
3 ответа
8k показов

Кодировка при отправке сообщения

Дмитрий Деревянкин. Спасибо большое за пример,легко у себя его реализовал. Но есть проблема. Если msg = MIMEText('') содержит только латинские - то все нормально.Но вот если это будет кириллица,то ...
2 голоса
0 ответов
404 показа

JSON закодированный юникод как расшифровать на DELPHI

Пишу парсер ключевых слов из wordstat.yandex.ru Отправляю POST-запрос, получаю зашифрованный JSON-ответ. Что с ним делать, чтобы превратить в нормальный вид? Вроде как функция приходит вместе с ...
2 голоса
1 ответ
372 показа

Что делают символы unicode из категории "Other, control"?

Зачем созданы символы на подобии U+007F(DELETE)? Такой DELETE ничего не удаляет, я пробовал. И там ещё масса таких символов, вот список: http://www.fileformat.info/info/unicode/category/Cc/list.htm ...
3 голоса
0 ответов
73 показа

Нормализация юникода / удаление умляутов / превращение текста в читабельное и искабельное

К примеру, есть городок Río Turbio: https://en.wikipedia.org/wiki/Río_Turbio Чтобы его найти, неподготовленному пользователю надо ввести именно Río, а не более привычное Rio (предположительно, ...
2 голоса
1 ответ
272 показа

PHP ошибки с кодировкой

Загружаю json данные со стороннего сайта, некоторые символы приходят в UNICOD (точнее переменные в JSON) примерно таком: \u0424\u0443\u0442\u0431\u043e\u043b Для преобразования входящих данных ...
0 голосов
1 ответ
121 показ

Использование русских символов в socket python 2.7

Столкнулся со следующей проблемой: В python 2.7 с помощью socket.send() нужно отправить строку вида "id:{id}, first_name:{Имя}, last_name:{Фамилия}" При выполнении получаю ошибку: 'ascii' ...
2 голоса
2 ответа
1k показов

Java Unicode вывод

Есть 16 ричное представление числа,как с помощью System.out.println('\uXXXX'); вывести символы,если эти самые XXXX постоянно меняются?или если зайти с другой стороны,пусть ХХХХ поступает как результат ...
0 голосов
1 ответ
873 показа

wstring проблема с кириллицей

Функция принимает на вход две части кода кириллицы (2 байта). Нужно преобразовать их в русский текст. Видимо я чего-то не понимаю, прошу помочь. wstring cyrillic(string high, string low) { ...
1 голос
0 ответов
114 показов

Неправильное преобразование символов UTF-8 в линуксе

Есть проект (backend) написанный на Java 1.8. на frontend(node.js, angular) есть функция чтения информации через upload простых txt файлов, которые содержат буквы в кодировке UTF (ü, ç, ş, ğ, ə и т.д.)...
2 голоса
1 ответ
89 показов

Пустая юникодная строка

В чужом коде увидел такое: return u'' Пустая юникодная строка u'' чем-то отличается от просто пустой строки ''? Если да — чем?
3 голоса
2 ответа
2k показов

Обновление ICU на PHP7

Подскажите, какие есть способы обновить ICU до актуальной версии на PHP7 на Ubuntu 14.04? Ставил php7 из ppa репозитория ondrej. Пытался обновить ICU через pecl, но для 7 версии этот способ не ...
2 голоса
3 ответа
4k показов

Как определить нерусский текст?

Допустим, имеется строка. Как определить, что она содержит нерусские символы? Потенциальный текст не содержит специальных символов, кроме пробелов. Конечно, можно было бы проверить наличие того или ...
2 голоса
1 ответ
31 показ

Можно ли преобразовать Unicode в символы,а потом записать эти символы в файл?

Т.е и беру Unicode символ 1F780,затем каким-то образом преобразовываю его в символ и записываю этот символ в файл.Долго искал в инете,ничего не нашел.
1 голос
3 ответа
1k показов

PHP скрипт не работает на UTF-16

Как-то ранее я обращался с маленьким вопросом по поводу скрипта отправки на почту. Проблема теперь возникла в том, что при смене кодировки на UTF-16 (а ранее была win1251) скрипт отказывается работать....
0 голосов
0 ответов
122 показа

Считывание unicode

Имеется адрес в котором хранится строка в UTF-16. Вопрос как ее нормально считать в массив char с помощью ReadProcessMemory? Я пытался вот так: char buffer[100]; ReadProcessMemory(phandle, (void*)...
0 голосов
2 ответа
168 показов

Как спарсить json file в java если он в Unicode

Как парсить файл json в java если файл json полностью в юникоде, как тут выбрать теги с которых нужно распарсить информацию? { "0":"", "1240":"\u0404\u0432\u0434\u043e\u043a\u0438\u043c\u043e\u0432\...
0 голосов
1 ответ
124 показа

работа с unicode в python 2.7

Есть фрагмент кода: self.city = str(rec[18]) self.country = str(rec[19]) + ' ' + str(rec[20]) self.street = str(rec[21]) self.house = str(rec[22]) self.flat = str(rec[23]) self.corps = str(rec[24]) ...
9 голосов
1 ответ
3k показов

Что такое Unicode и как с ним связана UTF-8

Со страницей википедии про Unicode ознакомился, но так и не понял, хотя там и написано что это стандарт кодирования символов Насколько я знаю то Unicode представлен следующим образом 0x00000000 — ...
0 голосов
1 ответ
224 показа

Почему строковые функции PHP substr и substr_replace портят последний символ в строке?

Ограничиваю вводимые данные перед занесением в БД с помощью функции substr: $string = "Lorem Ipsum - это текст-рыба, часто используемый в печати и вэб-дизайне. Lorem Ipsum является стандартной рыбой ...
0 голосов
0 ответов
154 показа

UnicodeDecodeError в библиотеках Python & Flasky на русской виндовс

При попытке запуска фласки сервера (через консольный менеджер) выпадает: "UnicodeDecodeError: 'utf8' codec can't decode byte 0xd1 in position 0: invalid continuation byte". Ранее она же вываливалась ...
0 голосов
1 ответ
207 показов

В бд mysql есть куча символов \u00AD

В БД MySQL есть куча скрытых символов. Выделить их нельзя, но я узнал их код - \u00AD Как их можно убрать?
3 голоса
1 ответ
3k показов

Общепринятый символ, обозначающий "ссылка ведет на другой сайт"

Пишу документацию к программному продукту. Хочу отделить ссылки, ведущие на другой сайт, от ссылок внутри того же самого. На Википедии есть специальная картинка, обозначающая такие ссылки. Но это ...
2 голоса
1 ответ
2k показов

Помогите вставить смайл

При создании кнопки для бота в телеграмм понадобилось добавить смайлик, некоторые имеющие код \u2139 (например) работают нормально, но как вставить смайл с кодом u+1f525 если оно последнюю 5 ...
1 голос
1 ответ
700 показов

Ввод кавычек с клавиатуры

Как ввести вот эту кавычку с клавиатуры? ` Какой unicode для этого есть? Для инфы: это не обычная кавычка '
3 голоса
2 ответа
354 показа

Посимвольный вывод слов

Здравствуйте! Есть такая конструкция, которая выведет первую букву переменной $str, которая будет равна 't': mb_internal_encoding("UTF-8"); $str = 'test'; print_r($str[0]); // выведет 't' Но ...
0 голосов
1 ответ
126 показов

Проблема с кириллицей в DatabaseID куба SSAS 2016

Есть куб, в котором идентификатор БД и некоторые измерения названы по-русски. В SSIS + SSAS 2008 (Windows 2008 R2) всё нормально обрабатывалось через dts-пакет. Попробовал перенести это на SQL 2016 ...
0 голосов
0 ответов
41 показ

Очередная возня с кодировками и JSP

Всем привет! Сегодня делая сайт с помощью Java и фреймворков столкнулся с очередной непонятностью. У меня есть jsp страничка там обычная таблица без стилей и форма для заполнения. Решил я ...
1 голос
3 ответа
253 показа

сохранение страницы сайта в читабельном виде

при сохранении страницы сайта по ссылке с помощью CloseableHttpClient в файл получаю <meta name="description" content="���������� ������������� ����� ������. ������� ��������� тоесть все что на ...
2 голоса
1 ответ
77 показов

Как преобразовать punycode в Unicode?

Подскажите какой пакет/либу/функцию использовать для преобразования url строки из punicode в unicode. Т.е. задача: xn--d1abbgf6aiiy.xn--p1ai ----> kremlin.ru И наоборот. Пытался найти решение, не ...
12 голосов
1 ответ
10k показов

Для чего создан символ "U+0000"?

Недавно наткнулся на символ, которого нет. То есть он, в отличии от U+200C или U+200B, даже не печатается. Так для чего он тогда нужен?
7 голосов
1 ответ
736 показов

Для чего ввели U+1160?

В unicode есть симол который похож на пробел, но это не пробел. Его код — U+1160. Выглядит он так вот так: 'ᅠ' (без кавычек). Так какую функцию выполняет этот символ в unicode, для чего он создан?