2

Есть большой текст. Бывает в нем символы которые мне не нужны. Закономерность в том что их по три первые два повторяются, а третий всегда один из (‐, —, “) есть, но другой может быть между слов без пробелов 'real‐world', 'firm‐worker', 'sectors—together', 'term “free '

text = "hese are important in the departure, approach, and landing phases of a flight and are integrated with global navigation systems such as inertial guidance and global navigation satellite systems (GNSS). Automatic direction finder (ADF) is based on a nondirectional beacon (NDB) on the ground usually consisting of a simple dipole antenna. Most VHF omnidirectional ranges (VORs) have an additional facility to measure the distance of an aircraft from the beacon, known as the distance measuring equipment (DME). Since instrument landing system (ILS) localizers emit horizontally polarized radiation in the same band as VORs, it is possible to use the VOR antenna to receive the localizer signals on a light aircraft. The ILS is an example of a precision approach aid that provides guidance in both azimuth and height.\n \nFree access is associated with most applications, and most content available on the Internet, to such a point that the term “free access economy” was coined."

Как сделать:

text = text.replace("�","")

1 ответ 1

10

Это проблема с кодировкой.

Проблема решается с помощью

text = text.encode('windows-1251').decode('utf-8')

См. демо на Python.

Например, “free access economy”, на самом деле, “free access economy”.

3
  • этот ответ тоже интересный, мне интересно еще как вообще решается подобная задача с регулярными выражениями 20 окт 2018 в 8:48
  • 2
    @Юленька - с регулярными выражениями задача сводится к удалению из текста не-ASCII символов: text = re.sub(r'[^\x00-\x7F]+','', text) . Это общее решение - в квадратных скобках указываются символы (диапазон), которые не нужны. Но есть нюансы - например в вашем тексте этот регексп "убьет" английские двойные кавычки (“free access economy”), закодированные юникодом.
    – strawdog
    20 окт 2018 в 9:01
  • 3
    @Юленька Важно решать проблемы с помощью соответствующих средств. Можно гвоздь и ножницами пытаться забить, только зачем? А в регулярных выражениях для того, чтобы найти один из заданных символов, используются символьные классы. Чтобы найти вЂ, за которыми следует один ќ, ђ, или њ, можно использовать вЂ[ќђ”њ]. Или группы с альтернативами вроде ”|‐|—|“ (код на Python можно подсмотреть в TOOLS -> code generator). Но тут такое выражение не подойдет, так как таких вариантов может быть много. 20 окт 2018 в 9:04

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.