У меня есть большой файл (около 30 гб), мне нужно из него вырезать все строки, которые содержат, что либо кроме a-zA-Z0-9 и всех спецсимволов (!@#$%^&*() ... и т.д.).
2 ответа
~$ grep -Pv "^[a-zA-Z0-9!@\#\$%\^\&\*\\(\\)\\[\\]\\{\\}]*$" big_file
добавте в группу что пропущенно
-v игнорировать строки содержащие патерн
После небольших изысканий:
UCS characters U+0000 to U+007F (ASCII) are encoded simply as bytes 0x00 to 0x7F (ASCII compatibility). This means that files and strings which contain only 7-bit ASCII characters have the same encoding under both ASCII and UTF-8.
у grep
есть функция чтения бинарных файлов как текст. Получается нужно исключить значения от b\x00 до b\x7F
~$ grep -Pav '^[b\x00-b\x7F]*$' big_file
Да интересный вопрос вышел, в лесу разнообразных кодировок для печатных символов можно заблудится.
Рабочий вариант на основе ключевой статьи [4]. Просуммировав все выше перечисленное, нужно найти шестнадцатеричные последовательности удовлетворяющие условие [\x00-\x7D]
но вывести все символы за пределами этого промежутка.
Конечно если речь идет о чем то подобном UNICODE/UTF-8/ASCII, а не "сыром" бинарном файле.
~$ cat test-3
!"#$%&'()*+,-./0123456789:;<=>?@ABCDEFGHIJKLMNOPQRSTUVWXYZ[\]@abcdefghijklmnopqrstuvwxyz{|}|
АаБбВвГгДдЕеЁёЖжЗзИиЙйКкЛлМмНнОоПпРрСсТтУуФфХхЦцЧчШшЩщЪъЫыЬьЭэЮюЯя
~$ hexdump -C test-3
00000000 21 22 23 24 25 26 27 28 29 2a 2b 2c 2d 2e 2f 30 |!"#$%&'()*+,-./0|
00000010 31 32 33 34 35 36 37 38 39 3a 3b 3c 3d 3e 3f 40 |123456789:;<=>?@|
00000020 41 42 43 44 45 46 47 48 49 4a 4b 4c 4d 4e 4f 50 |ABCDEFGHIJKLMNOP|
00000030 51 52 53 54 55 56 57 58 59 5a 5b 5c 5d 40 61 62 |QRSTUVWXYZ[\]@ab|
00000040 63 64 65 66 67 68 69 6a 6b 6c 6d 6e 6f 70 71 72 |cdefghijklmnopqr|
00000050 73 74 75 76 77 78 79 7a 7b 7c 7d 7c 0a d0 90 d0 |stuvwxyz{|}|....|
00000060 b0 d0 91 d0 b1 d0 92 d0 b2 d0 93 d0 b3 d0 94 d0 |................|
00000070 b4 d0 95 d0 b5 d0 81 d1 91 d0 96 d0 b6 d0 97 d0 |................|
00000080 b7 d0 98 d0 b8 d0 99 d0 b9 d0 9a d0 ba d0 9b d0 |................|
00000090 bb d0 9c d0 bc d0 9d d0 bd d0 9e d0 be d0 9f d0 |................|
000000a0 bf d0 a0 d1 80 d0 a1 d1 81 d0 a2 d1 82 d0 a3 d1 |................|
000000b0 83 d0 a4 d1 84 d0 a5 d1 85 d0 a6 d1 86 d0 a7 d1 |................|
000000c0 87 d0 a8 d1 88 d0 a9 d1 89 d0 aa d1 8a d0 ab d1 |................|
000000d0 8b d0 ac d1 8c d0 ad d1 8d d0 ae d1 8e d0 af d1 |................|
000000e0 8f 0a |..|
000000e2
~$ LC_CTYPE=C grep -Pv "[\x00-\x7D]" test-3
АаБбВвГгДдЕеЁёЖжЗзИиЙйКкЛлМмНнОоПпРрСсТтУуФфХхЦцЧчШшЩщЪъЫыЬьЭэЮюЯя
Т.к. вопрос не определен до конца, добавил свой критерий: вывести любую строку НЕ содержащую символ со значением от x00 до x7D.
Ссылки
- https://stackoverflow.com/questions/3752913
- https://unix.stackexchange.com/questions/19907
- https://unix.stackexchange.com/questions/19491
- https://stackoverflow.com/questions/31139737
Спецификация ASCII и UNICODE
-
-
@AlexanderProkoshev через GitHub можно поделиться снипетом. Commented 19 авг. 2018 в 16:39
-
не держим-с. Ну ладно, это можно и на словах. Возьмите строки с č, ć, š и т.п. (я тестировал их ещё и с неправильной кодировкой, то есть системная локаль UTF8, а в файле CP1250) — ваш RE их пропускает.– user_587Commented 19 авг. 2018 в 16:44
-
1@AlexanderProkoshev пишите с тегом ника. да читаю подробней по юникод на юниксах. Commented 19 авг. 2018 в 16:59
-
иронично, что за несколько часов каждый из нас с вами пришёл к первоначальной идее другого :) Движок съедает ваш ник при размещении комментария.– user_587Commented 19 авг. 2018 в 21:46
Спасибо за вопрос, неожиданно трудный при кажущейся простоте.
Я не смог решить его при помощи grep
, но простой скрипт на перле делает то что нужно:
-- myfilter.pl --
while (<STDIN>) {
if ($_ !~ m/[^\w\s\/^.@#$%&*(){}\[\],:;?!<>-]/) {
print "$_";
}
}
Использование: cat big_file.txt |perl myfilter.pl >filtered_file.txt
Пустые строки сохраняются!
-
2Размышлял о Python3, там по умолчанию все строки - юникод. Шаблон прелставленный автором - тоже может быть юникод. Все будет зависить от формата сохраненного файла. Commented 19 авг. 2018 в 16:42
-
Установлен тэг "linux". В UTF-8 описанное автором множество однобайтовое и полностью совпадает с ASCII. Так что вряд ли, если только мы говорим о текстовом файле (это из вопроса не очевидно, согласен).– user_587Commented 19 авг. 2018 в 16:47
-
1Символы вида пропускаются! Может от обратного все таки ? Требуется оставить только строки состоящие из a-zA-Z0-9(и спец символ) . Не факт, что все эти маски будут одновременно, например, lol8798 (a-z0-9) нам подходит и мы оставляем эту строку. Но строку yuUBJH^87$ мы убираем ибо есть левый символ Commented 19 авг. 2018 в 17:06
-
идея @Hellseher по своей сути правильнее. Понять бы, почему она не работает в нынешнем виде... Кстати, проверил у себя вашу строчку (с символом 0x84e3) — у меня удаляется. Чудеса...– user_587Commented 19 авг. 2018 в 17:10
-
Поправил, вроде работает (проверил и на kanji). Изменил в ответе, проверьте.– user_587Commented 19 авг. 2018 в 17:48
iconv -f UTF-8 your_file > /dev/null; echo $?