Отвечая на этот вопрос, я задумался о том как можно ускорить обработку данных, представленных в виде Pandas Series/DataFrame, при помощи невекторизированной функции, которую мы, к тому же, не можем изменить.
В указанном вопросе обработка данных заключалась в парсинге и "гармонизировании" адресов при помощи модуля natasha
.
Код для создания функции, использование которой мы хотим ускорить:
from natasha import MorphVocab, AddrExtractor
morph_vocab = MorphVocab()
addr_extractor = AddrExtractor(morph_vocab)
PART_TYPES = [
"индекс", "город",
"улица", "проспект", "шоссе", "переулок", "проезд",
"дом", "корпус"
]
def parse_addr(
addr_str,
addr_extractor=addr_extractor,
min_addr_len=10
):
if not addr_str or len(str(addr_str)) < min_addr_len:
return None
ext = addr_extractor.find(addr_str)
if not ext:
return None
return {part.type: part.value for part in ext.fact.parts}
def combine_addr_str(parsed_addr, part_types=PART_TYPES):
if not parsed_addr:
return None
return " ".join(
parsed_addr[part_type]
for part_type in part_types
if parsed_addr.get(part_type)
)
def get_addr_str(addr_str):
return combine_addr_str(parse_addr(addr_str))
Цель задачи не распараллеливание ради распараллеливания, а именно ускорение вызова функции, принимающей и возвращающей скалярные значения, к pandas.Series
/ pandas.DataFrame
.
Ссылка на пример данных - Excel файл, содержащий 200 случайных адресов взятых из примера данных из этого вопроса
Чтобы прочитать данные в Pandas DataFrame:
import pandas as pd
filename = "/tmp/sample.xlsx" # NOTE:у кажите правильный путь к файлу!
df = pd.read_excel(filename)
Предлагайте ваши варианты решения!