Можно сделать так:
При исходных:
l = [
{'A': {'ABC': '1234', 'QWE': '2342'}},
{'B': {'ABC': '234', 'QWE': '3424', 'RTY': 'qwert'}},
{'A': {'ABC': '2342', 'QWE': '23424'}},
{'B': {'ABC': '2342', 'QWE': '23442', 'RTY': 'tree'}},
{'A': {'ABC': '2344', 'QWE': '3424'}},
{'B': {'ABC': '2344', 'QWE': '2344', 'RTY': 'awed'}}
]
делаем:
df = pd.DataFrame(l)
res = pd.concat([df[x].apply(pd.Series).
dropna(how="all").reset_index(drop=True) for x in df.columns],
axis=1, keys=df.columns).dropna(how="all", axis=1)
res, соответственно:
A B
ABC QWE ABC QWE RTY
0 1234 2342 234 3424 qwert
1 2342 23424 2342 23442 tree
2 2344 3424 2344 2344 awed
UPDATE
Мне не совсем ясна необходимость преобразовывать словарь в датафрейм, а потом обратно, но...
Если я правильно понял вопрос,то для преобразования полученного фрейма в dash-table нужно будет сделать что-то типа такого (для Flask):
data=res.to_dict("records")
data = [{f"{k[0]}-{k[1]}":v for k,v in y.items()} for y in data]
print(data)
app.layout = dash_table.DataTable(
id='table',
columns=[{"name": f"{i[0]}-{i[1]}", "id": f"{i[0]}-{i[1]}"} for i in res.columns],
data = data
)
получится так:

Либо, чтобы сделать более нагладной таблицу, так:
data=res.to_dict("records")
data = [{f"{k[0]}-{k[1]}":v for k,v in y.items()} for y in data]
print(data)
app.layout = dash_table.DataTable(
id='table',
columns=[{"name": [i[0],i[1]], "id": f"{i[0]}-{i[1]}"} for i in res.columns],
data = data,
merge_duplicate_headers=True,
)
тогда получится:
