1from arabert.preprocess import ArabertPreprocessor
2
3model_name = "aubmindlab/bert-base-arabertv2"
4arabert_prep = ArabertPreprocessor(model_name=model_name)
5
6text = "ولن نبالغ إذا قلنا: إن 'هاتف' أو 'كمبيوتر المكتب' في زمننا هذا ضروري"
7arabert_prep.preprocess(text)
8>>>"و+ لن نبالغ إذا قل +نا : إن ' هاتف ' أو ' كمبيوتر ال+ مكتب ' في زمن +نا هذا ضروري"