التوكن

الخطأ الشائع في فهم التوكن

حسابه ككلمة. الكلمة العربية الواحدة قد تُقسم إلى عدة توكنات، فالنص العربي يستهلك من حد الطول أكثر مما يوحي عدد كلماته.

مصطلحات تُقرأ بعده