التوكن
شرح مبسط لمصطلح التوكن بالعربي، مع المقابل الإنجليزي ومثال عملي.
ما معنى التوكن؟
أصغر وحدة نص يتعامل معها النموذج، وغالبًا تكون جزءًا من كلمة. النماذج تقرأ وتكتب بالتوكنات، وخدمات الذكاء الاصطناعي تحاسب المطورين بعددها.
مثال: كلمة واحدة طويلة قد تُقسَّم إلى توكنين أو ثلاثة.
لماذا يهمك هذا المصطلح؟
ستقابل عبارة التوكن عند قراءة أخبار الذكاء الاصطناعي أو مقارنة الأدوات والخدمات. فهم معناها يساعدك على تقييم ما تفعله الأداة فعلًا، بدل الاعتماد على الوصف التسويقي وحده.