Tokenالرمز
ما هو Token؟
النموذج يقرأ نصك قطعًا صغيرة تُسمّى رموزًا، وهي ما تدفع ثمنه.
ما معنى Token بالعربي؟
الاسم المعتمد الآن هو «الرمز». ولأن كثيرًا من المصطلحات لم يستقرّ لها اسم عربي واحد، يكتب هذا القاموس قرّاؤه: صوّت للاسم الذي تراه أوضح، أو اقترح اسمًا أفضل. نراجع الأصوات في كل جولة ونعتمد ما يختاره الناس.
-
الرمز الاسم المعتمد اسم القاموس
-
توكن تعريب صوتي شائع بين المطورين
-
وحدة نصية وصف شائع في الشروح التقنية العربية
-
رمز مميز ترجمة ترد في واجهات وتوثيق بعض المنصات
صوت واحد لكل قارئ في كل مصطلح، وتستطيع نقله إلى اسم آخر. حين يتجاوز اسمٌ الاسمَ المعتمد ويصل إلى 5 أصوات على الأقل، نعرضه للاعتماد في الجولة التالية.
اقترح اسمًا عربيًا أفضل
هل الشرح غير واضح أو فيه خطأ؟
تخيّل أحجية (Puzzle) مفرودة على طاولة طويلة: صف من القطع المتشابكة، كل قطعة تحمل جزءًا من الصورة، ولا معنى للصورة إلا حين تلتصق القطع ببعضها. ارفع قطعة واحدة إلى الضوء وستجد عليها حرفين أو مقطعًا أو كلمة قصيرة. النص الذي تكتبه للنموذج يتحوّل إلى صف من هذه القطع قبل أن يقرأه.
هذه القطعة هي الرمز. النموذج لا يرى جملتك كما تراها أنت، بل يراها بعد تقطيعها: الكلمة القصيرة الشائعة قد تكون رمزًا واحدًا، والكلمة الطويلة أو النادرة تُقسَّم إلى رمزين أو ثلاثة. في الإنجليزية يعادل الرمز نحو ثلاثة أرباع كلمة، أما الكلمة العربية فكثيرًا ما تُقطَّع إلى أكثر من رمز، أي أن النص العربي يستهلك رموزًا أكثر من ترجمته الإنجليزية.
وعمل النموذج كله هو التنبؤ بالقطعة التالية التي تناسب الصف. يقرأ ما وضعته أمامه رمزًا رمزًا، ثم يضع الرمز التالي، ثم الذي يليه، حتى تكتمل الإجابة. لذلك ترى الكلمات تظهر على الشاشة متتابعة لا دفعة واحدة.
ثلاثة أشياء في حياتك تمر عبر هذه القطع:
- الفاتورة: حين تستخدم نموذجًا عبر API تدفع بعدد الرموز، ما تُرسله وما يرد عليك. سؤال قصير رخيص، وملف ضخم ملصوق في محادثة طويلة ليس كذلك.
- الغرفة: نافذة السياق تُقاس بالرموز لا بالصفحات. حين تقرأ أن نموذجًا يتسع لـ200 ألف رمز، فهذا عدد القطع التي يحملها دفعة واحدة.
- النقطة العمياء: اسأل النموذج كم مرة يتكرر حرف «ر» في كلمة ما وقد يخطئ، لأنه لا يرى الحروف بل القطع التي ابتلعتها. عدّ الحروف سؤال عن شيء لم يعد موجودًا أمامه.
تخيّل أنك تلصق عقد توريد من 40 صفحة في المحادثة لتسأل عن بند واحد، فتفاجأ بأن الجواب تأخر وأن رصيدك نقص بوضوح. السبب أن الصفحات الأربعين صارت آلاف القطع، وكل قطعة تُقرأ وتُحاسَب.
لماذا يهمك Token؟
ستفهم لماذا يحاسبك مزوّد الخدمة على «الرموز» لا على الرسائل، وستكتب طلبات أقصر وأوضح لأن كل حشو يكلّف. وستتوقف عن الوثوق بالنموذج في الإملاء وعدّ الحروف، لأنها أسئلة عن حروف لا يراها.
متى ستسمع كلمة Token؟
يقول لك المطوّر: «هذا الموجّه يستهلك 3 آلاف رمز في كل طلب، لنقلّصه قبل أن نطلقه للعملاء».
