Prompt Cachingالتخزين المؤقت للموجّه

تخيّل رزمة أوراق سميكة على طرف المكتب: دليل الشركة كله، وتعليمات من خمسين بندًا، ومرجع طويل. وفي الطرف الآخر مصباح دافئ ودرج مكتب، وفيه نسخة مرتبة من الرزمة نفسها بعد أن قُرئت مرة واحدة. في المرة التالية لا تعيد قراءة الرزمة من أولها؛ تسحب الدرج فقط.

لفهم ما يحدث تذكّر أن النموذج يعيد قراءة نافذة السياق كلها في كل دورة: تعليماتك الطويلة، والمستند الذي ألصقته، والقواعد التي في الأعلى. مع كل رسالة ترسلها يقرأ ذلك كله كأنه يراه لأول مرة. هذا بطيء، وإن كنت تدفع بالرمز (Token) فهو مكلف، لأنك تدفع ثمن قراءة الأوراق نفسها في كل مرة.

التخزين المؤقت للموجّه يعالج ذلك: الأجزاء التي لا تتغيّر تُعالج مرة واحدة وتوضع جانبًا في الدرج، وفي الدورة التالية يسحب النموذج ما هو جاهز ويقرأ الجديد فقط، أي رسالتك الأخيرة.

ستشعر بالفرق في موضعين:

• السرعة: كلما قلّ ما يُعاد قراءته، عاد الرد أسرع.
• الفاتورة: عبر API يكلّف الجزء المخزّن جزءًا صغيرًا من ثمن القراءة الجديدة، عُشرها عند بعض المزوّدين.

الشرط أن الدرج لا يبقى مفتوحًا إلى الأبد. اترك المحادثة دقائق فيُفرَّغ، وحين تعود تُقرأ الرزمة من جديد بالسعر الكامل. التبادل السريع يحافظ عليه، والغياب الطويل يضيّعه.

إن كنت تبني شيئًا فالدرس بسيط: ضع المادة الكبيرة الثابتة في الأعلى ولا تلمسها (التعليمات الطويلة، المستند المرجعي، القواعد)، وضع ما يتغيّر (السؤال نفسه) في الأسفل. لماذا الترتيب؟ لأن الدرج يصلح ما دام ما فوقه لم يتحرك. غيّر كلمة واحدة قرب البداية، واضطر النموذج إلى إعادة قراءة كل ما تحتها.

مساعد خدمة عملاء يحمل في مقدمة كل طلب كتالوج المنتجات كاملًا. بلا تخزين مؤقت يدفع متجرك ثمن الكتالوج مع كل رسالة من كل عميل؛ ومعه يدفعه مرة ويعيد استخدامه طوال النهار.

أغلب التطبيقات تفعل هذا عنك بهدوء ولا تحتاج إلى التفكير فيه. لكن حين تظهر الفاتورة، فكل ما تركته ثابتًا هو ورق لم تدفع ثمن إعادة قراءته.