في هذه المقالة
اختر مهمة محددة
نوصي في PalmX بالبدء بمسار يمكن وصفه بجملة: العثور على إجابة معتمدة أو إعداد مسودة رد أو تصنيف طلب وارد. وضّح الإجراء الحالي والمسؤول عنه والمرحلة التي تحتاج إلى موافقة. اجعل التجربة محدودة بما يسمح بمراجعة الإخفاقات. مثلًا، يمكن للوكيل استرجاع سياسة داخلية وصياغة رد يراجعه الموظف؛ إرسال الرد أو تعديل سجل العميل يحتاج إلى صلاحية وموافقة واضحتين.
تعامل مع المحتوى الخارجي بحذر
توضح OWASP خطر حقن التعليمات عندما يؤثر محتوى خارجي في سلوك النموذج. قد يتضمن المستند أو الرسالة تعليمات ضارة. توصيتنا العملية هي الفصل بين المعرفة المعتمدة والإجراءات المسموح بها، وحصر صلاحيات الأدوات في حاجة المهمة، وطلب موافقة بشرية للإجراءات المؤثرة. اختبر محاولة توجيه الوكيل عبر تعليمات مخفية في المحتوى الذي يقرأه.
OWASP — LLM01:2025 Prompt Injectionقيّم العربية والإنجليزية كلًّا على حدة
استخدم أسئلة من إجراءاتك الفعلية يراجعها شخص يفهم العمل. ضمّن معلومات ناقصة ومستندات متعارضة وأسماء مختلطة بين اللغتين وأسئلة تستوجب التصعيد. راجع صحة الإجابة ومراجعها ووقت الاستجابة وتكلفة إنجاز المهمة. طلاقة الإجابة لا تثبت صحة السياسة أو الرقم. حدّد ما يحدث عندما لا يجد الوكيل مصدرًا معتمدًا.
عيّن مسؤولًا عن التجربة
إطار إدارة مخاطر الذكاء الاصطناعي من NIST مرجع طوعي لإدراج اعتبارات الموثوقية في التصميم والاستخدام والتقييم. عيّن لمشروعك مسؤولًا لاعتماد المعرفة ومراجعة الأخطاء بعد الإطلاق. وثّق من يصل إلى المحادثات ومدة الاحتفاظ بها والمزودين الذين تصلهم البيانات وطريقة إيقاف الوكيل. اتفق على هذه الحدود قبل ربط معلومات داخلية أو شخصية.
NIST — AI Risk Management Frameworkاطلب تسليمًا يمكن تقييمه
يجب أن يحدد موجز المشروع المهمة وأدوار المستخدمين ومصادر البيانات والربط المعتمد. اطلب مجموعة أسئلة للمراجعة ونتائج الاختبار وتعليمات التشغيل وحدود الإصدار الأول. قارن التجربة بالإجراء الحالي باستخدام المهام نفسها. وسّع النطاق عندما تدعم النتائج ذلك، واستمر في مراجعة الجودة بعد تغيير النموذج أو التعليمات أو مصدر المعرفة. هذا ما يجعل التجربة أداة يمكن صيانتها.
الأمثلة مسارات مقترحة للبدء وليست نتائج عملاء. تُحدد متطلبات البيانات والمزودين والموافقات لكل مشروع.
ناقش مشروعك معنا