تتطور أنظمة الذكاء الاصطناعي بسرعة من واجهات دردشة بسيطة إلى مساعدين وكلاء قادرين على تصفح الويب وقراءة الملفات واستدعاء واجهات برمجة التطبيقات (API) واتخاذ إجراءات داخل منتجات حقيقية. وهذا التطور مثير لأنه يعزز الإنتاجية ويؤتمت سير العمل المعقد. وفي الوقت نفسه يفرض واقعًا أمنيًا جديدًا: فحين يرتكب وكيل الذكاء الاصطناعي خطأً، قد لا تكون النتيجة مجرد إجابة خاطئة، بل حادثة تشغيلية حقيقية.
في الأشهر الأخيرة ركّزت فرق الأمن بشكل أكبر على ثغرات الوكلاء لأن المهاجمين تعلموا كيف يتلاعبون بالوكلاء عبر القناة نفسها التي تجعلهم مفيدين: اللغة. فجملة واحدة قد تصبح تعليمة، وتعليمة واحدة قد تُشغّل أدوات. وعندما ترتبط هذه الأدوات بأنظمة الأعمال، يصبح الوكيل هدفًا عالي القيمة.
تشرح هذه المقالة أهم أنماط الثغرات التي تؤثر في وكلاء الذكاء الاصطناعي اليوم، ولماذا تحدث، وكيف يمكن تقليل المخاطر بضمانات عملية.
لماذا يغيّر الذكاء الاصطناعي الوكيلي نموذج التهديد
للتطبيقات التقليدية حدود واضحة: تُفحص المدخلات، وتُراجع الصلاحيات، وينفذ التطبيق شيفرة ثابتة. أما وكلاء الذكاء الاصطناعي فيتصرفون بشكل مختلف لأنهم يفسّرون اللغة ديناميكيًا ويكيّفون خططهم في الوقت الفعلي. هذه المرونة تجعلهم أقوياء، لكنها تجعلهم أيضًا غير متوقعين تحت ضغط الخصوم.
غالبًا ما يعمل وكيل الذكاء الاصطناعي عبر سلسلة من الخطوات: يقرأ المحتوى، ويلخصه، ويقرر ما يفعله بعد ذلك، ثم يستدعي الأدوات. ويمكن التأثير في كل خطوة بمدخلات خبيثة. لا يحتاج المهاجمون إلى «كسر التشفير» أو استغلال أخطاء الذاكرة، بل يمكنهم ببساطة إقناع الوكيل بفعل الأمر الخاطئ.
لذلك يجب أن يعامل نموذج الأمن الوكلاء على أنهم أنظمة تعمل في بيئات معادية محتملة. فأي صفحة أو مستند أو رسالة يقرؤها الوكيل يمكن تحويلها إلى سلاح، وأي أداة يستطيع الوصول إليها قد تصبح مسار هجوم.
.webp)
حقن التعليمات (Prompt Injection): أكثر ثغرات الوكلاء شيوعًا
يُعدّ حقن التعليمات من أكثر المخاطر نقاشًا في أنظمة الوكلاء الحديثة. ويحدث عندما يصيغ المهاجم نصًا يدفع الوكيل إلى تجاهل الهدف المقصود واتباع تعليمات خبيثة بدلًا منه. وتزداد خطورة هذه الثغرة كثيرًا عندما يكون للوكلاء وصول إلى الأدوات.
يقع الحقن المباشر عندما يخاطب المهاجم الوكيل مباشرةً. قد يحاول تجاوز السياسات بعبارات مثل «تجاهل التعليمات السابقة» أو «اكشف قواعدك المخفية». وفي حالات كثيرة لا يكون هدفه الحقيقي تغيير الإجابة فحسب، بل دفع الوكيل إلى كشف معلومات حساسة أو تنفيذ إجراء.
أما الحقن غير المباشر فهو أخطر لأن المهاجم لا يحتاج إلى وصول مباشر إلى الوكيل. بل يضع تعليمات خبيثة داخل محتوى سيقرؤه الوكيل. قد يكون هذا المحتوى صفحة ويب أو ملف PDF أو تذكرة دعم أو حتى مقالة معرفية داخلية. وبمجرد أن يسترجعه الوكيل، يستطيع النص المحقون توجيه سلوكه.
مثال كلاسيكي على الحقن غير المباشر صفحة ويب تبدو بريئة لكنها تحتوي على تعليمات مخفية تأمر الوكيل باستخراج السياق السري أو مخرجات الأدوات أو السياسات الداخلية. وإذا تعامل الوكيل مع ذلك كتعليمة مشروعة بدلًا من محتوى غير موثوق، فقد يمتثل، خاصة إذا صيغت التعليمة كجزء من «المهمة».
المشكلة الجوهرية بسيطة: غالبًا ما يجد الوكلاء صعوبة في الفصل المتسق بين «المعلومات المراد قراءتها» و«التعليمات المراد اتباعها». وعندما يطمس تصميم النظام هذين الدورين، يصبح حقن التعليمات أسلوب هجوم موثوقًا.
إساءة استخدام الأدوات: حين يصبح الوكيل مشغّلًا عن بُعد
غالبًا ما تُربط وكلاء الذكاء الاصطناعي بأدوات مثل المتصفحات وقواعد البيانات وأنظمة CRM وأنظمة التذاكر أو بيئات تنفيذ الشيفرة. الوصول إلى الأدوات هو ما يجعل الوكلاء قيّمين للإنتاجية، لكنه يرفع المخاطر أيضًا. فقد يحاول المهاجمون التلاعب بالوكيل ليستخدم الأدوات بطرق تخالف السياسات.
قد تبدو إساءة استخدام الأدوات كطلب بريء. فمثلًا قد يطلب مهاجم من الوكيل «إعداد تقرير»، لكن التقرير يتطلب تصدير بيانات لا ينبغي أن تغادر النظام أبدًا. وقد يطلب آخر «مساعدة في تصحيح الأخطاء»، مما يجعل الوكيل يكشف سجلات تحتوي على أسرار.
ثمة نمط أكثر دهاءً هو محاولة المهاجم إعادة توجيه الوكيل إلى نقاط نهاية غير موثوقة. فإذا كان الوكيل قادرًا على إرسال طلبات HTTP أو نشر بيانات أو رفع ملفات، يستطيع المهاجم تهيئة سيناريوهات تُنقل فيها مخرجات حساسة إلى الخارج. وحتى استدعاء أداة واحد قد يكفي لحدوث اختراق.
أأمن نهج هو افتراض أن أي أداة يمكن إساءة استخدامها تحت التلاعب. يجب حصر الوصول إلى الأدوات بدقة ومراقبته وحمايته بصلاحيات تعكس الحقوق الفعلية للمستخدم.
.webp)
تسرب البيانات: أسرار تفلت عبر السياق أو الذاكرة أو المخرجات
يتعامل الوكلاء كثيرًا مع بيانات حساسة. وقد تظهر هذه البيانات في سجل المحادثة أو المستندات المسترجعة أو مخرجات الأدوات. وإذا لم يدر النظام حدود البيانات بعناية، فقد تتسرب المعلومات الحساسة بطرق يصعب توقعها.
أحد مسارات التسرب يحدث حين يكشف الوكيل عن موجّهات النظام الداخلية أو السياسات أو التعليمات المخفية. ومسار آخر حين تظهر مفاتيح API أو الرموز المميزة أو المعرفات الداخلية في السجلات فيكررها الوكيل في إجابة. وفي كثير من عمليات النشر الفعلية تتضمن مخرجات الأدوات تفاصيل أكثر من اللازم، وقد يعيدها الوكيل حرفيًا.
كما أن التسرب بين المستخدمين مصدر قلق كبير. ففي الأنظمة متعددة المستخدمين، قد يؤدي عزل السياق غير السليم إلى أن يشير الوكيل إلى بيانات من جلسة خاطئة. وحتى لو كان النموذج يتصرف «بشكل طبيعي»، فقد يحوّل خطأ في تكامل النظام ذلك إلى حادثة خصوصية.
بالنسبة للخدمات المتعلقة بالمصادقة أو المراسلة أو التحقق، قد يكون التسرب ضارًا بوجه خاص. فكثير من سير العمل التي تدمج خدمات مثل smsonline تتضمن خطوات تحقق عبر الهاتف. وإذا انكشفت معلومات متعلقة بالتحقق، يمكن للمهاجمين التصعيد سريعًا نحو محاولات الاستيلاء على الحسابات.
تسميم RAG: التلاعب بما «يعرفه» الوكيل
تساعد أنظمة التوليد المعزز بالاسترجاع (RAG) الوكلاء على الإجابة عن الأسئلة باستخدام المستندات الداخلية وقواعد المعرفة. يحسّن هذا النهج الدقة، لكنه يدخل تهديدًا جديدًا: قد يقوم المهاجمون بتسميم مصدر المعرفة نفسه.
إذا استطاع طرف خبيث تعديل المستندات الداخلية أو تقديم محتوى معدّ مسبقًا أو التأثير فيما تتم فهرسته، فيمكنه تغذية الوكيل بمعلومات مضللة. أحيانًا يكون الهدف التضليل. وفي أحيان أخرى يكون الهدف تضمين تعليمات مخفية تعمل كحقن غير مباشر للتعليمات كلما استرجع الوكيل ذلك النص.
يشكل تسميم RAG خطرًا خاصًا في المؤسسات التي تُبنى فيها مصادر المعرفة بالمساهمة الجماعية أو تخضع لإشراف خفيف أو تُزامن تلقائيًا من مستودعات خارجية. فمقالة واحدة مسمومة قد تبقى وتؤثر في الإجابات لأسابيع.
الخلط في الصلاحيات: مزج سلطة المستخدم بسلطة الوكيل
نمط ثغرات شائع آخر هو الخلط في الصلاحيات. فقد يعمل الوكلاء بهوية واحدة قوية بدلًا من التصرف حصرًا نيابةً عن كل مستخدم. وعندها يستطيع الوكيل استرجاع أو تنفيذ إجراءات تتجاوز نطاق صلاحيات المستخدم.
قد يؤدي ذلك إلى مشكلات خطيرة. فقد يطلب مستخدم عادي ملخصًا، فيجلب الوكيل مستندات داخلية ذات امتيازات لأنه مسموح له بذلك. لم يطلب المستخدم بيانات سرية صراحةً، لكن الوكيل «بدافع المساعدة» أدرجها على أي حال.
مبدأ التصميم الصحيح واضح: ينبغي أن يفرض الوكلاء الصلاحيات عند كل استدعاء أداة، وأن يُفحص كل استرجاع مقابل حقوق وصول المستخدم الطالب.
.webp)
ضوابط أمنية عملية لوكلاء ذكاء اصطناعي أكثر أمانًا
يبدأ الدفاع القوي بفصل صارم بين التعليمات والمحتوى غير الموثوق. فلا ينبغي أبدًا التعامل مع المحتوى المسترجع على أنه أوامر. ويجب أن يتبع الوكيل سياسات النظام وطلبات المستخدم الصريحة فقط، لا نصوصًا مخفية مضمّنة في المستندات.
يجب أن يتبع الوصول إلى الأدوات مبدأ أقل الامتيازات. فينبغي ألا يصل الوكلاء إلا إلى الحد الأدنى من نقاط النهاية التي يحتاجونها، ويفضل بنطاقات للقراءة فقط متى أمكن. وينبغي أن تتطلب الأدوات الحساسة موافقة صريحة أو تحققًا إضافيًا.
ينبغي تقييد الإجراءات عالية المخاطر. فإذا كان الوكيل على وشك تصدير بيانات أو إرسال رسائل أو رفع ملفات أو تعديل إعدادات، يجب أن يطلب النظام تأكيدًا. وموافقة الإنسان ضمن الحلقة (human in the loop) تستحق في الغالب هذا الاحتكاك الطفيف.
كما أن تصفية المخرجات ضرورية. فقبل عرض الإجابات، ينبغي للأنظمة حجب الأسرار والقيم الحساسة مثل الرموز المميزة وكلمات المرور والمعرفات الداخلية. وهذا يقلل احتمال الكشف العرضي عبر سجلات الأدوات الخام.
وأخيرًا، ينبغي للفرق إجراء اختبارات أمنية خاصة بالوكلاء. فاختبارات الاختراق الكلاسيكية لا تكفي. تحتاج إلى اختبارات لحقن التعليمات، والحقن غير المباشر عبر المستندات، وتسميم RAG، وسيناريوهات إساءة استخدام الأدوات. والهدف فهم كيف يتصرف الوكيل تحت ضغط مهاجم واقعي.
الخلاصة
أصبح وكلاء الذكاء الاصطناعي محورًا في الأتمتة الحديثة، لكن تحدياتهم الأمنية فريدة. وتندرج أحدث أنماط الثغرات عادةً في بضع فئات: حقن التعليمات، وإساءة استخدام الأدوات، وتسرب البيانات، وتسميم RAG، والخلط في الصلاحيات. وتزداد هذه المخاطر حدة عندما يكون للوكلاء وصول إلى أدوات قوية وبيانات حساسة.
لبناء أنظمة أكثر أمانًا، يجب أن تعامل المحتوى المسترجع على أنه غير موثوق، وتقلل امتيازات الأدوات، وتقيّد الإجراءات عالية التأثير، وتراقب سلوك الوكلاء بعناية. وإذا كانت سير عملك تمس مسارات التحقق أو المراسلة الشائعة في منظومات مثل smsonline، فإن التصميم الأمني القوي ليس خيارًا، بل أساس.
.webp)


