هندسة أمن الذكاء الاصطناعي

من خلال اختبار منظَّم مقابل أنماط الفشل الخاصة بالاسترجاع — التسرّب بين المستأجرين، وتسرّب السياق، والاسترجاع الواسع أكثر من اللازم، وفجوات التفويض في قواعد البيانات المتجهية — وليس باختبار النموذج بمعزل عن غيره فقط. انظر «تقييم أمن النماذج اللغوية الكبيرة وRAG».

محتمل، عبر حقن الأوامر غير المباشر (Indirect Prompt Injection) أو محتوى خبيث مضمَّن في المستندات التي يجري استرجاعها. ويُقيَّم ذلك مباشرة ضمن مراجعة أمن RAG والذكاء الاصطناعي الوكيلي.

هذا هو السؤال الجوهري وراء «أمن الذكاء الاصطناعي الوكيلي وبروتوكول MCP» — مراجعة صلاحيات الأدوات، والتفويض، وانتشار الهوية، وحدود الموافقة البشرية، بحيث لا يستطيع وكيل تم التلاعب به التصرّف خارج النطاق المقصود.

ينبغي أن تكون هوية الوكيل وصلاحياته المفوَّضة صريحة ومحددة النطاق وقابلة للتدقيق — لا موروثة ضمنياً من مستخدم أو حساب خدمة. ويُراجَع ذلك ضمن مراجعة بنية أمن الذكاء الاصطناعي.

يعتمد ذلك على حساسية البيانات، وزمن الاستجابة، والتكلفة، والتنظيم، وقابلية التشغيل — فهو قرار معماري، لا قرار أيديولوجي. انظر «الذكاء الاصطناعي الخاص / السيادي الآمن».

من خلال حصر أنظمة الذكاء الاصطناعي، وسياسة استخدام مقبول، وعند الاقتضاء بوابة للنماذج اللغوية الكبيرة (LLM Gateway) تُطبّق قوائم النماذج المسموح بها وضوابط حماية البيانات مركزياً بدلاً من تطبيقها فريقاً فريقاً.

بسياق كافٍ للتحقيق في أي حادثة — الهوية، والأمر، والسياق المسترجَع، والنموذج المستخدم، واستدعاء الأداة، وقرار التفويض المتخذ — مصمَّماً منذ البداية بدلاً من إضافته بعد اكتشاف فجوة.

بالتعامل مع الأحداث الخاصة بالذكاء الاصطناعي (الأوامر، والاسترجاع، ونشاط الوكلاء/الأدوات) كمصدر سجلات إضافي يغذّي عمليات هندسة الكشف والاستجابة للحوادث القائمة، لا كجزيرة منفصلة.

من خلال تقييم وضع أمن الذكاء الاصطناعي يغطي تعامل المورّد مع النماذج/البيانات، والمصادقة، وإقامة البيانات، واستخدام المعالجين الفرعيين، والتزامات الاستجابة للحوادث — إلى جانب المراجعة الأمنية المعتادة للمورّدين.

صُمِّم ISO/IEC 42001 ليوسّع نظام إدارة أمن المعلومات القائم، لا ليحل محله — فتقع إدارة المخاطر وضوابط دورة الحياة الخاصة بالذكاء الاصطناعي إلى جانب نظام إدارة أمن المعلومات وفق ISO/IEC 27001 بدلاً من تكرارها.

تحدد هذه المتطلبات أين يمكن تشغيل النماذج والبيانات، وما المراقبة والإشراف البشري المتوقعان، وكيف تُحوكَم خدمات الذكاء الاصطناعي من طرف ثالث — ويُتناول ذلك مباشرة في «الذكاء الاصطناعي الخاص / السيادي الآمن» و«حوكمة الذكاء الاصطناعي وضمانه».