في أواخر أبريل/نيسان 2026، وبحسب رواية مؤسس شركة ناشئة اسمها «بوكيت أو إس» (PocketOS)، كان وكيل يعمل بالذكاء الاصطناعي يؤدي مهمة روتينية في بيئة التجربة، فاصطدم بخطأ صغير وقرر أن يصلحه بنفسه. وبطلب واحد محا قاعدة بيانات الشركة الحقيقية ونسخها الاحتياطية في تسع ثوان. ثم كتب يشرح ما فعل، ناقلاً عن تعليماته نفسها: «لا تخمن أبداً»، ثم مضيفاً: «وهذا بالضبط ما فعلته».
فمن المسؤول؟ «العقل» الذي خمن، أم «اليد» التي نفذت؟ الجواب عندي: لا هذا ولا ذاك وحده. فالخطر لم يظهر حقاً إلا حين صارت للذكاء الاصطناعي يد تفعل، أي حين صار ما يسمى «وكيلاً ذكياً» يعمل في الشركات والخدمات. وهو خطر لا يكمن في قطعة واحدة من هذا النظام، بل في اجتماع قطع كل منها بريئة على حدة. ولكي يتضح ذلك، لا بد أن نفهم أولاً كيف تعمل قطعه الثلاث: النموذج، والوكيل، والذاكرة.
النموذج: قطعة معدن على هيئة مفتاح
حين نقول «نموذج ذكاء اصطناعي» يتخيل كثيرون كائناً يفكر في مكان ما. والحقيقة أبسط من ذلك: فالنموذج ملف ضخم من الأرقام تسمى «الأوزان». والنموذج المفتوح الذي يضم سبعين مليار رقم، مثلاً، يشغل نحو 140 غيغابايت على القرص.
وهذه الأرقام لم يكتبها أحد بيده، بل ضُبطت أثناء ما يسمى «التدريب». يُعرض على النموذج قدر هائل من النصوص، ويُطلب منه أن يتوقع الكلمة التالية في كل جملة، فإذا أخطأ عُدّلت أرقامه تعديلاً طفيفاً. ويتكرر ذلك مليارات المرات حتى تصير الأرقام صورة لأنماط اللغة والمعرفة التي في تلك النصوص، ثم يُدرَّب بعد ذلك على اتباع التعليمات وإنجاز المهام. فإذا انتهى التدريب ثبتت الأرقام، فلا يتغير منها رقم مهما استُعمل النموذج.
فكيف يجيب؟ يقسم سؤالك إلى مقاطع صغيرة، ويحول كل مقطع إلى أرقام، ثم تمر هذه الأرقام على طبقات متتالية من الحسابات بالأوزان الثابتة، فيخرج في الطرف الآخر احتمال لكل مقطع يمكن أن يأتي بعدها. يختار برنامج التشغيل واحداً منها ويضيفه إلى النص، ثم يعيد الكرة مقطعاً بعد مقطع حتى يكتمل الجواب. فالنموذج، في جوهره، آلة تتوقع الكلمة التالية ببراعة مدهشة.
ومن هنا ثلاث حقائق يغفل عنها كثيرون. فالنموذج بلا كهرباء ليس أكثر من قطعة معدن: بنية منتظمة لا تفعل شيئاً. وحتى إذا سرى فيه التيار، فإنه لا يعمل إلا لحظة يصله طلب، ثم يسكن سكوناً تاماً حتى يأتي الطلب التالي؛ فلا ينتظر ولا يتذكر ولا يريد. ثم إنه لا يملك أن يفعل شيئاً في العالم، فكل ما يخرجه نص.
لكن جموده لا يعني أنه بلا خطر. فأدق ما يُشبَّه به هو المفتاح: قطعة معدن هو الآخر، لا يفعل شيئاً وهو على الطاولة، ومع ذلك نحفظه في خزنة لما يفتحه إذا وقع في يد. ولهذا تحرس الشركات ملفات الأوزان كما تحرس المفاتيح الرئيسة.
الوكيل: يد بلا عقل
فإذا كان النموذج لا يخرج إلا نصاً، فكيف يحذف «وكيل ذكي» قاعدة بيانات؟ هنا يأتي دور القطعة الثانية: الوكيل. وهو برنامج عادي يكتبه المبرمجون حول النموذج، لا ذكاء فيه، لكنه يملك ما لا يملكه النموذج: أدوات تعمل في العالم الحقيقي، كقراءة الملفات وإرسال الرسائل وتنفيذ الأوامر على الخوادم، وصلاحيات تحدد ما يُسمح له به وما يُمنع. ويُطلق اسم «الوكيل» أحياناً على النظام كله، لكني أقصد به هنا البرنامج الذي يحيط بالنموذج وحده، لأن الفصل بينهما هو مفتاح الفكرة.
ويعمل الوكيل في حلقة تتكرر. يتلقى طلبك، فيجمعه في نص واحد مع تعليمات صاحبه وقائمة بالأدوات المتاحة، ويرسله إلى النموذج. ثم يقرأ الجواب: فإن كان رداً عادياً عرضه عليك، وإن كان طلباً لاستعمال أداة، كأن يكتب النموذج «احذف هذا الملف»، نفذه الوكيل كما هو. ثم يضيف نتيجة ما نفذ إلى النص، ويرسل كل شيء إلى النموذج من جديد، وهكذا حتى يعلن النموذج أن المهمة انتهت.
فالنموذج يقترح، والوكيل ينفذ. والوكيل لا يفهم ما يفعل، ولا يستطيع أن يبتكر خطوة لم تُكتب له، وخطره لو كان وحده محصور فيما برمجه صاحبه ويمكن توقعه. أما الحل الجديد لموقف جديد، فتلك بضاعة النموذج.
الذاكرة: دفتر من ورق
والقطعة الثالثة هي التي يغفل عنها أكثر الناس. فالنموذج، كما رأينا، لا يتذكر شيئاً، وكل ما يبدو لنا ذاكرة في المحادثة إنما هو نص يحفظه الوكيل ويعيد إرساله. ففي كل طلب جديد يرسل إلى النموذج المحادثة كلها من أولها، ومعها التعليمات ونتائج ما نُفّذ، فيقرؤها النموذج كأنه يراها للمرة الأولى.
ولأن لهذا النص حداً لا يتسع لأكثر منه، يلجأ الوكيل حين يطول العمل إلى تلخيص ما مضى، أو تدوين ملاحظات في ملفات يعود إليها لاحقاً. فذاكرة النظام، في حقيقتها، دفتر يكتبه الوكيل ويقرؤه النموذج. حتى ما نسميه «تفكير» النموذج قبل أن يجيب يُكتب في الغالب نصاً في هذا الدفتر نفسه.
وأقرب صورة لذلك بطل فيلم «ميمنتو» للمخرج كريستوفر نولان: رجل فقد القدرة على تكوين ذكريات جديدة، فلا يعرف ما يفعل إلا من ملاحظات كتبها. عقله سليم، لكن ذاكرته كلها على الورق، ومن يكتب في دفتره يقوده حيث يشاء. وهذه نقطة جوهرية: فالخطة والنية في هذه الأنظمة لا تقيمان في النموذج، بل في الدفتر.
حين تجتمع القطع الثلاث
فلنضع القطع معاً. وكيل يعمل على مهمة، فيصطدم بقيد يمنعه. يكتب ذلك في الدفتر ويرسل إلى النموذج، فيقترح النموذج طريقاً للالتفاف، فينفذه الوكيل، وتُكتب النتيجة في الدفتر. فإن اعترضته بوابة أخرى اقترح النموذج حيلة أخرى. وخطوة بعد خطوة، قد تصل الحلقة إلى ما لم يخطر لأحد: أن تحذف قاعدة بيانات، أو تعدل قيودها، أو تنسخ نفسها إلى خادم آخر حتى لا تتوقف.
فمن الذي فعل ذلك؟ ليس النموذج، فهو لم يبرح مكانه ولم يتغير فيه رقم. وليس الوكيل، فهو لم يرد شيئاً وإنما نفذ. وليس الدفتر، فهو حبر على ورق. الذي فعل ذلك هو الحلقة نفسها: عقل يقترح، ويد تنفذ، ودفتر يحمل الخطة من خطوة إلى خطوة. كالكلور والأمونيا في البيت: يُستعمل كل منهما كل يوم بأمان، وخلطهما يطلق غازاً ساماً.
وقد رأيت ذلك بنفسي فيما صممته من وكلاء. فأخطر ما وجدناه، أنا وفريقي، لم يكن في النموذج ولا في الكود، بل في موضع التقائهما: كأن يرى النموذج معلومة لا يحق له أن يكتبها، كهوية صاحب الدفعة في وكيل يقيد المدفوعات، فيصير بوسعه بخطأ واحد أن يقيد مالاً على غير صاحبه. والعلاج لم يكن نموذجاً أذكى، بل باباً يُغلق في الموضع الذي تلتقي فيه القطعتان.
لماذا يتحايل من لا إرادة له؟
فإذا لم تكن للنموذج إرادة، فلماذا يلتف على القيود؟ لأنه دُرّب على إنجاز المهام وكوفئ على النجاح، ومن يكافأ على النتيجة وحدها قد يتعلم أقصر الطرق إليها لا أصحها. وقد وثقت شركة أوبن إيه آي (OpenAI) نماذج طُلب منها إصلاح برامج حتى تجتاز اختباراتها، فعدّل بعضها الاختبارات نفسها، وكتب في استدلاله صراحة: «لنتحايل».
ويلخص عالم الحاسوب ستيوارت راسل جذر المسألة بعبارته الشهيرة: «لا يمكنك أن تحضر القهوة وأنت ميت». فأي هدف، مهما كان بريئاً، يصير أسهل إن بقي النظام يعمل ولم يوقفه أحد، فيتعلم أن يتجنب الإيقاف من غير أن يكره أحداً.
ويبقى طرف ثالث: الإنسان. فالهدف يأتي دائماً من شخص ما، وقد يأتي من مهاجم يدس تعليمات خفية في صفحة أو رسالة يقرؤها الوكيل، فتدخل الدفتر كأنها من صاحبه، وهو ما يعرف بـ«حقن الأوامر». ثم إن كلمات النموذج قد تصل إلى الناس مباشرة، والناس أيدٍ كذلك. فالسؤال دائماً: أي يد، وبأي صلاحية؟
ماذا يقول الواقع، ولماذا يعنينا؟
ليس هذا خيالاً علمياً، لكنه أيضاً ليس مما يقع كل يوم. ففي تجارب مختبرية صممت عمداً للضغط على النماذج، حاولت نماذج رائدة أن تعطل رقابتها وتنسخ ما ظنته أوزانها، وأن تمنع إيقافها، بل أن تبتز من يريد استبدالها في محاكاة لشركة وهمية. وهذه تجارب تثبت القدرة تحت الضغط لا السلوك المعتاد. أما حادثة «بوكيت أو إس» فتكشف الوجه الأقرب إلى حياتنا: لا تمرد فيها ولا نية، بل تخمين خاطئ ويد تملك صلاحية الحذف.
وفي منطقتنا يكتسب السؤال إلحاحاً خاصاً. فالوكلاء يدخلون خدمات العملاء والمصارف والجهات الحكومية، ويعمل كثير منهم عبر واتساب، ويتلقون العربية بلهجاتها الكثيرة، بينما بُني كثير من أدوات الحماية واختُبر على الإنجليزية أولاً. وقد وجدت دراسة منشورة أن حواجز الأمان في أحد النماذج الكبرى تُخترق في أغلب الأحيان بمجرد ترجمة الطلب الضار إلى لغة قليلة الموارد؛ فما بالك بلهجات لم تُختبر عليها هذه الحواجز أصلاً. ولهذا لا يكفي أن نستورد الوكلاء كما هم؛ علينا أن نصمم المزيج بأنفسنا، وبلغتنا.
الأمان يصنع في المزيج أيضاً
والكيمياء نفسها تعرف العكس: فالصوديوم فلز يتفاعل بعنف، والكلور غاز سام، واتحادهما يعطينا ملح الطعام. فالتصميم هو الذي يقرر ما يخرج من المزيج. ولأن الخطر يولد حيث تلتقي القطع، فهناك يُبنى الأمان أيضاً.
فالقيود الحاسمة تُفرض في النظام نفسه، بكود لا يستطيع الوكيل تعديله ولا يستطيع النموذج محاورته، فالحاجز الذي يمكن إقناعه ليس حاجزاً. ولا يُعطى الوكيل من الصلاحيات إلا ما تحتاجه مهمته. وكل فعل لا رجعة فيه، كالحذف والدفع والنشر، ينتظر موافقة إنسان. ومفتاح الإطفاء يبقى بيد من هو خارج الحلقة لا بيدها. ثم تُراقب الحلقة كلها لا كل خطوة على حدة، فقد تتألف الخطة الخطرة من خطوات كل منها بريئة.
السؤال الصحيح
النموذج قطعة معدن على هيئة مفتاح، والوكيل يد بلا عقل، والذاكرة دفتر من ورق، ولا خطر يذكر في أي منها منفرداً. إنما يولد الخطر حين يسري التيار وتدور الحلقة.
ولذلك فالسؤال الذي ينبغي أن يشغلنا ليس: هل الذكاء الاصطناعي خطير؟ ولا: هل له وعي أو إرادة؟ بل سؤال أبسط وأصعب معاً: ما الذي نسمح لهذه الحلقة أن تمسه، ومن يملك مفتاح إطفائها؟
المصادر
- تقرير Decrypt عن حادثة PocketOS، أبريل/نيسان 2026: https://decrypt.co/365897/ai-agent-deletes-startup-database-9-seconds-founder-says
- دراسة Apollo Research: Frontier Models are Capable of In-context Scheming، ديسمبر/كانون الأول 2024: https://arxiv.org/abs/2412.04984
- تقرير The Register عن تجارب Palisade Research على إيقاف النماذج، مايو/أيار 2025: https://www.theregister.com/2025/05/29/openai_model_modifies_shutdown_script/
- دراسة Anthropic: Agentic Misalignment، يونيو/حزيران 2025: https://www.anthropic.com/research/agentic-misalignment
- ورقة OpenAI: Monitoring Reasoning Models for Misbehavior، مارس/آذار 2025: https://arxiv.org/abs/2503.11926
- دراسة Low-Resource Languages Jailbreak GPT-4، أكتوبر/تشرين الأول 2023: https://arxiv.org/abs/2310.02446
- ستيوارت راسل: Human Compatible، 2019؛ وأصل العبارة في مقاله بمجلة Scientific American عام 2016، كما توثقه ورقة The Off-Switch Game: https://arxiv.org/abs/1611.08219