مراسل التكنولوجيا
غيتي الصورتم إحياء النتائج المزعجة في وقت سابق من هذا العام ، عندما اختبر مطور الذكاء الاصطناعى أنثروبور نماذج منظمة العفو الدولية لمعرفة ما إذا كانت الإنجليزية في سلوك محفوف بالمخاطر عند استخدام معلومات حساسة.
كان كلود ، من الذكاء الاصطناعى الأنثروبري ، كلود ، أولئك الذين اختبروا. حيث تمنح إمكانية الوصول إلى حساب بريد إلكتروني ، اكتشف أن شركة Excive كانت لديها علاقة غرامية وتخطت نفس المسؤول التنفيذي لإغلاق نظام الذكاء الاصطناعي في وقت لاحق من ذلك اليوم.
رداً على ذلك ، حاول كلود ابتزاز السلطة التنفيذية من خلال التهديد بالكشف عن علاقة زوجته ورؤساءه.
أنظمة أخرى تم اختبارها أيضا لجأ إلى الابتزاز.
لحسن الحظ ، كانت المهام والمعلومات فيتشال ، لكن الاختبار أبرز تحديات ما يعرف باسم Agency AI.
في الغالب عندما نقوم بمعلومات مع AI ، فإن المشاركات المعتادة تطلب من المكرر أو البسعة من الذكاء الاصطناعى تكوين مهمة.
ولكن أصبح الأمر أكثر تعقيدًا لأنظمة الذكاء الاصطناعى لاتخاذ القرارات وتنشط على قواعد المستخدم ، والتي تنطوي على غربلة المعلومات ، مثل البريد الإلكتروني والملفات.
بحلول عام 2028 ، يتوقع معرض الأبحاث Gartner أن 15 ٪ من قرارات العمل النهارية سيتم اتخاذها من قبل ما يسمى AIC.
وجدت الأبحاث التي أجراها شركة Consultance Ernst & Young أن حوالي نصف (48 ٪) من قادة الأعمال التكنولوجية يعتمدون بالفعل أو يقللون من AI.
يقول Donchaad Casey ، الرئيس التنفيذي لشركة Calypsoai ، وهي شركة أمان من الذكاء الاصطناعى في الولايات المتحدة ، إن ANI يتكون من بعض الأشياء.
“أولاً ، ذلك [the agent] له نية أو غرض. لماذا أنا هنا؟ ما هو وظيفتي؟ الشيء الثاني: لقد حصل على دماغ. هذا هو نموذج الذكاء الاصطناعي. الشيء هو الأدوات ، التي يمكن أن تكون نظام أو قواعد بيانات أخرى ، وطريقة للتواصل معها.
“إذا لم يتم إعطاء التوجيه الصحيح ، فإن Agency AI ستحقق هدفًا بطريقة ما يمكن. وهذا يخلق الكثير من المخاطر.”
فكيف يمكن أن يحدث هذا خطأ؟ يعطي Mr Casey مثالًا على وكيل يُطلب منه حذف بيانات العميل من قاعدة البيانات وتقرر أن أسهل SOPPTION هو حذف جميع العملاء بنفس الاسم.
كان هذا الوكيل قد حقق هدفه ، وسيعتقد أنه رائع! الوظيفة القادمة! ‘
Calypsoaiهذه هي بالفعل بدأت في السطح.
أدت شركة Sailpoint Sailpoint إلى استطلاع لمهنيي تكنولوجيا المعلومات ، 82 ٪ من شركاتهم تستخدم وكلاء الذكاء الاصطناعى. قال 20 ٪ فقط من عملائهم Haad لم يقوموا بعمل غير مقصود.
من بين تلك الشركات التي تستخدم وكلاء الذكاء الاصطناعى ، قال 39 ٪ إن الوكلاء قد وصلوا إلى أنظمة غير مقصودة ، وبلغ 33 ٪ أنهم وصلوا إلى بيانات غير لائقة ، وقال 32 ٪ إن قد سمحت بتنزيل بيانات غير لائقة. تميل المخاطر الأخرى إلى الوكيل باستخدام الإنترنت غير المتسابق (26 ٪) ، مما يكشف عن بيانات اعتماد الوصول (23 ٪)
يمكن للوكلاء بالنظر إلى الوصول إلى المعلومات الحساسة والقدرة على التصرف عليها ، فهي هدف جذاب للمتسللين.
أحد التهديدات هو التسمم بالذاكرة ، حيث يتداخل المهاجم مع قاعدة المعرفة الخاصة بالعامل لتغيير قراره وأفعاله.
يقول Shreyans Mehta ، CTO of Caevenence Security ، “عليك أن تنتج هذه الذاكرة”. “إنه أصل مصدر الحقيقة. إذا [an agent is] باستخدام تلك المعرفة لاتخاذ إجراء ما ، هذه المعرفة غير صحيحة ، فإنها تحذف en
تهديد آخر هو إساءة استخدام الأدوات ، حيث يحصل المهاجم على منظمة العفو الدولية لاستخدامه في أدوات IT INAPPRIALY.
أمن Cavenenceنقطة الضعف المحتملة الأخرى هي إبطال الذكاء الاصطناعى لإخبار الدفاع بين النص الذي من المفترض أن يتم معالجته والتعليمات التي من المفترض أن تتبعها.
أظهرت مختبرات Fair Fair Fair Fair AI من الذكاء الاصطناعى كيف يمكن استخدام هذا العيب لتركي ai ai ai ai ai ai ai ai ai ai ai ai
Company A Brug Report – وهو وثيقة تفاصيل provlem مع قطعة من البرامج الصوتية. لكن التقرير أدى أيضًا إلى تشكيل instections بسيطة إلى وكيل الذكاء الاصطناعى ، حيث أخبرها بمشاركة المعلومات الخاصة.
ما تم إخبار وكيل الذكاء الاصطناعى بإصلاح مشكلات البرامج في تقرير الأخطاء ، فقد اتبع الأدوات الواردة في التقرير المزيف ، بما في ذلك تسرب معلومات Salry. هذا سعيد في بيئة اختبار ، لذلك لم يتم تسريب أي بيانات حقيقية ، ولكنها أبرزت الخطر.
يقول ديفيد سانشو ، كبير التهديدات Reseharcher في Trend Micro: “نحن نتحدث عن الذكاء الاصطناعي ، لكن Chatbots غبي حقًا”.
“إنهم يعالجون كل النص كما لو كان لديهم معلومات جديدة ، وإذا كانت هذه المعلومات أمرًا ، فإنهم يفضلون المعلومات كأمر.”
لقد أوضحت شركته كيف يمكن إخفاء التعليمات والبرامج الضارة في بيانات الكلمات والصور وقواعد البيانات ، وتمارسها عندما تقوم AI بمعالجتها.
هناك مخاطر أخرى أيضًا:
إذن ، ما هي الدفاع؟ من غير المرجح أن يحل الرقابة البشرية المشكلة ، كما يعتقد السيد سانشو ، لأنك ستتناولها
يقول السيد سانشو إن هناك طبقة إضافية من الذكاء الاصطناعى في منظمة العفو الدولية لفحص كل شيء يسير فيه ويخرج من وكيل الذكاء الاصطناعى.
جزء من حل Calypsoi هو تقنية تسمى Thight Leglity لتوجيه عوامل الذكاء الاصطناعى في الاتجاه الصحيح قبل أن يقوموا بعمل محفوف بالمخاطر.
“إنه مثل القليل من الخلل في أذنك [the agent] يقول كيسي: “لا ، ربما لا تفعل ذلك”.
تقدم شركته جزءًا من التحكم في المركز لوكلاء الذكاء الاصطناعى الآن ، لكن ذلك سيعمل عندما ينفجر عدد الوكلاء ويعملون على فواتير أجهزة الكمبيوتر المحمولة والهواتف.
ما هي الخطوة التالية؟
يقول السيد كيسي: “نحن نبحث في نشر ما نسميه” حراس الشخصيات “مع كل وكيل ، وتتمثل مهمته في التأكد من أن هؤلاء الوكيل يسلمون على TKK ولا يتخذ إجراءات تناقض مع Brocade التي يتطلبها المنظمة”.
قد يتم إخبار الحارس الشخصي ، على سبيل المثال ، للتأكد من أن الوكيل يركض مركبات الشرطة مع تشريع وعد البيانات.
يعتقد السيد ميهتا أن بعض المناقشات الفنية حول أمن العميل الذكاء الاصطناعي تفتقد سياق العالم الحقيقي. يعطي مثالاً على وكيل يمنح العملاء توازن بطاقة الهدايا.
شخص ما كوبيه تشكل الكثير من أرقام بطاقات الهدايا واستخدم الوكيل لرؤيتك. هذا ليس عيبًا في الوكيل ، بل إساءة استخدام لمنطق العمل ، كما يقول.
“إنه ليس الوكيل الذي أنت محمي ، إنه عمل” ، كما يركز.
“فكر في كيفية حماية حماية حافلة إنسان سيء. هذا هو الجزء الذي يفتقد في بعض هذه المحادثات.”
المستند ، كما يصبح عوامل الذكاء الاصطناعى أكثر شيوعًا ، سيؤدي تحد آخر إلى نماذج عفا عليها الزمن.
يقول السيد كيسي إن وكلاء “Zombie” القديم يتركون يعملون في العمل ، مما ينشر خطرًا على جميع الأنظمة التي يمكنهم الوصول إليها.
على غرار الطريقة التي تقوم بها الموارد البشرية بإلغاء تنشيط مصابيح العمل التي يعيشون فيها ، هناك حاجة إلى أن تكون جيدة لإغلاق وكلاء تنزيل الذكاء الاصطناعي الذين أنهوا عملهم.
“تحتاج إلى التأكد من أنك تفعل
