أو يقول لينشنر، الرئيس التنفيذي لشركة برايت داتا، إحدى أكبر شركات استخراج البيانات من الويب في العالم، إن الروبوتات الخاصة بشركته لا تجمع معلومات غير متاحة للعامة. تم رفع دعوى قضائية ضد شركة Bright Data سابقًا بواسطة Meta وX بدعوى قيامها بنسخ المحتوى بشكل غير صحيح من منصاتها. (أسقطت ميتا دعوها لاحقًا، ورفض قاضٍ فيدرالي في كاليفورنيا القضية التي رفعتها X.)
قال كاروليس ستاسيوليفيتشيو، المتحدث باسم شركة أخرى مذكورة، ScrapingBee، لمجلة WIRED: “تعمل ScrapingBee على أحد المبادئ الأساسية للإنترنت: أن الويب المفتوح من المفترض أن يكون متاحًا للوصول. صفحات الويب العامة، بحكم تصميمها، قابلة للقراءة من قبل كل من البشر والآلات”.
وقالت شركة Oxylabs، وهي شركة أخرى متخصصة في استخراج البيانات، في بيان غير موقع إن الروبوتات الخاصة بها لا تتمتع “بالوصول إلى المحتوى وراء عمليات تسجيل الدخول أو نظام حظر الاشتراك غير المدفوع أو المصادقة. نحن نطلب من العملاء استخدام خدماتنا فقط للوصول إلى المعلومات المتاحة للجمهور، ونفرض معايير الامتثال في جميع أنحاء منصتنا”.
وأضافت Oxylabs أن هناك العديد من الأسباب المشروعة التي تدفع الشركات إلى حذف محتوى الويب، بما في ذلك لأغراض الأمن السيبراني وإجراء الصحافة الاستقصائية. وتقول الشركة أيضًا إن الإجراءات المضادة التي تستخدمها بعض مواقع الويب لا تميز بين حالات الاستخدام المختلفة. يقول Oxylabs: “الحقيقة هي أن العديد من أنظمة مكافحة الروبوتات الحديثة لا تميز بشكل جيد بين حركة المرور الضارة والوصول الآلي المشروع”.
بالإضافة إلى التسبب في صداع للناشرين، فإن حروب تجريف الويب تخلق فرصًا تجارية جديدة. وجد تقرير TollBit أن أكثر من 40 شركة تقوم الآن بتسويق الروبوتات التي يمكنها جمع محتوى الويب للتدريب على الذكاء الاصطناعي أو لأغراض أخرى. ومن المرجح أن يساعد ظهور محركات البحث التي تعمل بالذكاء الاصطناعي، بالإضافة إلى أدوات مثل OpenClaw، في زيادة الطلب على هذه الخدمات.
تعد بعض الشركات بمساعدة الشركات على عرض المحتوى لعملاء الذكاء الاصطناعي بدلاً من محاولة منعهم، وهي استراتيجية تُعرف باسم تحسين المحرك التوليدي، أو GEO. يقول أوري جافني، كبير مسؤولي الأعمال في شركة براندلايت، وهي شركة تعمل على تحسين المحتوى بحيث يظهر بشكل بارز في أدوات الذكاء الاصطناعي: “إننا نشهد بشكل أساسي ظهور قناة تسويق جديدة”.
يقول جافني: “لن يتكثف هذا إلا في عام 2026، وسنرى هذا النوع من الطرح كقناة تسويقية كاملة، مع تقارب البحث والإعلانات والوسائط والتجارة”.
ظهرت هذه القصة في الأصل على موقع wired.com.
