Cloudflare يطلق سوقًا لحجب الروبوتات وطلب دفع للوصول

شركة Cloudflare وهي مزود بنية تحتية للحوسبة السحابية والتي تخدم حوالي ٢٠٪ من الويب أعلنت يوم الثلاثاء عن إطلاق سوق جديد يعيد صياغة العلاقة بين مالكي المواقع الإلكترونية وشركات الذكاء الاصطناعي هذا السوق يهدف إلى منح الناشرين سيطرة أكبر على محتواهم خلال العام الماضي أطلقت Cloudflare أدوات تساعد الناشرين على التعامل مع انتشار الزواحف المتخصصة في الذكاء الاصطناعي بما في ذلك حل يتيح حظر جميع الروبوتات الخاصة بالذكاء الاصطناعي بنقرة واحدة بالإضافة إلى لوحة تحكم تعرض كيف تتواصل هذه الزواحف مع مواقعهم في مقابل ذلك يتوقع الرئيس التنفيذي لـ Cloudflare ماثيو برنس أن هذه المنتجات ستشكل أساسًا لسوق جديد يمكن فيه للناشرين توزيع محتواهم على شركات الذكاء الاصطناعي والحصول على تعويض عنه الآن تحول Cloudflare ذلك الفكرة إلى واقع من خلال إطلاق سوق Pay per Crawl في نسخته التجريبية الخاصة يوم الثلاثاء في هذا السوق يمكن لأصحاب المواقع اختيار السماح للزواحف المتخصصة في الذكاء الاصطناعي بحفر محتواهم بمعدل ثابت لكل عملية حفر أو可以选择让他们免费抓取内容，或者完全阻止他们 Cloudflare تدعي أن أدواتها ستتيح لأصحاب المواقع رؤية ما إذا كانت الزواحف تستخدم محتواهم للتدريب على الذكاء الاصطناعي أو الظهور في استجابات البحث بالذكاء الاصطناعي أو لأغراض أخرى في حالة تعميم هذا السوق، فإن Cloudflare تقدم فكرة كبيرة قد تشكل نموذج أعمال محتمل للناشرين في عصر الذكاء الاصطناعي ووضع الشركة نفسها في مركز هذه العملية يأتي إطلاق السوق في وقت يواجه فيه الناشرون الإخباريون أسئلة وجودية حول كيفية الوصول إلى القراء بينما يتراجع المرور عبر محرك البحث جوجل ويتصاعد شعبية الدردشات بالذكاء الاصطناعي لا يوجد إجابة واضحة على كيفية نجاة الناشرين الإخباريين في عصر الذكاء الاصطناعي بعضهم مثل نيويورك تايمز رفع دعاوى قضائية ضد شركات التكنولوجيا لتدريب نماذج الذكاء الاصطناعي الخاصة بهم على المقالات الإخبارية دون إذن في المقابل، نشرت شركات أخرى صفقات لسنوات عديدة لتراخيص محتواها للتدريب على نماذج الذكاء الاصطناعي ولظهوره في استجابات الدردشات بالذكاء الاصطناعي ومع ذلك، فإن الصفقات التراخيصية للذكاء الاصطناعي متوفرة فقط للناشرين الكبار، وما زالت الأرباح التي يمكن الحصول عليها منها غير واضحة Cloudflare تسعى إلى إنشاء نظام أكثر استدامة حيث يمكن للناشرين تحديد الأسعار على أساس شروطهم الخاصة وأعلنت الشركة أيضًا يوم الثلاثاء أن المواقع الجديدة التي يتم إعدادها مع Cloudflare سيتم حظر جميع الزواحف الخاصة بالذكاء الاصطناعي فيها افتراضيًا سيتم على مالكي النطاقات الجدد منح إذن لبعض الزواحف الخاصة بالذكاء الاصطناعي للوصول إلى مواقعهم وفقًا للتغيير الذي تقول Cloudflare إنه سيمنح كل نطاق جديد "سيطرة افتراضية" وقع العديد من الناشرين الكبار بما في ذلك Conde Nast و TIME و The Associated Press و The Atlantic و ADWEEK و Fortune اتفاقيات مع Cloudflare لحظر الزواحف الخاصة بالذكاء الاصطناعي افتراضيًا دعمًا للهدف الأشمل للشركة وهو نهج "بالموافقة على الحفر" تعتمد العديد من هذه الناشرين على نموذج أعمال أصبح غير موثوق به تدريجيًا تاريخيًا، سمحت المواقع الإلكترونية لجوجل بحفر محتواها مقابل الإحالات في جوجل سيرش التي تترجم إلى زيارات لمواقعهم وبالتالي إيرادات الإعلانات ومع ذلك، تشير البيانات الجديدة من Cloudflare إلى أن الناشرين قد يكونون يحصلون على صفقة أسوأ في عصر الذكاء الاصطناعي مما كانوا يحصلون عليه في عصر جوجل سيرش بينما يشير بعض المواقع إلى ChatGPT كمصدر رئيسي للزيارات، هذا ليس هو الحال بشكل عام في يونيو، وجدت Cloudflare أن زاحف جوجل يحفر مواقع الويب ١٤ مرة لكل إحالة يمنحها بينما حفر زاحف OpenAI المواقع ١٧٠٠٠ مرة لكل إحالة، وحفر زاحف Anthropic المواقع ٧٣٠٠٠ مرة لكل إحالة في الوقت نفسه، تقوم شركات مثل OpenAI و Google بإنشاء وكلاء ذكاء اصطناعي مصممين لزيارة المواقع الإلكترونية نيابةً عن المستخدمين، جمع المعلومات، وتقديمها مباشرة إلى المستخدمين مستقبل حيث تكون هذه الأدوات شائعة الاستخدام له آثار كبيرة على الناشرين الذين يعتمدون على زيارات القراء لمواقعهم تلاحظ Cloudflare أن "القيمة الحقيقية" لـ Pay per Crawl قد تظهر في مستقبل "الوكيل" تصور سؤالًا يطلب منك مثلاً المساعدة في تحليل أحدث البحوث حول السرطان أو كتابة مذكرة قانونية، أو حتى العثور على أفضل مطعم في سoho ثم منح هذا الوكيل ميزانية لإنفاقها على اكتساب أفضل وأكثر المحتوى صلة للمشاركة في سوق Cloudflare التجريبي، يجب على شركات الذكاء الاصطناعي والناشرين إعداد حسابات مع Cloudflare في حساباتهم، يمكن للطرفين تحديد الأسعار التي يرغبون في شراء وبيع "عملية حفر" محتوى الناشر تلعب Cloudflare دور الوسيط في هذه العمليات، حيث تحصّل الأجر من شركة الذكاء الاصطناعي وتوزع الأرباح على الناشر قال المتحدث باسم Cloudflare ريبلي بارك لـ TechCrunch إن هناك لا العملات المستقرة ولا العملات الرقمية معنية في Pay per Crawl حاليًا، رغم أن العديد اقترحوا أن العملة الرقمية ستكون مثالية لهذه الغاية يشعر سوق Cloudflare الجديد بأنه رؤية جريئة للمستقبل يتطلب تعاون العديد من الناشرين وشركات الذكاء الاصطناعي ومع ذلك، ليس هناك ضمان بأن الناشرين سيحصلون على صفقة جيدة، واقناع شركات الذكاء الاصطناعي بالمشاركة ربما يكون صعبًا نظرًا لأنها تجمع المحتوى حاليًا دون دفع أي رسوم ومع ذلك، تبدو Cloudflare واحدة من الشركات القليلة التي تتمتع بموقع يسمح لها بتحقيق سوق من هذا النوع أعلنت Cloudflare أيضًا عن تغيير كبير في السياسة قد يعيد تشكيل الديناميكيات بين صناع المحتوى وشركات الذكاء الاصطناعي بدءًا من يوم الثلاثاء، ستقوم الشركة بحظر الزواحف الخاصة بالذكاء الاصطناعي تلقائيًا من حفر المواقع التي تديرها، ما لم يتم تفعيل هذا الخيار صراحة من قبل أصحاب المواقع يأتي هذا التغيير في ظل مخاوف متزايدة من صناع المحتوى والناشرين بشأن استغلال شركات الذكاء الاصطناعي الكبرى لجهدهم دون موافقة أو تعويض تاريخيًا، قام محركات البحث بتقديم المحتوى بطريقة تدفع حركة المرور والإيرادات الإعلانية إلى المصادر الأصلية ولكن زواحف الذكاء الاصطناعي، المستخدمة لتدريب النماذج اللغوية الضخمة، تحصد كميات هائلة من البيانات وترسل حركة مرور أقل بكثير إلى مبدعي هذا المحتوى تستخدم هذه الزواحف من قبل عملاق الصناعة مثل جوجل و Meta و OpenAI و Anthropic تدير Cloudflare وتحمي حركة المرور لنحو ٢٠٪ من الويب وقد بدأت الشركة في تقديم نظام حظر الزواحف الخاصة بالذكاء الاصطناعي بنقرة واحدة اختياريًا في ٢٠٢٤ أكثر من مليون عميل مكّنوه في ذلك الآن أصبح هذا الخيار افتراضيًا: سيتم الآن إلزام شركات الذكاء الاصطناعي بالحصول على إذن صريح من المواقع قبل حفرها، مما يقلب سيناريو الحفر السلبي للبيانات "المحتوى الأصلي هو ما يجعل الإنترنت واحدة من أعظم الاختراعات في القرن الماضي، وعلينا أن نتوحد لحمايته" قال برنس "لقد كانت زواحف الذكاء الاصطناعي تحفر المحتوى دون حدود هدفنا هو وضع القوة مجددًا في أيدي المبدعين، مع مساعدة شركات الذكاء الاصطناعي على الابتكار هذا يتعلق بصيانة مستقبل الإنترنت الحر والحيوي من خلال نموذج جديد يعمل للجميع" كجزء من دفعها الشامل نحو الإنترنت القائم على الموافقة، أطلقت Cloudflare أيضًا Pay per Crawl يوم الثلاثاء يتيح هذا الميزة الجديدة لناشرين وصناع محتوى مختارين فرض رسوم على شركات الذكاء الاصطناعي مقابل الوصول إلى محتواهم يمكن للمشاركين تحديد أسعار لكل زاحف منفصل، مما يمنحهم السيطرة الكاملة على كيفية استخدام وإمكانية استخدام أعمالهم في تدريب نماذج الذكاء الاصطناعي تأمل Cloudflare في إنشاء سوق شفاف يقوم على الموافقة يساعد المبدعين على تحديد ما إذا كانوا سيسمحون لجميع الزواحف الخاصة بالذكاء الاصطناعي أو بعضها فقط أو سيكونون قادرين على تحديد رسوم الوصول الخاصة بهم، مما يحول استخدام المحتوى غير المonetized إلى مصادر جديدة للأرباح لم شركات الذكاء الاصطناعي، يقدم Pay per Crawl واجهة منظمة للتصفح شروط الوصول، عرض الأسعار، واختيار ما إذا كان سيتم الدفع أو الانصراف بدون البيانات توفر Pay per Crawl حاليًا لمجموعة محددة من الشركاء، مع إمكانية الوصول الأوسع عبر هذه الصفحة التسجيلية وقع العديد من الناشرين الكبار أو عبروا عن دعمهم للخطوة الأخيرة لـ Cloudflare لحظر الزواحف الخاصة بالذكاء الاصطناعي افتراضيًا بما في ذلك Gannett و TIME و BuzzFeed و The Atlantic و Associated Press كما عبرت شركات أخرى مثل Stack Overflow عن تأييدها للمبادرة في جوهرها، تهدف خطوات Cloudflare إلى إعادة تعيين نموذج الاقتصاد على الإنترنت للعصر الجديد للذكاء الاصطناعي تهدف هذه المبادرة إلى تشجيع الابتكار في الذكاء الاصطناعي على النمو بشكل مسؤول بدفع حقوق الملكية الفكرية وتعويض مبدعي البيانات الرسالة السياقية يشيد الخبراء في مجال التكنولوجيا والناشرون بخطوة Cloudflare الجديدة لحماية حقوق ملكية المحتوى الأصلي ومع ذلك، تظل هناك تحديات في إقناع شركات الذكاء الاصطناعي بالمشاركة في هذا السوق الجديد، خاصة أنها تستفيد حاليًا من حفر المحتوى مجانًا تسعى Cloudflare لإعادة التوازن بين المصالح الاقتصادية للناشرين والمبتكرات التكنولوجية لشركات الذكاء الاصطناعي من خلال نموذج الأعمال هذا