هناك مصطلحان قد يكونا مألوفان للبعض وهما مصطلح الويب أو ماسنطلق عليه “سطح الويب” (Surface web) ومصطلح “أعماق الويب” (Deep web)!! ولكن مالفرق بين الإثنين؟ بداية دعونا نتخيل الويب التي نراها الآن بأنها سطح الجبل الجليدي -الموجودة في الصورة -والذي يطفو فوق سطح الماء أما أعماق الويب فهي تلك الكتلة الضخمة التي يرتكز عليه السطح… تشبيه عميق المضمون متشعب المعاني.
فمن الحقائق التي يجهلها البعض عن أعماق الويب التالي:

أنها أكبر بـ400 إلى 500 مرة من سطح الويب.
أنها تحمل ماحجمه 7500 تيرابايت من المعلومات مقارنة ب19 تيرابايت لصالح سطح الويب.
أي بمعدل 500 بليون وثيقة مقارنة بـ 8 بليون وثيقة.
الويب العميقة تتلقى زيارات شهرية بمعدل 50% أكثر من سطح الويب.
محتويات الويب العميقة تتميز بأنها أكثر تصنيفا وتركيزا من سطح الويب وهذا بالطبع يؤثر طرديا على جودة محتواها.
أكثر من نصف محتويات الويب العميقة موجودة في قواعد البيانات المتخصصة.
95% من الويب العميقة مفتوحة للعامة ويمكن البحث فيها من دون الحاجة للاشتراك.

بعد سرد كل هذه المعلومات عن الويب العميقة قد تتسائل .. لماذا لا يمكن لمحركات البحث الغوص في أعماق الويب وإظهار نتائجها لنا عند البحث؟ المشكلة تكمن بأن محركات البحث قد صممت للبحث في سطح الويب وتتبع الوصلات من موقع لآخر ولم تصمم لسبر أعماق قواعد البيانات وفهم كيفية تصنيف مجلداتها وعلاقة حقولها بعضها مع بعض وأيضا محتويات أعماق الويب لاتوجد بينها روابط كما هي الصفحات الموجودة على سطح الويب. وبما أن الاتجاه السائد في تصميم معظم مواقع الشركات والمكتبات تعتمد على تخليق الصفحة المراد استعراضها عند الطلب من قواعد بياناتها…هذا ما سيجعل مهمة فهرسة المعلومات في قواعد بيانات هذه المواقع مهمة صعبة بالنسبة لعناكب محركات البحث. ويمكن تشبيه شلل قدرت محركات البحث على فهرسة محتويات قواعد البيانات والتي تتطلب تفاعلا بشريا لاستخراج محتوياتها عن طريق نماذج مخصصة، بالشخص الذي يقف على أبواب المكتبة المغلقة ويود الحصول على المعلومات منها ولكنه لا يستطيع الدخول.
ولكن إذا كانت محركات لا تستطيع الوصول لأعماق الويب كيف يمكن لنا أن نصل إليها؟ هناك العديد من محركات البحث والتي بدأت فعليا في الغوص في أعماق الويب مثل قوقل وVivísimo وLibrarians’ Internet Index وRDN وغيرها والتي يمكن الاستفادة من أمكانياتها للوصول لبعضا من أعماق الويب.