Derin ağ, İnternet'in standart arama yöntemlerinin dışında kalan kısmıdır. Standart bir arama motoru, web sayfalarını tek bir sayfa açarak ve tüm bağlantıları tıklatarak bulur. Bu, devasa bir örümcek ağı gibi tek bir sayfadan uzatmalarına ve sayfalar arasında bağlantı kurarak sayfalara erişmelerini sağlar. Bu işlem yalnızca İnternette bulunan sayfaların bir kısmını yakalar; Çok fazla miktarda veri, birçok nedenden dolayı tamamen sınıflandırılmaz. Bu sayfalar hiçbir zaman standart bir arama motorunda görünmez ve bu nedenle çoğu web kullanıcısı tarafından görünmez.
Yüzey ağı, çoğu kullanıcının aşina olduğu İnternet'in bir parçasıdır. Bu bölüm çoğu kullanıcının bildiği standart web sayfalarını ve web servislerini içerir. Derin ağ, yalnızca İnternet kullanıcılarının belirli bölümlerinin de bildiği veya erişebildiği bilgiden oluşur. Derin ağ, yüzey ağına kıyasla çok büyüktür; 2000 yılında, yüzey ağından neredeyse 50 kat daha büyüktü.
Derin ağın var olmasının nedeni, temel olarak arama motorlarındaki sınırlamalardır. Arama motorları bağlantılara baktıkça, belirli web sayfası türlerine erişemezler. Bu sayfalar hiçbir zaman sisteme girmez ve bu nedenle asla dizine eklenmez. Bir kullanıcı bu sayfalardan birini aradığında, arama motoru varlığını veya erişemediğini kaydetmediğinden, asla bulamaz.
Bir arama motorunun endekslemesi zor veya imkansız olan birkaç farklı sayfa türü vardır. Dinamik ve veritabanı tabanlı web sayfaları, var olmak için belirli bir girdi gerektirdiğinden pratik olarak imkansızdır. Bu web sayfaları genellikle kullanıcı girişi yoluyla anında hazırlanır. Dinamik bir sayfa gerekene kadar mevcut olmadığından, arama motorları bunları atlar çünkü ne isteyeceklerini bilmiyorlar.
Özel veya girişli web sayfaları, derin ağın başka bir büyük bölümünü oluşturur. Bu sayfalar kimlik bilgileri veya giriş bilgileri gerektirdiğinden ve arama motorunun hiçbirinde bulunmadığından, giriş bilgilerinin diğer tarafındaki bilgilere erişmesi engellenmez. Bu sorunla bile, oturum açma tabanlı bazı siteler yüzey ağının bir parçasıdır. Web sitesi, motorların sayfalarını aramasına izin vermek için özel hükümler düzenler. Bu, açık kayıt olan ve ek trafik oluşturmak isteyen sayfalar arasında yaygındır.
Derin ağın bir başka büyük kısmı, bağlantısız veya kısıtlanmış web sitelerinden yapılır. Bu sayfaların dış kaynaklara bağlantısı yoktur veya mevcut bağlantıları aktif olarak engeller. Bu, arama motorlarının sayfaya hiçbir zaman tökezlemesini önler, böylece hiçbir zaman listeye eklenmez. Bu kişisel web sayfaları arasında yaygındı, ancak modern web kullanımındaki değişiklikler çoğu kişisel sayfayı birbirine bağladı ve dizine ekledi.
