深网
基本解释
整个Web看似杂乱无章,但如果按其所蕴涵信息的“深度”可以划分为SurfaceWeb和DeepWeb两大部分。SurfaceWeb是指通过超链接可以被传统搜索引擎索引到的页面的集合。DeepWeb是指Web中不能被传统的搜索引擎索引到的那部分内容。广义上来说,DeepWeb的内容主要包含4个方面:
(1)通过填写表单形成对后台在线数据库的查询而得到的动态页面;
(2)由于缺乏被指向的超链接而没有被搜索引擎索引到的页面,大约占整个比例的21.3%;
(3)需要注册或其它限制才能访问的内容;
(4)Web上可访问的非网页文件,比如图片文件、PDF和Word文档等。
而在实际中应用中,人们则更关注于DeepWeb中的第一部分内容。其原因不难理解,这部分内容对结构化数据的集成更有意义,可以采用的技术也更丰富。DeepWeb数据集成也主要是指对结构化信息的集成,我们同时把Web中可访问的在线数据库称为Web数据库或WDB。这些内容只有在被查询时才会由Web服务器动态生成页面,把结果返回给访问者,因此没有超链接指向这些页面,这是和那些可以被直接访问的静态页面的根本区别。随着Web相关技术的日益成熟和DeepWeb所蕴含信息量的快速增长,通过对web数据库的访问逐渐成为获取信息的主要手段,而对DeepWeb的研究也越来越受到人们的关注。
命名
伯格曼在The Journal of Electronic Publishing上发表一篇关于深网的重大论文中提到,吉尔.艾尔斯沃夫曾经使用“隐形网”这一术语表示那些没有被任何搜索引擎索引注册的网站。伯格曼还引用法兰克·加西亚在1996年1月的一篇文章:
这些网站可能已经被合理地设计出来了,但是他们却没有被任何搜索引擎编列索引,以至于事实上没有人能找到他们。我可以这样对这些不可见的网站说,你们是隐藏了的。我称之为隐形网。
早期另一个使用“隐形网”这一术语的是一家叫做“个人图书馆软件”公司的布鲁斯·芒特和马修·B·科尔,当他们公司在1996年12月推出和发行的一款软件时,他们对深网工具的有过这样的一番描述。
现在普遍接受的深网这一特定术语首次使用在2001年伯格曼的研究中。