近日,新京报记者搜索发现一个名为“萝莉资源”的儿童色情网站,后对其进行举报。28日,记者再次尝试检索该网站,发现该论坛已无法进入,页面显示“现有连接被远程主机强行关闭”。
儿童色情网站被关闭
儿童色情网站被关闭 今日上午,记者通过百度、360、搜狗等多个浏览器搜索“萝莉资源”网站,网页均提示:由于该网站的robots.txt文件存在限制指令(限制搜索引擎抓取),系统无法提供该页面的内容。点击该网站链接,链接跳转页面显示:“An">
随后记者在手机上尝试打开此链接时,页面提示:网页包含色情内容,被多人投诉,为维护绿色上网环境,已停止访问。
记者查询发现,robots.txt是搜索引擎访问网站时查看的第一个文件,这个文件用于指定spider在该网站上的抓取范围。部分网站由于存在不想被搜索引擎收录的内容,会使用robots.txt文件来屏蔽网站的部分内容或者全部内容。若网站对百度spider设置了robots.txt文件,百度会遵循robots协议,不抓取封禁的结果,但考虑到用户在搜索引擎中有搜索该网站地址的需求,搜索结果中会根据搜索需求展示网站的标题及网址,但不会显示网站摘要。
热2016-04-14
热2017-02-27
热2017-04-11
热2017-03-10
热2017-07-05
热2017-07-06