怎样防止服务器文件被爬

A. 服务器怎么防止病毒入侵

业务系统的服务器都很脆弱，即使装了杀毒软件，部署了防火墙，并定时打补丁，但仍然会有各种风险，各种中毒，各种被入侵，核心数据还是会被偷窥、被破坏、被篡改、被偷走。
推荐使用MCK云私钥，重新定义操作系统各模块的功能，构建独立的身份鉴别体系，在当杀毒软件、防火墙都不起作用时，仍然能顽强的对核心数据进行保护，防止木马病毒入侵；程序/脚本白名单，从根本上杜绝程序/脚本的病毒入侵；文件保护，对存储的数据进行加密，防止核心数据被偷窥、被破坏、被篡改、被偷走！

B. 如何绕开网站防护抓取数据

控制下载频率大规模集中访问对服务器的影响较大，爬虫可以短时间增大服务器负载。这里需要注意的是：设定下载等待时间的范围控制，等待时间过长，不能满足短时间大规模抓取的要求，等待时间过短则很有可能被拒绝访问。在之前“从url获取HTML”的方法里，对于httpGet的配置设置了socket超时和连接connect超时，其实这里的时长不是绝对的，主要取决于目标网站对爬虫的控制。

另外，在scrapy爬虫框架里，专有参数可以设置下载等待时间download_delay，这个参数可以设置在setting.py里，也可以设置在spider里。

IP的访问频率被限制，一些平台为了防止多次访问网站，会在某个同一个IP在单元时间内超过一定的次数的时候，将禁止这个IP继续访问。对于这个限制IP访问效率，可以使用代理IP的方法来解决问题比如使用IPIDEA。

采用分布式爬取分布式爬取的也有很多Githubrepo。原理主要是维护一个所有集群机器能够有效分享的分布式队列。使用分布式爬取还有另外一个目的：大规模抓取，单台机器的负荷很大，况且速度很慢，多台机器可以设置一个master管理多台slave去同时爬取。

修改User-Agent最常见的就是伪装浏览器，修改User-Agent(用户代理)。User-Agent是指包含浏览器信息、操作系统信息等的一个字符串，也称之为一种特殊的网络协议。服务器通过它判断当前访问对象是浏览器、邮件客户端还是网络爬虫。在request.headers里可以查看user-agent，关于怎么分析数据包、查看其User-Agent等信息，这个在前面的文章里提到过。

具体方法可以把User-Agent的值改为浏览器的方式，甚至可以设置一个User-Agent池(list，数组，字典都可以)，存放多个“浏览器”，每次爬取的时候随机取一个来设置request的User-Agent，这样User-Agent会一直在变化，防止被墙。

综上所述，爬虫怎么突破反爬虫的方法比较多，上文从更换IP、控制下载频率、分布式爬取、修改User-Agent这四个方面介绍了突破反爬虫机制的方法，从而实现数据的爬取。

C. 如何防止重复爬虫

1.基于程序本身去防止爬取：作为爬虫程序，爬取行为是对页面的源文件爬取，如爬取静态页面的html代码，可以用jquery去模仿写html，这种方法伪装的页面就很难被爬取了，不过这种方法对程序员的要求很高。
2.基于iptables和shell脚本：可以对nginx的access.log进行策略定义，例如定义在1分钟内并发连接数超过30个ip为非法，如ip不在白名单内，则加入iptables策略封掉，当然这种的缺点是会有“误伤”，策略细粒度越小就会有更多的“误伤”，细粒度大就会使效果变差，另外还有类似的第三方工具fail2ban，利用做filter和actor对一些有危害的操作记录或是封ip。但是对于某个特定的爬虫地址（例如网易、有道）的爬取行为拒绝也很难准确做到，因为你无法准确知道这些特定的爬虫ip地址（例如网易、有道），以下是我的定位方式，不过发现由于ip库不准确造成错误的屏蔽。注意：建议不要用封ip条目的方式,iptables列表长度是65535时就会封满，服务器也就会死机。

D. 如何防止服务器共享文件被人复制

局域网极大地方便了公司企业的工作，局域网服务器上存放着公司重要的需要共享的一些文件资源，以便员工自行使用。但是由于很多共享文件都是员工辛勤
工和的成果，有的甚至涉及到企业的商业机密信息，如果这些共享文件被员工有意或者无意的传播出去，比如复制到自己的电脑上发送给别人、拷贝到U盘里携带出
去、私自修改共享文件的内容...等，使得企业在共享这些文件有着一定的顾虑，但是不共享，员工又不能查看、使用这些文件，那么企业管理者需要怎么做才能
既共享文件方便了员工的使用，提高工作效率，又不让这些文件随意外传、泄露，保护了企业数据的安全呢？

我们可以用超时代共享文件夹加密专家来禁止服务器共享文件的复制，拷贝、修改和删除等，以保护共享文件的安全使用。有的人可能会说，系统自带有共享文件夹权限设置功能，为什么要用超时代共享文件夹加密专家呢？主要有以下4个原因：

第一，共享文件夹加密专家节省企业管理者设置花费的大量时间。用系统自带的功能，这种方法较耗时，需要一个个用户设置。而企业管理者共享
文件时不可能对员工一个个进行权限的设置。共享文件夹加密将不同的权限设置成不同的分组，然后把不同的分组用户名和密码给不同的员工/部门就可以了，只需
要设置好权限分组，不论是几百员工还是几千员工都不需要再进行设置。

第二，共享文件夹加密专家更灵活。可以轻松调整该分组下的权限，以达到批量调整员工对共享文件的权限。

第三，共享文件夹加密专家可以对高达15项权限进行任意组合，能够全面保护共享文件在相应的授权下才能被操作，比如查看、修改、复制、删除、打印、另存、新建等等，甚至还可以设置共享文件的使用次数和访问期限，360度保护共享文件的安全使用。

第四，共享文件夹加密专家还可以直接加密移动硬盘上的数据，让用户可以浏览里面的文件，但无法修改，复制，删除。 适用于员工需要拷贝资料进行文档演示、或者出差携带U盘离线办公等情况。

E. 如何防止网站被爬虫爬取的几种办法

相较于爬虫技术，反爬虫实际上更复杂。目前许多互联网企业都会花大力气进行“反爬虫”，网络爬虫不但会占据过多的网站流量，导致有真正需求的用户没法进入网站，另外也有可能会导致网站关键数据的外泄等现象。网络爬虫遍布互联网的各个角落，因此网络爬虫有好处也有坏处，接下来介绍一下和网络爬虫一同诞生的反爬虫技术，如何才能防止别人爬取自己的网站？
1、基于程序本身去防止爬取：作为爬虫程序，爬取行为是对页面的源文件爬取，如爬取静态页面的html代码，可以用jquery去模仿写html，这种方法伪装的页面就很难被爬取了，不过这种方法对程序员的要求很高。
2、基于iptables和shell脚本：可以对nginx的access.log进行策略定义，例如定义在1分钟内并发连接数超过30个ip为非法，如ip不在白名单内，则加入iptables策略封掉，当然这种的缺点是会有“误伤”，策略细粒度越小就会有更多的“误伤”，细粒度大就会使效果变差，另外还有类似的第三方工具fail2ban，利用做filter和actor对一些有危害的操作记录或是封ip。但是对于某个特定的爬虫地址（例如网易、有道）的爬取行为拒绝也很难准确做到，因为你无法准确知道这些特定的爬虫ip地址。注意：建议不要用封ip条目的方式,iptables列表长度是65535时就会封满，服务器也就会死机。
3.使用robots.txt文件：例如阻止所有的爬虫爬取，但是这种效果不是很明显。
User-agent: *
Disallow: /
4.使用nginx的自带功能：通过对httpuseragent阻塞来实现，包括GET/POST方式的请求，以nginx为例，具体步骤如下：
编辑nginx.conf
拒绝以wget方式的httpuseragent，增加如下内容
## Block http user agent - wget ##
if ($http_user_agent ~* (Wget) ) {
return 403;
}
## Block Software download user agents ##
if ($http_user_agent ~* LWP::Simple|BBBike|wget) {
return 403;

平滑启动
# /usr/local/nginx/sbin/nginx -s reload
如何拒绝多种httpuseragent，内容如下：
if ($http_user_agent ~ (agent1|agent2|Foo|Wget|Catall Spider|AcoiRobot) ) {
return 403;
}
大小写敏感匹配
### 大小写敏感http user agent拒绝###
if ($http_user_agent ~ (Catall Spider|AcoiRobot) ) {
return 403;
}
### 大小写不敏感http user agent拒绝###
if ($http_user_agent ~* (foo|bar) ) {
return 403;
}
注意语法：~*表示是大小写不敏感，~表示是大小写敏感

}
以上就是预防网站信息被别人爬取的一些方法，大量的爬取行为会对web服务器的性能有影响，所以一定要注重反爬虫措施。

F. 软件公司怎么去防止公司内部服务器里的资料不被员工外泄

可以通过在公司内部安装域之盾软件 来实现。域之盾软件是国内相关行业做的比较好的一款软件。

域之盾软件安装简单 操作方便 。易于管理 还集成了数据防泄密，上网行为管理，保密U盘管理，打印管理，准入控制，文档自动备份，远程管理，外设管理，远程监控，桌面管理，操作审计等功能。

G. 服务器怎么防止被攻击

1、关闭不必要的端口和服务
2、安装类似安全狗软件这种的防火墙，来防御攻击，同时查杀病毒。同时，可利用安全狗服云来管理服务器和网站，添加IP黑名单，分析安全威胁，并找到攻击源头并进行处理。
3、定期修改账户密码，尽量设置的复杂些，不要使用弱密码。
4、日常维护的时候要注意，不建议在服务器上安装过多的软件。
5、及时修复漏洞，在有官方安全补丁发布时，要及时更新补丁。
6、设置账户权限，不同的文件夹允许什么账号访问、修改等，同时，重要的文件夹建议增加密码。
7、建议要定期备份数据，当有发现问题时，可以及时替换成正常的文件

H. 怎么防止黑客入侵我的服务器

深圳专业网站建设服务公司“图兰科技”为你解答。
防止黑客入侵服务器第一步：防ACCESS数据库下载

添加MDB的扩展映射就可以了。方法：IIS属性，主目录，配置，映 射，应用程序扩展里添加.mdb的应用解析，至于选择的解析文件大 家可以自已测试，只要访问数据库时出现无法找到该页就可以了， 这里给出一个选择为wam.dll

防止黑客入侵服务器第二步：防上传

以MSSQL数据库为例。在IIS的WEB目录，在权限选项里只能IIS用户 读取和列出目录的权限，然后进入上传文件保存和存放数据库的目 录，给IIS用户加上写入的权限，然后在这二个目录的属性，执行权 限选项

防止黑客入侵服务器第三步：防MSSQL注入

这很重要，在一次提醒，连接数据库万万不能用SA帐号。一般来说 可以使用DB——OWNER权限来连接数据库。不过这存在差异备份来获 得WEBSHELL的问题。下面就说一下如何防差异备份。

差异备份是有备份的权限，而且要知道WEB目录。现在找WEB目录的 方法是通过注册表或是列出主机目录自已找，这二个方法其实用到 了XP_REGREAD和XP_DRITREE这二个扩展存储，我们只要删除他们就 可以了。但是还有一点就是万一程序自已爆出目录呢。所以要让帐 号的权限更低，无法完成备份。操作如下：在这个帐号的属性，数 据库访问选项里只需要选中对应的数据库并赋予其DB_OWNER权限,对 于其它数据库不要操作,接着还要到该数据库,属性,权限,把该用户 的备份和备份日志的权限去掉就可以了,这样入侵者就不能通过差异 备份来获取WEBSEHLL了.

上面给出了三种方法,可能还有人会说有注入点怎么办,哪真是老生 常谈了,补嘛.至于怎么补,如果你不懂写过滤语句的话,就用网上现 成的防注入系统好了.

I. 服务器要做那些安全措施，怎样防止黑客入侵那

服务器安全这问题，很重要，之前服务器被黑，管理员账号也被篡改，远程端口也登陆不了了。，在网上搜索了一些服务器安全设置以及防黑的文章，对着文章，我一个一个的设置起来，费了好几天的时间才设置完，原以为会防止服务器再次被黑，没想到服务器竟然瘫痪了，网站都打不开了，无奈对服务器安全也是一窍不通，损失真的很大，数据库都损坏了，我哪个后悔啊。娘个咪的。最后还是让机房把系统重装了。找了几个做网站服务器方面的朋友，咨询了关于服务器被黑的解决办法，他们建议找国内最有名的服务器安全的安全公司来给做安全维护，推荐了sinesafe，服务器被黑的问题，才得以解决。

一路的走来，才知道，服务器安全问题可不能小看了。经历了才知道，服务器安全了给自己带来的也是长远的利益。 希望我的经历能帮到楼主，帮助别人也是在帮助我自己。

下面是一些关于安全方面的建议！

建站一段时间后总能听得到什么什么网站被挂马，什么网站被黑。好像入侵挂马似乎是件很简单的事情。其实，入侵不简单，简单的是你的网站的必要安全措施并未做好。

一：挂马预防措施：

1、建议用户通过ftp来上传、维护网页，尽量不安装asp的上传程序。

2、定期对网站进行安全的检测，具体可以利用网上一些工具，如sinesafe网站挂马检测工具！

序，只要可以上传文件的asp都要进行身份认证!

3、asp程序管理员的用户名和密码要有一定复杂性，不能过于简单，还要注意定期更换。

4、到正规网站下载asp程序，下载后要对其数据库名称和存放路径进行修改，数据库文件名称也要有一定复杂性。

5、要尽量保持程序是最新版本。

6、不要在网页上加注后台管理程序登陆页面的链接。

7、为防止程序有未知漏洞，可以在维护后删除后台管理程序的登陆页面，下次维护时再通过ftp上传即可。

8、要时常备份数据库等重要文件。

9、日常要多维护，并注意空间中是否有来历不明的asp文件。记住：一分汗水，换一分安全!

10、一旦发现被入侵，除非自己能识别出所有木马文件，否则要删除所有文件。

11、对asp上传程序的调用一定要进行身份认证，并只允许信任的人使用上传程序。这其中包括各种新闻发布、商城及论坛程

二：挂马恢复措施：

1.修改帐号密码

不管是商业或不是，初始密码多半都是admin。因此你接到网站程序第一件事情就是“修改帐号密码”。帐号

密码就不要在使用以前你习惯的，换点特别的。尽量将字母数字及符号一起。此外密码最好超过15位。尚若你使用

SQL的话应该使用特别点的帐号密码，不要在使用什么什么admin之类，否则很容易被入侵。

2.创建一个robots.txt

Robots能够有效的防范利用搜索引擎窃取信息的骇客。

3.修改后台文件

第一步：修改后台里的验证文件的名称。

第二步：修改conn.asp，防止非法下载，也可对数据库加密后在修改conn.asp。

第三步：修改ACESS数据库名称，越复杂越好，可以的话将数据所在目录的换一下。

4.限制登陆后台IP

此方法是最有效的，每位虚拟主机用户应该都有个功能。你的IP不固定的话就麻烦点每次改一下咯，安全第一嘛。

5.自定义404页面及自定义传送ASP错误信息

404能够让骇客批量查找你的后台一些重要文件及检查网页是否存在注入漏洞。

ASP错误嘛，可能会向不明来意者传送对方想要的信息。

6.慎重选择网站程序

注意一下网站程序是否本身存在漏洞，好坏你我心里该有把秤。

7.谨慎上传漏洞

据悉，上传漏洞往往是最简单也是最严重的，能够让黑客或骇客们轻松控制你的网站。

可以禁止上传或着限制上传的文件类型。不懂的话可以找专业做网站安全的sinesafe公司。

8. cookie 保护

登陆时尽量不要去访问其他站点，以防止 cookie 泄密。切记退出时要点退出在关闭所有浏览器。

9.目录权限

请管理员设置好一些重要的目录权限，防止非正常的访问。如不要给上传目录执行脚本权限及不要给非上传目录给于写入权。

10.自我测试

如今在网上黑客工具一箩筐，不防找一些来测试下你的网站是否OK。

11.例行维护

a.定期备份数据。最好每日备份一次，下载了备份文件后应该及时删除主机上的备份文件。

b.定期更改数据库的名字及管理员帐密。

c.借WEB或FTP管理，查看所有目录体积，最后修改时间以及文件数，检查是文件是否有异常，以及查看是否有异常的账号。

J. 如何设置让网站禁止被爬虫收录

网站建设好了，当然是希望网页被搜索引擎收录的越多越好，但有时候我们也会碰到网站不需要被搜索引擎收录的情况。

比如，要启用一个新的域名做镜像网站，主要用于PPC 的推广，这个时候就要想办法屏蔽搜索引擎蜘蛛抓取和索引我们镜像网站的所有网页。因为如果镜像网站也被搜索引擎收录的话，很有可能会影响官网在搜索引擎的权重。
以下列举了屏蔽主流搜索引擎爬虫（蜘蛛）抓取/索引/收录网页的几种思路。注意：是整站屏蔽，而且是尽可能的屏蔽掉所有主流搜索引擎的爬虫（蜘蛛）。

1、通过 robots.txt 文件屏蔽
可以说 robots.txt 文件是最重要的一种渠道（能和搜索引擎建立直接对话），给出以下建议：
User-agent: Baispider
Disallow: /
User-agent: Googlebot
Disallow: /
User-agent: Googlebot-Mobile
Disallow: /
User-agent: Googlebot-Image
Disallow:/
User-agent: Mediapartners-Google
Disallow: /
User-agent: Adsbot-Google
Disallow: /
User-agent:Feedfetcher-Google
Disallow: /
User-agent: Yahoo! Slurp
Disallow: /
User-agent: Yahoo! Slurp China
Disallow: /
User-agent: Yahoo!-AdCrawler
Disallow: /
User-agent: YouBot
Disallow: /
User-agent: Sosospider
Disallow: /
User-agent: Sogou spider
Disallow: /
User-agent: Sogou web spider
Disallow: /
User-agent: MSNBot
Disallow: /
User-agent: ia_archiver
Disallow: /
User-agent: Tomato Bot
Disallow: /
User-agent: *
Disallow: /
2、通过 meta tag 屏蔽
在所有的网页头部文件添加，添加如下语句：
<meta name="robots" content="noindex, nofollow">
3、通过服务器（如：Linux/nginx ）配置文件设置
直接过滤 spider/robots 的IP 段。
小注：第1招和第2招只对“君子”有效，防止“小人”要用到第3招（“君子”和“小人”分别泛指指遵守与不遵守 robots.txt 协议的 spider/robots），所以网站上线之后要不断跟踪分析日志，筛选出这些 badbot 的ip，然后屏蔽之。