你的網(wǎng)站為何卡？誰(shuí)在攻擊網(wǎng)站(一)？

? 站長(zhǎng)朋友們可能或多或少都有這樣的體驗(yàn)，一個(gè)月中總有那么幾天網(wǎng)站卡的要命，下載日志一看，原來是由大量不明流量的訪問在消耗網(wǎng)站的CPU、帶寬和內(nèi)存。誰(shuí)在攻擊你的網(wǎng)站？他們?yōu)楹我獙?duì)你這一個(gè)名不見經(jīng)傳的小網(wǎng)站下毒手？

? 攻擊你網(wǎng)站的無(wú)外乎這兩大類人：通殺類和仇殺類，通殺類不是專門針對(duì)你的網(wǎng)站的，類似大俠下江南，你躺槍而已。仇殺類一般是競(jìng)爭(zhēng)對(duì)手、你得罪的人干的。下面一一分析。

通殺類：
1、 某些無(wú)良蜘蛛
? 大家知道，蜘蛛都是編制好的自動(dòng)化程序，用來模擬用戶爬取你的網(wǎng)站數(shù)據(jù)。好的蜘蛛大家都?xì)g迎，比如百度蜘蛛，搜狗蜘蛛等等，這些蜘蛛對(duì)我們是有益的，并且好的蜘蛛也會(huì)控制好自己的爬取的節(jié)奏，不至于把你網(wǎng)站爬癱?？梢愿鶕?jù)User-Agent:的描述來區(qū)分蜘蛛，當(dāng)然也有些爛人把自己打扮偽裝的和百度等良性蜘蛛一樣，這個(gè)以后再談。什么叫不好的蜘蛛？它爬行的數(shù)據(jù)用于莫名其妙的研究，比如ahrefs這蜘蛛專門研究所有網(wǎng)站外鏈數(shù)據(jù)，用來賣信息給需要的人，再比如siteexplorer這個(gè)蜘蛛也不是什么好鳥，經(jīng)常把網(wǎng)站爬癱，這類蜘蛛趁早禁止為妙。禁止這些蜘蛛的方法一般是寫robots.txt_文件。

? 在此要吐槽下某個(gè)負(fù)責(zé)任“大公司”的“搜索”蜘蛛，無(wú)良到極點(diǎn)，無(wú)視r(shí)obots.txt文件的國(guó)際公約，強(qiáng)行爬取網(wǎng)站，并且經(jīng)常是幾十個(gè)IP并發(fā)群毆，如果想禁止這類的蜘蛛，要封殺蜘蛛的IP段才可以，可以在.htaccess文件里面，通過限制User-Agent來實(shí)現(xiàn)禁止：

BrowserMatchNoCase “Python” bots
BrowserMatchNoCase “CCBot” bots
BrowserMatchNoCase “package” bots
BrowserMatchNoCase “MJ12bot” bots
BrowserMatchNoCase “exabot” bots
BrowserMatchNoCase “libcurl” bots
BrowserMatchNoCase “python” bots
BrowserMatchNoCase “Datanyze” bots
BrowserMatchNoCase “WinHttpRequest” bots
BrowserMatchNoCase “ZoominfoBot” bots
BrowserMatchNoCase “ahrefs” bots
BrowserMatchNoCase “Nimbostratus” bots
BrowserMatchNoCase “filterdb” bots
BrowserMatchNoCase “SemrushBot” bots
BrowserMatchNoCase “MSIE 6.0” bots
BrowserMatchNoCase “siteexplorer” bots
BrowserMatchNoCase “Yandex” bots
Order Allow,Deny
Allow from ALL
Deny from env=bots

關(guān)于攻擊網(wǎng)站的黑道，今天先寫到這里，改天繼續(xù)。