|
小喵的嘮叨話：這次的博客，講的是使用python編寫一個爬蟲工具。為什么要寫這個爬蟲呢？原因是小喵在看完《極黑的布倫希爾特》這個動畫之后，又想看看漫畫，結果發(fā)現(xiàn)各大APP都沒有資源，最終好不容易找到一個網(wǎng)站可以看，但是由于網(wǎng)速太渣，看起來額外的費勁。這時候如果能提前下載下來就好了。 原因就是這樣，作為技術喵，任何問題都不能阻礙一顆愛漫畫的心。所以問題就來了，挖掘機技修哪家強？ 在bing上搜索Python、爬蟲框架。找到大家常用的框架。 Scrapy似乎是個很不錯的選擇。至于相對于其他框架的優(yōu)點，小喵沒有細查，至少這個框架是之前聽過的。但是在實現(xiàn)的時候發(fā)現(xiàn)有一些問題，scrapy不能直接抓取動態(tài)的頁面。小喵需要抓取的網(wǎng)站的漫畫都是使用Ajax生成的。需要自己分析各種數(shù)據(jù)，這個有點麻煩。 那么有沒有可以渲染頁面的工具呢？像瀏覽器一樣的？有。 這里介紹兩個工具： PhantomJs，可以理解是一個瀏覽器。不過它沒有界面，我們可以通過js的代碼模擬用戶的行為。這就要求了解它的api并有js基礎了。 Selenium，這是個瀏覽器自動化測試框架。它依賴于瀏覽器（這個瀏覽器也可以是PhantomJs），通過Selenium可以模擬用戶的行為。而且有Python接口，所以相對簡單一些。 我們這個爬蟲使用selenium + phantomjs來實現(xiàn)。 喲，這個爬蟲軟件應該有個響當當?shù)拿帧?。。就?strong>漫畫喵吧，英文名Cartoon Cat。 下面我們一點點的介紹這個爬蟲的實現(xiàn)過程吧。 小喵這里選用Python作為開發(fā)語言，框架是selenium。原因是python經(jīng)常用來寫爬蟲，selenium可以用來模擬用戶行為，PhantomJs是可選的，不過小喵最終會在一個服務器上運行，所以也是需要的。 為了不影響本機上的python，我們還需要使用virtualenv來創(chuàng)建一個獨立的python環(huán)境。具體步驟如下： 1、安裝virtualenvvirtualenv是一個常用的用來創(chuàng)建python環(huán)境的工具。小喵用這個有兩個原因，一是為了不污染本機的環(huán)境，二是在本機直接安裝庫的時候出了一個權限的問題。 virtualenv的安裝十分簡單，使用pip工具就可以安裝。
待程序執(zhí)行結束，你就會開心的發(fā)現(xiàn)自己已經(jīng)有了virtualenv這個工具了。 執(zhí)行完第一個指令后，就會創(chuàng)建成功一個python環(huán)境，執(zhí)行第二個指令后，就會發(fā)現(xiàn)命令行的起始位置有變化。這時候python、pip等工具就變成使用這個新環(huán)境的了，當然也可以使用which python 來查看。3、安裝selenium進入新環(huán)境后，pip安裝的依賴庫都會在新環(huán)境中安裝，不會影響主機自身的python。使用pip 安裝selenium：
至此，我們的基本環(huán)境就搭建完了。 4、安裝PhantomJs小喵的本地實驗環(huán)境是Mac，所以下載了Mac版本。解壓之后就可以使用。 二、尋覓-搜資源小喵想看的這個漫畫貌似各大網(wǎng)站都沒有資源，在費了九牛二虎之力后，終于找到了一個網(wǎng)站！。 每個網(wǎng)站的結構都不相同，因此都需要定制一套爬蟲程序。本文的爬蟲就只能針對這個漫畫網(wǎng)站使用，喵粉們需要爬其他網(wǎng)站的話，需要自己做相應的修改。 三、分析-資源解析這里需要解析兩個頁面，一個是漫畫的首頁，比如前面的： 另一個就是具體章節(jié)的頁面。 1，首頁為了減小圖片的大小，小喵把窗口做了縮放。首頁大致是這個樣子。  圖1 漫畫首頁 各類信息十分的明了。我們關注的就是下面的漫畫列表。通過Chrome強大的審查元素的功能，我們立刻就能定位到章節(jié)的位置。（對著感興趣的位置- >右鍵 -> 審查 就能找到）  圖2 章節(jié)的節(jié)點 可以看到，章節(jié)所在的區(qū)域的id是 play_0，學過前端的童鞋都應該知道，一個頁面中 id通常唯一標示一個節(jié)點。因此如果我們能夠獲取這個頁面的話，查找 id為 play_0的節(jié)點就能一下子縮小搜索范圍。而每個章節(jié)的信息都是一個 a標簽，標簽的 href是對應章節(jié)的具體網(wǎng)址，標簽的文本部分是章節(jié)名。這樣相對關系就得出了： div#play_0 > ul > li > a。首頁的分析就到此結束。 2、章節(jié)頁面引入眼簾的是一個很干凈的頁面（簡直是漫畫界的清流，好多漫畫網(wǎng)站上全部是廣告）。 我們把鼠標放在圖片這個區(qū)域->右鍵->審查。 咦，我們的右鍵怎么按不了？ 其實呢，這個現(xiàn)象在小說網(wǎng)站上遇到的機會會更多。當我們看到比較優(yōu)美的文字或是炫酷的圖片，都會下意識的選中->右鍵->保存。而很多時候，這些資源都是有版權的。并不應該隨意的傳播（狠狠的打了自己的臉/(ㄒoㄒ)/~~）。因此限制鼠標右鍵會是一個很簡單卻有效的辦法。 那么我們?nèi)绾卫@過這個陷阱呢？ 很簡單，我們不用右鍵即可。打開瀏覽器的開發(fā)者工具選項，找到elements這個選項。可以看到一個復雜的結構（其實和上面審查元素之后的結果一樣）。之后不斷的選中標簽，當標簽被選中時，左側頁面中對應的位置會有藍色。多試幾次，最終就能找到對應的位置。  圖3 漫畫圖片 這是一個img標簽，對應的 id是 qTcms_pic。這樣找到這個 id，就能找到這個 img標簽，根據(jù) src就能找到圖片的具體URI地址。接下來是找到下一張圖片的地址。這時候需要查看下一頁這個按鈕的內(nèi)容。用相同的方法，很容易定位成功。  小喵本來是用scrapy來做爬蟲的，看到這里的時候就果斷放棄了。我們分析一下，選中的 3、判斷章節(jié)的末尾最后一個問題就是，如何判斷這個章節(jié)結束了？ 我們跳到章節(jié)的最后一頁，然后再次點擊'下一頁'，這時候會出現(xiàn)一個彈窗。  圖5 最后一頁 多次試驗之后，我們會發(fā)現(xiàn)，只有在最后一頁的時候才會彈出這個彈窗，這樣的話，我們每抓取完一頁，點擊一次'下一頁'，判斷有無彈窗就知道是不是最后一頁了。在右側的開發(fā)者工具中我們能夠看到，這個彈窗是一個id為 msgDiv的 div（而且它的出現(xiàn)和消失是通過增減節(jié)點來實現(xiàn)的，另一種實現(xiàn)方法是將 display設成 none和 block，這種情況可以根據(jù)display的屬性來判斷）。所以我們判斷這個節(jié)點存不存在就行了。至此，兩種頁面的解析都完成了。下一步就開始我們的代碼實現(xiàn)吧。 四、逆襲----代碼實現(xiàn)1，selenium的簡單用法
上面是一個簡單的例子，第一步import依賴的庫。 第二步，獲得一個瀏覽器實例。selenium支持多種瀏覽器。使用firefox之外的瀏覽器都需要下載驅動（selenium本身自帶了firefox的驅動）。驅動下載地址： 。驅動下載完之后將它的路徑加入到PATH里，確保驅動程序能夠被訪問到。或者顯式的把驅動程序的地址當參數(shù)傳入。像下面一樣調(diào)用：
第三步，用get的方式打開網(wǎng)頁。 最后，通過browser對象來解析和處理頁面。 在上面的解析頁面的時候，我們知道了章節(jié)信息的位置： 。這樣就可以解析出章節(jié)信息。browser支持一大堆的選擇器。大大簡化我們查找節(jié)點的工作。
3，給定一個章節(jié)的地址，章節(jié)中的圖片這一步涉及到節(jié)點的獲取、模擬鼠標的點擊以及資源的下載。selenium的點擊實現(xiàn)特別的人性化。只需要獲取節(jié)點然后調(diào)用click方法就搞定。資源的下載網(wǎng)上有許多教程，主要有兩個方法，通過模擬右鍵另存為，和獲取url用其他工具下載。考慮到這里的右鍵不一定可用，而且操作有一點點復雜。小喵選用了第二種方案。
至此，漫畫喵的設計思路和主要的代碼實現(xiàn)都介紹完了。上面的代碼只是用來示意，小喵自己下載漫畫用的代碼是另一套。github的地址是： 。項目只有100多行。不過也用了小喵不少的一段時間。 博客寫完了~小喵的漫畫也下完了~  圖6 下載好的漫畫 轉載請注明出處~ 題圖：pexels，CC0 授權。
|
|
|
