1樓：好程式設計師
現在之所以有這麼多的小夥伴熱衷於爬蟲技術，無外乎是因為爬蟲可以幫我們做很多事情，比如搜尋引擎、採集資料、廣告過濾等，以python為例，python爬蟲可以用於資料分析，在資料抓取方面發揮巨大的作用。
但是這並不意味著單純掌握一門python語言，就對爬蟲技術觸類旁通，要學習的知識和規範還有喜很多，包括但不僅限於html 知識、http/https 協議的基本知識、正規表示式、資料庫知識，常用抓包工具的使用、爬蟲框架的使用等。而且涉及到大規模爬蟲，還需要了解分散式的概念、訊息佇列、常用的資料結構和演算法、快取，甚至還包括機器學習的應用，大規模的系統背後都是靠很多技術來支撐的。
零基礎如何學爬蟲技術？對於迷茫的初學者來說，爬蟲技術起步學習階段，最重要的就是明確學習路徑，找準學習方法，唯有如此，在良好的學習習慣督促下，後期的系統學習才會事半功倍，遊刃有餘。
用python寫爬蟲，首先需要會python，把基礎語法搞懂，知道怎麼使用函式、類和常用的資料結構如list、dict中的常用方法就算基本入門。作為入門爬蟲來說，需要了解 http協議的基本原理，雖然 http 規範用一本書都寫不完，但深入的內容可以放以後慢慢去看，理論與實踐相結合後期學習才會越來越輕鬆。關於爬蟲學習的具體步驟，我大概羅列了以下幾大部分，大家可以參考：
網路爬蟲基礎知識:
爬蟲的定義
爬蟲的作用
http協議
基本抓包工具(fiddler)使用
python模組實現爬蟲：
urllib3、requests、lxml、bs4 模組大體作用講解
使用requests模組 get 方式獲取靜態頁面資料
使用requests模組 post 方式獲取靜態頁面資料
使用requests模組獲取 ajax 動態頁面資料
使用requests模組模擬登入**
使用tesseract進行驗證碼識別
scrapy框架與scrapy-redis：
scrapy 爬蟲框架大體說明
scrapy spider 類
scrapy item 及 pipeline
scrapy crawlspider 類
通過scrapy-redis 實現分散式爬蟲
藉助自動化測試工具和瀏覽器爬取資料：
selenium + phantomjs 說明及簡單例項
selenium + phantomjs 實現**登入
selenium + phantomjs 實現動態頁面資料爬取
爬蟲專案實戰：
分散式爬蟲+ elasticsearch 打造搜尋引擎
2樓：匿名使用者
個人認為你需要掌握以下內容就可以爬蟲了：
python的基礎語法
會用網路請求的庫（requests,urllib），這樣才能取回想要爬取的網頁內容(http://blog.csdn.
net/lihao21/article/details/51857385)
你還需要學一點點關於html的知識，比如html標籤
取回網頁了，你需要解析html的內容，將他們變成python可以操作的物件。解析可以使用正則式或者是用第三方庫，比如
對於動態網頁，比如開啟了才能看到的一些內容，你就需要學習selenium，這是可以模擬瀏覽網頁，並獲取裡面的內容（http://www.cnblogs.
python網路爬蟲怎麼學習
3樓：好程式設計師
現在之所以有這麼多的小夥伴熱衷於爬蟲技術，無外乎是因為爬蟲可以幫我們做很多事情，比如搜尋引擎、採集資料、廣告過濾等，以python為例，python爬蟲可以用於資料分析，在資料抓取方面發揮巨大的作用。
但是這並不意味著單純掌握一門python語言，就對爬蟲技術觸類旁通，要學習的知識和規範還有喜很多，包括但不僅限於html 知識、http/https 協議的基本知識、正規表示式、資料庫知識，常用抓包工具的使用、爬蟲框架的使用等。而且涉及到大規模爬蟲，還需要了解分散式的概念、訊息佇列、常用的資料結構和演算法、快取，甚至還包括機器學習的應用，大規模的系統背後都是靠很多技術來支撐的。
零基礎如何學爬蟲技術？對於迷茫的初學者來說，爬蟲技術起步學習階段，最重要的就是明確學習路徑，找準學習方法，唯有如此，在良好的學習習慣督促下，後期的系統學習才會事半功倍，遊刃有餘。
用python寫爬蟲，首先需要會python，把基礎語法搞懂，知道怎麼使用函式、類和常用的資料結構如list、dict中的常用方法就算基本入門。作為入門爬蟲來說，需要了解 http協議的基本原理，雖然 http 規範用一本書都寫不完，但深入的內容可以放以後慢慢去看，理論與實踐相結合後期學習才會越來越輕鬆。關於爬蟲學習的具體步驟，我大概羅列了以下幾大部分，大家可以參考：
網路爬蟲基礎知識:
爬蟲的定義
爬蟲的作用
http協議
基本抓包工具(fiddler)使用
python模組實現爬蟲：
urllib3、requests、lxml、bs4 模組大體作用講解
使用requests模組 get 方式獲取靜態頁面資料
使用requests模組 post 方式獲取靜態頁面資料
使用requests模組獲取 ajax 動態頁面資料
使用requests模組模擬登入**
使用tesseract進行驗證碼識別
scrapy框架與scrapy-redis：
scrapy 爬蟲框架大體說明
scrapy spider 類
scrapy item 及 pipeline
scrapy crawlspider 類
通過scrapy-redis 實現分散式爬蟲
藉助自動化測試工具和瀏覽器爬取資料：
selenium + phantomjs 說明及簡單例項
selenium + phantomjs 實現**登入
selenium + phantomjs 實現動態頁面資料爬取
爬蟲專案實戰：
分散式爬蟲+ elasticsearch 打造搜尋引擎
4樓：奇酷教育
你好，學習python程式語言，是大家走入程式設計世界的最理想選擇。python比其它程式語言更適合人工智慧這個領域，在人工智慧上使用python比其它程式設計有更大優勢。無論是學習任何一門語言，基礎知識，就是基礎功非常的重要，找一個有豐富程式設計經驗的老師或者師兄帶著你會少走很多彎路， 你的進步速度也會快很多，無論我們學習的目的是什麼，不得不說python真的是一門值得你付出時間去學習的優秀程式語言。
在選擇培訓時一定要多方面對比教學，師資，專案，就業等，慎重選擇。
如何學習python爬蟲
5樓：qiku奇酷學院
你好，學習python程式設計語bai言，是大家走du入程式設計世界zhi
知乎python 爬蟲如何入門學習
6樓：緣lai如茨
入門”是良好的動機，但是可能作用緩慢。如果你手
裡或者腦子裡有一個專案，那麼實踐起來你會被目標驅動，而不會像學習模組一樣慢慢學習。
另外如果說知識體系裡的每一個知識點是圖裡的點，依賴關係是邊的話，那麼這個圖一定不是一個有向無環圖。因為學習a的經驗可以幫助你學習b。因此，你不需要學習怎麼樣“入門”，因為這樣的“入門”點根本不存在！
你需要學習的是怎麼樣做一個比較大的東西，在這個過程中，你會很快地學會需要學會的東西的。當然，你可以爭論說需要先懂python，不然怎麼學會python做爬蟲呢？但是事實上，你完全可以在做這個爬蟲的過程中學習python :
d看到前面很多答案都講的“術”——用什麼軟體怎麼爬，那我就講講“道”和“術”吧——爬蟲怎麼工作以及怎麼在python實現。
先長話短說summarize一下：
你需要學習
基本的爬蟲工作原理
基本的http抓取工具，scrapy
bloom filter: bloom filters by example
如果需要大規模網頁抓取，你需要學習分散式爬蟲的概念。其實沒那麼玄乎，你只要學會怎樣維護一個所有叢集機器能夠有效分享的分散式佇列就好。最簡單的實現是python-rq:
rq和scrapy的結合：darkrho/scrapy-redis · github
後續處理，網頁析取(grangier/python-goose · github)，儲存(mongodb)
如何用python做爬蟲？
7樓：匿名使用者
在我們日常上網瀏覽網
我們最常規的做法就是通過滑鼠右鍵，選擇另存為。但有些**滑鼠右鍵的時候並沒有另存為選項，還有辦法就通過就是通過截圖工具擷取下來，但這樣就降低**的清晰度。好吧其實你很厲害的，右鍵檢視頁面源**。
我們可以通過python 來實現這樣一個簡單的爬蟲功能，把我們想要的**爬取到本地。下面就看看如何使用python來實現這樣一個功能。
具體步驟
urllib 模組提供了讀取web頁面資料的介面，我們可以像讀取本地檔案一樣讀取www和ftp上的資料。首先，我們定義了一個gethtml()函式:
urllib.urlopen()方法用於開啟一個url地址。
2.篩選頁面中想要的資料
python 提供了非常強大的正規表示式，我們需要先要了解一點python 正規表示式的知識才行。
修改**如下：
我們又建立了getimg()函式，用於在獲取的整個頁面中篩選需要的**連線。re模組主要包含了正規表示式：
re.compile() 可以把正規表示式編譯成一個正規表示式物件.
re.findall() 方法讀取html 中包含 imgre（正規表示式）的資料。
3.將頁面篩選的資料儲存到本地
把篩選的**地址通過for迴圈遍歷並儲存到本地，**如下：
通過一個for迴圈對獲取的**連線進行遍歷，為了使**的檔名看上去更規範，對其進行重新命名，命名規則通過x變數加1。儲存的位置預設為程式的存放目錄。
如何用python寫出爬蟲，如何利用python寫爬蟲程式？
任我行 寫出爬蟲實際上沒有你想象的那麼難，就這3步 定義item類 開發spider類 核心 開發pipeline 如果你想要更詳細的內容，我推薦這本很容易理解的書 瘋狂python講義 火狐 可以學習後再去嘗試寫，如果自己有困難的話加以可以去專業的學校學習或是找專業的人士解決。 河南新華電腦學院 ...
用Python生成excel，如何用Python實現exce
chacker莫奈 可以使用xlsxwriter 庫實現 如下 import xlsxwriter import sys reload sys 解決中文編碼問題 sys.setdefaultencoding utf 8 建立一個絕對路徑為.test.xlsx的excel檔案workbook xlsx...
如何自學Python爬蟲技術，花式賺錢
好程式設計師 現在之所以有這麼多的小夥伴熱衷於爬蟲技術，無外乎是因為爬蟲可以幫我們做很多事情，比如搜尋引擎 採集資料 廣告過濾等，以python為例，python爬蟲可以用於資料分析，在資料抓取方面發揮巨大的作用。但是這並不意味著單純掌握一門python語言，就對爬蟲技術觸類旁通，要學習的知識和規範...