壹、確立目標、了解需求
做什麽事情都要先確定好目標,才不至於迷失方向。我們就是Python爬蟲工程師為職位目標。
在壹些國內大型的招聘網上找到相關的職位要求:
仔細看看,我們可以得出以下幾點:
1、 python 不是唯壹可以做爬蟲的,很多語言都可以,尤其是 java,同時掌握它們和擁有相關開發經驗是很重要的加分項
2、 大部分的公司都要求爬蟲技術有壹定的深度和廣度,深度就是類似反反爬、加密破解、驗證登錄等等技術;廣度就是分布式、雲計算等等,這都是加分項
3、 爬蟲,不是抓取到數據就完事了,如果有數據抽取、清洗、消重等方面經驗,也是加分項
4、 壹般公司都會有自己的爬蟲系統,而新進員工除了跟著學習以外最常做的工作就是維護爬蟲系統,這點要有了解
5、 最後壹個加分項就是前端知識,尤其是常用的 js、ajax、html/xhtml、css 等相關技術為最佳,其中 js 代碼的熟悉是很重要的
6、 補充壹條,隨著手持設備的市場占比越來越高,app 的數據采集、抓包工具的熟練使用會越來越重要
以上內容,不要求全部掌握,但是掌握的越多,那麽妳的重要性就越高
二、關於Python面試的四點,妳做到就萬事大吉了!
第壹點:Python
因為面試的是Python爬蟲崗位,面試官大多數會考察面試者的基礎的Python知識,包括但不限於:
Python2.x與Python3.x的區別
Python的裝飾器
Python的異步
Python的壹些常用內置庫,比如多線程之類的
Python的線程
第二點:數據結構與算法
數據結構與算法是對面試者尤其是校招生面試的壹個很重要的點,當然小公司不會太在意這些,從目前的招聘情況來看對面試者的數據結構與算法的重視程度與企業的好壞成正比,那些從不問妳數據結構的妳就要當心他們是否把妳當碼農用的,當然以上情況不絕對,最終解釋權歸面試官所有。
第三點:Python爬蟲
最重要也是最關鍵的壹點當然是妳的Python爬蟲相關的知識與經驗儲備,這通常也是面試官考察的重點,包括但不限於:
妳遇到過的反爬蟲的策略有哪些?
妳常用的反反爬蟲的方案有哪些?
妳用過多線程和異步嗎?除此之外妳還用過什麽方法來提高爬蟲效率?
有沒有做過增量式抓取?
對Python爬蟲框架是否有了解?
第四點:爬蟲相關的項目經驗
爬蟲重在實踐,除了理論知識之外,面試官也會十分註重爬蟲相關的項目:
妳做過哪些爬蟲項目?如果有Github最好
妳認為妳做的最好的爬蟲項目是哪個?其中解決了什麽難題?有什麽特別之處?