python開發(fā)
1.5-2萬元/月大小休,必須具備爬蟲相關(guān)實戰(zhàn)經(jīng)驗,3年+經(jīng)驗者優(yōu)先!
【職位職責】
1.負責構(gòu)建高并發(fā)、高可用的分布式爬蟲架構(gòu),高效采集結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)。
2.針對復雜頁面環(huán)境(如JS動態(tài)渲染、加密接口、反爬策略)制定并實施定制化抓取方案。
3.持續(xù)優(yōu)化爬蟲效率,涵蓋請求調(diào)度機制、并發(fā)管理、IP資源池建設(shè)、驗證碼處理及動態(tài)代理應用。
4.對接數(shù)據(jù)存儲、清洗和任務調(diào)度系統(tǒng),保障數(shù)據(jù)鏈路穩(wěn)定,支撐上層數(shù)據(jù)分析與產(chǎn)品需求。
5.實時監(jiān)控目標站點變化,快速響應網(wǎng)站結(jié)構(gòu)調(diào)整或反爬升級,確保數(shù)據(jù)采集持續(xù)穩(wěn)定。
【任職要求】
1.具備3年以上真實爬蟲開發(fā)經(jīng)驗,精通Scrapy、Playwright、Selenium、Requests等主流采集框架。
2.深入理解各類反爬技術(shù),可逆向分析網(wǎng)頁加密邏輯,熟練使用抓包工具、JS代碼調(diào)試、ChromeDevTools等技術(shù)手段,有處理AJAX異步加載、驗證碼驗證、簽名參數(shù)等復雜場景的實際案例,具備純算法還原前端加密邏輯的能力。
3.掌握常見反檢測技術(shù),包括IP代理輪換、瀏覽器指紋規(guī)避、User-Agent偽裝、Cookie維護等實踐能力。
4.有成功逆向主流平臺(如抖音、小紅書、快手、微博、視頻號)的經(jīng)驗,熟悉電商、社交、營銷類APP的數(shù)據(jù)抓取方式,具備分布式架構(gòu)設(shè)計、任務調(diào)度及大數(shù)據(jù)清洗經(jīng)驗。
5.熟練操作MySQL、PostgreSQL、Clickhouse等常用數(shù)據(jù)庫。
6.熟悉iOS與Android平臺逆向技術(shù),擁有豐富的風控對抗實踐經(jīng)驗。
7.具備基于深度學習的驗證碼識別開發(fā)能力。
【加分項】
*具備JAVA開發(fā)能力,且愿意后續(xù)向JAVA工程師方向發(fā)展。
*有搭建和運維大規(guī)模爬蟲集群的實際經(jīng)驗。