大小休，必須具備爬蟲相關(guān)實戰(zhàn)經(jīng)驗，3年+經(jīng)驗者優(yōu)先！

【職位職責】
1.負責構(gòu)建高并發(fā)、高可用的分布式爬蟲架構(gòu)，高效采集結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)。
2.針對復雜頁面環(huán)境（如JS動態(tài)渲染、加密接口、反爬策略）制定并實施定制化抓取方案。
3.持續(xù)優(yōu)化爬蟲效率，涵蓋請求調(diào)度機制、并發(fā)管理、IP資源池建設(shè)、驗證碼處理及動態(tài)代理應用。
4.對接數(shù)據(jù)存儲、清洗和任務調(diào)度系統(tǒng)，保障數(shù)據(jù)鏈路穩(wěn)定，支撐上層數(shù)據(jù)分析與產(chǎn)品需求。
5.實時監(jiān)控目標站點變化，快速響應網(wǎng)站結(jié)構(gòu)調(diào)整或反爬升級，確保數(shù)據(jù)采集持續(xù)穩(wěn)定。

【任職要求】
1.具備3年以上真實爬蟲開發(fā)經(jīng)驗，精通Scrapy、Playwright、Selenium、Requests等主流采集框架。
2.深入理解各類反爬技術(shù)，可逆向分析網(wǎng)頁加密邏輯，熟練使用抓包工具、JS代碼調(diào)試、ChromeDevTools等技術(shù)手段，有處理AJAX異步加載、驗證碼驗證、簽名參數(shù)等復雜場景的實際案例，具備純算法還原前端加密邏輯的能力。
3.掌握常見反檢測技術(shù)，包括IP代理輪換、瀏覽器指紋規(guī)避、User-Agent偽裝、Cookie維護等實踐能力。
4.有成功逆向主流平臺（如抖音、小紅書、快手、微博、視頻號）的經(jīng)驗，熟悉電商、社交、營銷類APP的數(shù)據(jù)抓取方式，具備分布式架構(gòu)設(shè)計、任務調(diào)度及大數(shù)據(jù)清洗經(jīng)驗。
5.熟練操作MySQL、PostgreSQL、Clickhouse等常用數(shù)據(jù)庫。
6.熟悉iOS與Android平臺逆向技術(shù)，擁有豐富的風控對抗實踐經(jīng)驗。
7.具備基于深度學習的驗證碼識別開發(fā)能力。

【加分項】
*具備JAVA開發(fā)能力，且愿意后續(xù)向JAVA工程師方向發(fā)展。
*有搭建和運維大規(guī)模爬蟲集群的實際經(jīng)驗。