1.負(fù)責(zé)Web端數(shù)據(jù)的采集、清洗、解析及存儲入庫
2.精通Python編程語言，了解JavaScript，具備FastAPI后端服務(wù)開發(fā)能力
3.熟悉主流數(shù)據(jù)庫技術(shù)，掌握Redis、PgSQL、MySQL等數(shù)據(jù)庫操作
4.熟練運(yùn)用Docker實(shí)現(xiàn)服務(wù)化部署與容器管理
5.掌握多種數(shù)據(jù)抓取手段，熟悉反爬應(yīng)對策略，包括代理使用、驗(yàn)證碼處理等
6.熟練應(yīng)用正則表達(dá)式、XPath等工具，可高效提取結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)
7.深入理解常見反爬機(jī)制，具備豐富的破解經(jīng)驗(yàn)，如Hook技術(shù)、JS防護(hù)繞過、代碼混淆分析、逆向工程等
8.參與分布式爬蟲系統(tǒng)的設(shè)計(jì)與性能優(yōu)化，了解采集調(diào)度邏輯，能實(shí)現(xiàn)爬蟲狀態(tài)監(jiān)控與異常告警
9.具備瑞數(shù)、國密相關(guān)逆向能力者優(yōu)先考慮