崗位職責：
1、通過算子優(yōu)化、顯存/KVcache管理優(yōu)化、分布式加速等手段，推進推理框架的開發(fā)與性能提升；
2、參與大模型在高并發(fā)場景下的推理性能分析與調優(yōu)，識別系統(tǒng)瓶頸并制定有效的優(yōu)化策略；
3、研究低資源環(huán)境下大模型的輕量化技術路徑，包括但不限于量化、投機采樣、sparseattention等方法；
4、協(xié)同團隊成員，推動各類優(yōu)化方案在實際業(yè)務場景中的落地與應用。

崗位要求：
1、計算機、人工智能、軟件工程等相關專業(yè)碩士及以上學歷；
2、掌握大模型推理優(yōu)化相關技術，具備tensorRT_llm、vllm、sglang等主流開源推理框架開發(fā)經(jīng)驗者優(yōu)先；
3、熟練使用Python/C++進行編程，有CUDA開發(fā)及GPU性能調優(yōu)實踐經(jīng)驗者優(yōu)先；
4、在頂會發(fā)表論文、獲得競賽獎項或具備相關實習經(jīng)歷者優(yōu)先考慮。