职位描述
1、开发云原生场景下异构算力调度框架。
2、优化大模型推理能力，快速的部署推理服务，提升推理速度和吞吐。

职位要求
1、熟练掌握Linux/Unix平台上的编程，熟练使用Golang/Python语言进行开发，熟练使用数据结构和经常使用算法。
2、具有深度学习推理加速和优化的经验，熟悉至少一种推理引擎，如 vLLM、SGLang、Llama.cpp
3、熟悉常见的模型量化技术，并能够进行模型的量化优化。
4、熟悉常见的机器学习算法及框架，如 神经网络、transformer架构、PyTorch框架。
5、熟练掌握 Kubernetes 和 docker 技术。
6、具备良好的沟通和团队合作能力，能够与跨功能团队密切合作，解决问题并实现共同目标。