【岗位职责】
1. 负责深度学习/机器学习模型在端侧设备(如安卓、iOS)的部署与优化。
2. 设计并实现模型从 ONNX 格式到端侧设备推理框架的转换与适配,如 TVM、ncnn、MNN、CoreML 等。
3. 针对移动端的硬件资源,优化模型推理速度、内存占用和功耗,提升设备运行效率与响应速度。
4. 与算法团队协作,进行模型量化、剪枝等优化,确保端侧设备的推理效果与性能。
5. 解决端侧部署中的性能瓶颈、兼容性问题,保证系统的稳定性与可靠性。
【任职要求】
1. 熟悉C++,能够在移动端环境下进行开发与调试。
2. 熟悉将 ONNX 格式的深度学习/机器学习模型转换为适用于端侧设备的格式,了解 ONNX 转换到 TVM、ncnn、MNN等推理引擎的过程与技术。
3. 熟悉端侧推理框架,如 TVM、ncnn、MNN、CoreML,具有模型部署经验。
4. 理解并能实际应用模型量化(如 INT8、混合精度)技术,优化端侧推理性能。
5. 具备较强的分析与问题解决能力,能够有效进行性能调优与优化。
【加分项】
1. 有 LLM 模型在端侧(如 llama.cpp, MLC)部署经验者优先。
2. 熟悉 iOS 和安卓平台的硬件架构,并能根据不同平台的特点进行模型优化,如苹果 CoreML、安卓 NNAPI、Vulkan/OpenCL 等。