AI Infra、环境配置与工程实践 · 8 篇
这里放点LLM 参数以及调整经验.jpg
简单记录一下docker 部署vllm 服务, 为什么呢,因为我就是记不住啊
之前面Nvidia-Infra 的时候准备的一些底层相关内容,二面了两个半小时然后挂了orz (面试官还是很好的) 不过确实感觉现在的工作更贴合算法一些,燃尽了23333
拿到一台新服务器的一些环境配置和一些linux指令,老是搞忘咋办呢
记命令记不住,我外置大脑
在jupyter notebook中导入现有环境(pytorch)