06-22-2026, 02:16 PM
近期好像多了很多价格20000以内的AMD Instinct MI210进入市场。我就入手了一块试试。
这个卡有64G显存,如果考虑单位显存的性价比的话,实际上是和AMD Radeon AI Pro R9700和Intel Arc Pro B70差不多的,后两者还是新架构,看起来不是很划算。但是机器的PCIe槽位有限,能在单槽位配够64G显存,这个吸引力还是很大的。
供电是单8-pin接口,注意这里是个陷阱。根据AMD的官方文档(https://www.amd.com/content/dam/amd/en/documents/instinct-business-docs/product-briefs/instinct-mi210-brochure.pdf),实际供电接口是EPS 12V,也就是说要用CPU的供电口,而不是PCIe显卡通常用的PCIe 8-pin口,这样才能满足它的300W供电要求。我的电源支持双CPU,用在单CPU主板上,还多出一个用于CPU的8-pin供电口,刚好可以给它供电。
在散热方面,我弄了个主动散热改装套件,不过还是很难应付它的发热,在跑LLM推理的时候还是会跑到100度,然后就降速运行。我的建议是用rocm-smi把power cap设置到200W,就是这样也是能跑上100度的。
在软件方面,这张卡只支持ROCm,不支持Vulkan. 所以要用 llama.cpp 的话,要重新编译一个支持 gfx90a 的 ROCm 的版本,Vulkan 后端是不能用的。另外,CDNA架构是支持rocWMMA的,编译 llama.cpp 可以考虑用上它。vLLM和SGLang还没试过,vLLM文档上说是支持gfx90a的,但是SGLang好像不行。
这张卡做LLM推理还是不错的,64G显存可以支持纯GPU跑一些比较大的模型,算力也不差。就算是限制到200W,性能还是不比RX6800和W7800 32G差。
这个卡有64G显存,如果考虑单位显存的性价比的话,实际上是和AMD Radeon AI Pro R9700和Intel Arc Pro B70差不多的,后两者还是新架构,看起来不是很划算。但是机器的PCIe槽位有限,能在单槽位配够64G显存,这个吸引力还是很大的。
供电是单8-pin接口,注意这里是个陷阱。根据AMD的官方文档(https://www.amd.com/content/dam/amd/en/documents/instinct-business-docs/product-briefs/instinct-mi210-brochure.pdf),实际供电接口是EPS 12V,也就是说要用CPU的供电口,而不是PCIe显卡通常用的PCIe 8-pin口,这样才能满足它的300W供电要求。我的电源支持双CPU,用在单CPU主板上,还多出一个用于CPU的8-pin供电口,刚好可以给它供电。
在散热方面,我弄了个主动散热改装套件,不过还是很难应付它的发热,在跑LLM推理的时候还是会跑到100度,然后就降速运行。我的建议是用rocm-smi把power cap设置到200W,就是这样也是能跑上100度的。
在软件方面,这张卡只支持ROCm,不支持Vulkan. 所以要用 llama.cpp 的话,要重新编译一个支持 gfx90a 的 ROCm 的版本,Vulkan 后端是不能用的。另外,CDNA架构是支持rocWMMA的,编译 llama.cpp 可以考虑用上它。vLLM和SGLang还没试过,vLLM文档上说是支持gfx90a的,但是SGLang好像不行。
这张卡做LLM推理还是不错的,64G显存可以支持纯GPU跑一些比较大的模型,算力也不差。就算是限制到200W,性能还是不比RX6800和W7800 32G差。
