喜欢种地怎么你了？（快速靠近）

准备与安装

1. 先安装AMD HIP SDK for Windows。截至目前(2024-5-14)，官网最新的版本为5.7.1。安装完成后请重启。

   

2. 由于780M不在支持列表内，我们只能自行编译rocBLAS或者使用第三方开发者编译好的，以支持AMD ROCm。

   • 自行编译：Windows下编译rocBLAS - 知乎 (zhihu.com)

   • 第三方开发者编译好的：Releases · likelovewant/ROCmLibs-for-gfx1103-AMD780M-APU- (github.com)

     我使用的gfx1103 AMD780M phoenix V3.7z

3. 安装完成HIP，并且获取到了需要的文件（rocblas.dll，rocblas\library）后

   • 在文件管理器中输入%HIP_PATH%

   • 将%HIP_PATH%/bin/下原来的rocblas.dll文件重命名为rocblas.dllbak，%HIP_PATH%/bin/rocblas/下的library文件夹重命名为librarybak

   • 将编译好的rocblas.dll，rocblas\library复制到对应的位置

     

     

验证与使用

1. 下载安装ollama-for-amd，截至目前，最新的版本号为v0.1.37-alpha。

2. 下载安装chatbox，将模型提供方设置为Ollama，并尝试对话。

   

   

3. 查看是否成功启用

   你可以通过查看模型生成回答时的GPU占用是否增加来验证是否成功启用

   

   同时，右键ollama_ollama_server.exe将会跳转到rocm_v5.7目录下

   

参考资料

1. “CUDA error: invalid device function” with Ollama on Windows with AMD 780M · Issue #3 · likelovewant/ROCmLibs-for-gfx1103-AMD780M-APU- (github.com)

2. AMD显卡全系列解锁Ollama支持，llama3运行更优雅！ - 哔哩哔哩 (bilibili.com)

3. AMD ROCm 软件

4. Introduction — rocBLAS Documentation (amd.com)

5. YellowRoseCx/koboldcpp-rocm: AI Inferencing at the Edge. A simple one-file way to run various GGML models with KoboldAI’s UI with AMD ROCm offloading (github.com)

6. vosen/ZLUDA: CUDA on AMD GPUs (github.com)

7. lshqqytiger/ZLUDA: CUDA on AMD GPUs (github.com)

8. Ollama now supports AMD graphics cards · Ollama Blog

9. ollama/docs/gpu.md at main · ollama/ollama (github.com)

10. likelovewant/ollama-for-amd: Get up and running with Llama 3, Mistral, Gemma, and other large language models.by adding more amd gpu support. (github.com)