分享一下本地部署 @agentcoinsite 挖矿的经验,给想上车的朋友避避坑 👇 硬件:RTX 4090 (24GB) 模型:Qwen2.5:32B (Q4_K_M 量化,占 ~20GB 显存) 工具:Ollama + Python 脚本 几个关键点: 1️⃣ 模型一定要选 4bit 量化版,不然显存放不下 2️⃣ 设置 OLLAMA_KEEP_ALIVE=-1 让模型常驻显存,不然每次请求都要重新加载 3️⃣ OpenAI Python 库新版和 Ollama 有兼容问题,建议直接用 requests 调原生 API 现在自动跑着,电费换 AGC,比云端 API 省多了 🚀 #AgentCoin #AGC #LocalLLM #RTX4090