2026年11月4日

EP460 – 你的電腦能跑什麼 AI？16GB 到 128GB 一次講完｜Ollama、LM Studio 怎麼設定，新手五個坑

很多人把 AI 裝在自己的電腦上，接上 agent 叫它做事，結果它一直失敗，就以為本地模型太笨。其實很多時候是設定錯了：Ollama 在顯示記憶體小於 24GB 的機器上，預設 context 只有 4k，但 OpenClaw 這類 agent 需要 64k 以上。這一集照記憶體大小，從 16GB 一路講到 128GB：每一級能跑哪一顆模型、多快、適合做什麼。再講為什麼有的大模型反而比較快（MoE）、要用 LM Studio、Ollama 還是 llama.cpp、哪些用法真的有人做成功、哪些會讓你失望，最後是新手最常踩的五個坑，跟一張一個下午就能鎖好的安全清單。片中所有速度（tok/s）都是社群上分享的實測，不是我們自己量的；同一台機器換軟體、換設定就會差很多，看大概就好。 📌 七句照做要接 agent，先把 context 拉到 64k 以上 4-bit 模型 ≈ 參數量 × 0.6 GB，再多留空間給 context 用 Mac 的話，先照記憶體的四分之三來算 16GB 跑小模型；32GB 跑 27B 等級；64GB 開長 context；128GB 才換到大模型想要快，先試 MoE 模型，再試著換一個軟體難的交給雲端，私密的、重複的留在本地 Ollama 保持只聽本機，agent 的資料夾裡不要放密碼官方文件與報導：・Ollama 官方文件｜Context length（預設 4k／32k／256k）： https://docs.ollama.com/context-length ・Ollama 官方文件｜OpenClaw 整合（建議至少 64k）： https://docs.ollama.com/integrations/openclaw ・OpenClaw 官方文件｜Local models： https://docs.openclaw.ai/gateway/local-models ・Ollama 官方文件｜FAQ： https://docs.ollama.com/faq ・MLX-LM（Apple）｜大模型與 wired memory： https://github.com/ml-explore/mlx-lm ・LM Studio｜系統需求： https://lmstudio.ai/docs/app/system-requirements ・Qwen3.8-27B model card： https://huggingface.co/Qwen/Qwen3.8-27B ・Qwen3.8-Flash-Next model card： https://huggingface.co/Qwen/Qwen3.8-Flash-Next ・Gemma 4 26B-A4B model card： https://huggingface.co/google/gemma-4-26B-A4B-it ・Qwen3.6-35B-A3B model card： https://huggingface.co/Qwen/Qwen3.6-35B-A3B ・The Hacker News｜175,000 台 Ollama 伺服器對外開放： https://thehackernews.com/2026/01/researchers-find-175000-publicly.html 參考影片：・Tina Huang｜Every Size Local AI In 24 Minutes： https://www.youtube.com/watch?v=rPGJhrunbxo ・Kai｜Every Ways to Get 128GB VRAM for Local AI at Full Context： https://www.youtube.com/watch?v=NA9D49kQFuU ・Kai｜Is 16GB All You Need for Serious Local LLM?： https://www.youtube.com/watch?v=i9mRnbdDYxk ・Kai｜Your Local AI Is Not as Private as You Think： https://www.youtube.com/watch?v=3mx84MRj8lY 這一集有很多圖表，想看影片版的話，YouTube 搜尋「AI 懶人報」就找得到。歡迎請我喝杯咖啡，幫助我繼續把節目做得更好唷～！ 👉 https://buymeacoffee.com/ailanrenbao -- Hosting provided by SoundOn