ကိုယ့် PC ပေါ်မှာ AI Run ချင်ရင် — VRAM/RAM ဘယ်လောက် လိုလဲ (LLM နဲ့ Image Generation)

ChatGPT လို cloud AI တွေက အသုံးဝင်ပေမယ့် internet လိုတယ်၊ data ကို server ဆီ ပို့ရတယ်၊ limit တွေ ရှိတယ်။ AI model တွေကို ကိုယ့် PC ပေါ်မှာ ကိုယ်တိုင် run (local AI) ရင် offline သုံးလို့ရပြီး data က ကိုယ့်စက်ထဲမှာပဲ ရှိပါတယ်။ ဒါပေမယ့် hardware လိုအပ်ချက်က ရှင်းရှင်းလင်းလင်း နားလည်ထားဖို့ လိုပါတယ် — အဓိကကတော့ memory (VRAM သို့မဟုတ် unified memory) ပါ။

Memory ဘာလို့ အရေးအကြီးဆုံးလဲ

AI model တစ်ခု run ဖို့ model ရဲ့ “weights” တွေကို memory ထဲ အပြည့်တင်ထားရပါတယ်။ GPU ရဲ့ VRAM ထဲ ဆံ့ရင် မြန်ပြီး မဆံ့ရင် system RAM နဲ့ ခွဲ run ရလို့ အများကြီး နှေးသွားပါတယ်။ Memory လိုအပ်ချက်ကို ဆုံးဖြတ်တာက —

• Parameter အရေအတွက် (ဥပမာ 12B = parameter ၁၂ ဘီလီယံ)
• Quantization — 16-bit ကနေ 8-bit၊ 4-bit ကို ချုံ့လိုက်ရင် memory တစ်ဝက်၊ လေးပုံတစ်ပုံ လောက်ပဲ လိုတော့ပါတယ်။ Quality အနည်းငယ် ကျပေမယ့် home use အတွက် 4-bit က အသုံးအများဆုံးပါ။
• Context length — စာရှည်ရှည် ထည့်လေ KV cache အတွက် memory ပိုလိုလေပါ။

LLM တွေ ဘယ်လောက် memory လိုလဲ — တရားဝင် ဂဏန်းများ

Google ရဲ့ Gemma 4 documentation မှာ model weights တင်ဖို့ လိုတဲ့ memory ကို ဒီလို ဖော်ပြထားပါတယ် (overhead ~၂၀% ပါပြီးသား၊ context/KV cache မပါ)။

OpenAI ရဲ့ open-weight model gpt-oss-20b (parameter 21B၊ active 3.6B) ကို memory 16GB အတွင်း run နိုင်ပြီး gpt-oss-120b ကိုတော့ 80GB GPU တစ်လုံး လိုတယ်လို့ model card မှာ ဖော်ပြထားပါတယ်။ နှစ်ခုလုံး Apache 2.0 license ဖြစ်ပါတယ်။ MoE (Mixture of Experts) model တွေက တစ်ကြိမ်မှာ parameter အနည်းငယ်ပဲ သုံးလို့ မြန်ပေမယ့် weight အားလုံးကိုတော့ memory ထဲ တင်ထားရပါသေးတယ်။

Image generation

NVIDIA ရဲ့ ဖော်ပြချက်အရ FLUX.1 Kontext [dev] image model က BF16 မှာ 24GB ရှိပြီး FP8 (RTX 40 Series) မှာ 12GB၊ FP4 (RTX 50 Series) မှာ 7GB အထိ ချုံ့နိုင်ပါတယ်။ ဒါကြောင့် image generation မှာ RTX 50 card တွေက FP4 support ကြောင့် VRAM အနည်းနဲ့ model အကြီး run ရတာ ပိုလွယ်ပါတယ်။ ComfyUI လို tool တွေမှာ ControlNet၊ LoRA၊ upscaler တွေ ထပ်ထည့်ရင် VRAM ပိုလိုလာတာကိုလည်း ထည့်တွက်ပါ။

Hardware ရွေးချယ်စရာများ

Unified memory စက်တွေက memory ပမာဏ ကြီးလို့ model အကြီး ဆံ့ပေမယ့် token ထုတ်နှုန်းက memory bandwidth ပေါ် မူတည်ပါတယ်။ ဥပမာ Apple က M5 Max ရဲ့ bandwidth ကို 614GB/s၊ NVIDIA က DGX Spark ကို 273GB/s လို့ ဖော်ပြပါတယ်။ ဈေးကတော့ desktop GPU တစ်ကတ်ထက် အများကြီး မြင့်တတ်ပါတယ်။

NPU နဲ့ Copilot+ PC က local LLM အတွက် ဘယ်လောက် အသုံးဝင်လဲ

Copilot+ PC တွေရဲ့ NPU က Windows AI feature တွေ (Recall၊ camera effect၊ caption) အတွက် ဒီဇိုင်းထားတာပါ။ Microsoft ရဲ့ developer guide အရ NPU အများစုက INT8 လို bit နည်းတဲ့ integer သင်္ချာကိုပဲ run နိုင်လို့ model ကို NPU အတွက် သီးသန့် ပြောင်း (quantize) ရပါတယ်။ ဒါကြောင့် အခုအချိန်မှာ chatbot အကြီးတွေ run ဖို့ GPU (သို့မဟုတ် unified memory များတဲ့ စက်) က ပိုလက်တွေ့ကျပါတယ်။ LM Studio က Snapdragon X Elite (ARM) Windows စက်တွေကိုလည်း support လုပ်ပါတယ်။

Software — ဘယ်ကစမလဲ

• LM Studio — GUI နဲ့ model download၊ chat လုပ်လို့ရပါတယ်။ Windows x64 မှာ AVX2 support လိုပြီး RAM 16GB နဲ့ dedicated VRAM 4GB အနည်းဆုံး အကြံပြုပါတယ်။ Mac ဆိုရင် Apple Silicon နဲ့ macOS 14 အထက် လိုပါတယ်။
• Ollama — Command line နဲ့ လွယ်လွယ်ကူကူ run နိုင်ပါတယ်။ ဥပမာ ollama pull gpt-oss:20b ပြီးရင် ollama run gpt-oss:20b။
• ComfyUI — Image generation အတွက် လူကြိုက်များတဲ့ node-based tool ပါ။

ဘယ်သူ့အတွက် ဘာဝယ်သင့်လဲ

ရိုးရိုးသားသား သတိပေးချက် — Local model တွေက ChatGPT၊ Gemini ရဲ့ အကောင်းဆုံး cloud model တွေလောက် အမြဲ မတော်ပါဘူး။ မြန်မာစာ စွမ်းရည်လည်း model သေးလေ အားနည်းလေ ဖြစ်တတ်ပါတယ်။ Privacy၊ offline သုံးနိုင်မှု၊ ကုန်ကျစရိတ် ထိန်းချုပ်မှု လိုချင်သူတွေအတွက် အကောင်းဆုံး ဖြစ်ပါတယ်။

VRAM 16GB ပါတဲ့ RTX 5060 Ti 16GB နဲ့ RAM 32GB kit တွေကို BitsTech Store မှာ ရှာကြည့်နိုင်ပါတယ်။

မေးလေ့ရှိတဲ့ မေးခွန်းများ

GPU မပါတဲ့ laptop မှာ local AI run လို့ရလား။

Model သေးသေးတွေကို CPU နဲ့ RAM နဲ့ run လို့ရပေမယ့် နှေးပါတယ်။ LM Studio က RAM 16GB အနည်းဆုံး အကြံပြုပါတယ်။

VRAM 8GB card နဲ့ ဘာလုပ်လို့ရလဲ။

Gemma 4 E4B (4-bit မှာ 4.5GB) လို model သေးတွေနဲ့ quantize လုပ်ထားတဲ့ image model တွေ run လို့ရပါတယ်။ Model 12B နဲ့ အထက်ဆိုရင် context ချန်ဖို့ VRAM ကျပ်လာပါမယ်။

RAM နဲ့ VRAM ပေါင်းသုံးလို့ မရဘူးလား။

Ollama၊ LM Studio က model ကို GPU နဲ့ CPU ခွဲ run လို့ရပေမယ့် VRAM ထဲ မဆံ့တဲ့ အပိုင်းများလေ နှေးလေ ဖြစ်ပါတယ်။

ကိုးကား

1. Google AI for Developers — Gemma 4 model overview (memory requirements)
2. Hugging Face — openai/gpt-oss-20b model card
3. NVIDIA Blog — RTX AI accelerates FLUX.1 Kontext
4. Wikipedia — GeForce RTX 50 series
5. NVIDIA — GeForce RTX 50 Series laptops
6. Apple Newsroom — M5 Pro and M5 Max (March 2026)
7. AMD — CES 2026 (Ryzen AI Max+, Ryzen AI Halo)
8. NVIDIA — DGX Spark
9. NVIDIA — RTX Spark announcement
10. Microsoft Learn — Copilot+ PCs developer guide (NPU, quantization)
11. LM Studio — System requirements