وبلاگ
هوش مصنوعی در لپتاپ خودتان؛ راهنمای اجرای محلی Gemma 4
فهرست مطالب
“تسلط به برنامهنویسی پایتون با هوش مصنوعی: آموزش کدنویسی هوشمند با ChatGPT”
0 تا 100 عطرسازی + (30 فرمولاسیون اختصاصی حامی صنعت)
Claude & GPT Credit – API | IDE | n8n
خرید کردیت API برای Claude و GPT با امکان استفاده در IDE و n8n. مناسب برنامهنویسی، تولید محتوا، تحلیل داده و ساخت اتوماسیون؛ راهنمای اتصال و پشتیبانی حامی صنعت همراه سفارش ارائه میشود. مدل و مقدار اعتبار را پیش از خرید بررسی کنید و برای دریافت کردیت API اقدام کنید.
Gemini Plus ششماهه
اکانت Leonardo.ai با 8500 کردیت
خرید اکانت ChatGPT Plus یک ماهه با کردیت CODEX اختصاصی
دایرکت اتوماتیک اینستاگرام حامی | اشتراک ۳۰روزه یک پیج
اشتراک ۳۰روزه پنل دایرکت اتوماتیک اینستاگرام حامی برای یک پیج؛ پاسخ خودکار کامنت و دایرکت، کمپین کلمه کلیدی، قفل فالو، جذب لید، دکمه و لینک و گزارش تحلیل پیج. پاسخهای ثابت بدون نیاز به هوش مصنوعی کار میکنند و اتصال OpenAI Compatible اختیاری است. همین حالا اشتراک پنل اینستاگرام را تهیه کنید و راهاندازی را از داخل پنل فارسی شروع کنید.
دوره آموزش Flutter و برنامه نویسی Dart [پروژه محور]
دوره جامع آموزش برنامهنویسی پایتون + هک اخلاقی [با همکاری شاهک]
دوره جامع آموزش فرمولاسیون لوازم آرایشی
دوره جامع علم داده، یادگیری ماشین، یادگیری عمیق و NLP
هوش مصنوعی در لپتاپ خودتان؛ راهنمای اجرای محلی Gemma 4

آیا میشود برای پرسیدن سؤال از هوش مصنوعی، هر بار داده را به سرور ابری نفرستاد؟ مدلهای باز و سبکتر این امکان را فراهم کردهاند که بخشی از کارهای نوشتن، خلاصهسازی، تحلیل تصویر و ساخت دستیار را روی لپتاپ یا حتی تلفن انجام دهید. خانوادهٔ Gemma 4 گوگل چند اندازه و قالب ارائه میکند؛ از نسخههای کوچک E2B و E4B برای دستگاههای محدود تا 12B چندوجهی، 26B Mixture-of-Experts و 31B متراکم برای سختافزار قویتر.
مقالهٔ حاضر در ۱۹ نوامبر ۲۰۲۶ یک راهنمای تصمیمگیری و شروع برای اجرای محلی Gemma 4 است. بهجای وعدهٔ «هوش مصنوعی رایگان و بینقص»، توضیح میدهیم اجرای محلی چه چیزی را بهتر میکند، چه هزینههایی دارد، کدام مدل با حافظهٔ دستگاه شما جور است، quantization چه اثری میگذارد و از کجا شروع کنید. مشخصات و عددهای حافظه را از مستندات رسمی گوگل نقل میکنیم؛ نتیجهٔ واقعی به runtime، سختافزار، طول گفتگو، نوع ورودی و تنظیمات شما بستگی دارد.
Gemma 4 چیست و چرا مدل باز روی لپتاپ مهم است؟
Gemma 4 خانوادهای از مدلهای هوش مصنوعی با weightهای قابل دریافت است که برای کارهای زبانی و چندوجهی، از سؤالوجواب تا استدلال و فراخوانی تابع طراحی شده است. گوگل خانواده را در پنج اندازه معرفی میکند: E2B، E4B، 12B، 26B A4B و 31B. در نام این مدلها، عددها اندازهٔ تقریبی پارامترها را نشان میدهند؛ حروف E و A به تفاوت طراحی و بهینهسازی اشاره دارند. همهٔ نسخهها به سختافزار یکسان نیاز ندارند و همه نیز از ورودیهای صوت و تصویر یکسان پشتیبانی نمیکنند.
«وزنهای باز» به این معناست که میتوانید فایل مدل را دانلود کرده و در نرمافزار سازگار اجرا کنید. این اصطلاح را با «کاملاً متنباز» یا «بدون هیچ قید استفاده» یکی نگیرید. مجوز Gemma شرایط استفاده دارد؛ پیش از عرضهٔ سرویس یا استفادهٔ تجاری، متن مجوز جاری، سیاست استفادهٔ مجاز و شرایط runtime را بخوانید. همچنین مدل محلی به معنی مالکیت دادهٔ آموزش یا حق استفاده از هر خروجی نیست.
اجرای محلی پاسخ را بهجای سرور بیرونی روی کامپیوتر شما تولید میکند. این ویژگی برای نمونهسازی، پردازش اسناد خصوصی با کنترلهای درست، استفاده در سفر یا ساخت ابزار داخلی مفید است. در برخی جریانها تأخیر شبکه حذف میشود و هزینهٔ هر درخواست API پرداخت نمیکنید. در مقابل، سختافزار را خودتان تهیه و نگهداری میکنید، مصرف برق با شماست و مدل کوچکتر ممکن است در تحلیل دشوار از مدل ابری ضعیفتر عمل کند.
«محلی» هم همیشه به معنای «آفلاین» نیست. برنامهای که مدل را روی دستگاه اجرا میکند ممکن است برای دانلود، بهروزرسانی، telemetery، ورود به حساب یا استفاده از افزونهها به اینترنت وصل شود. اگر اطلاعات حساس پردازش میکنید، مستندات ابزار را بخوانید، اتصال شبکه را پایش کنید و در محیط مدیریتشده از firewall یا egress policy بهره ببرید. نتیجهٔ مدل روی دستگاه محاسبه میشود، اما حریم خصوصی کل فرایند به رفتار خود برنامه هم وابسته است.
مدلهای باز برای developerها نیز مهماند، چون میتوانند ابزارهای تخصصی، retrieval یا function calling را بهصورت سفارشی کنار هم قرار دهند. میتوانید آن را در یک اپلیکیشن داخلی، روی یک workstation یا در دستگاه edge مستقر کنید. بااینحال، بار عملیاتی از بین نمیرود: باید نسخهٔ وزن، runtime، دسترسی فایل، بهروزرسانی امنیتی و آزمون کیفیت را مدیریت کنید. local-first یک انتخاب معماری است، نه حذف همهٔ مسئولیتهای فنی.
اندازههای Gemma 4 چه تفاوتی دارند؟
مدلهای E2B و E4B به سمت تلفن، دستگاههای edge، مرورگر و مصرف کمتر حافظه بهینه شدهاند. مستندات Google DeepMind میگویند نسخههای کوچک از ورودیهای دیداری پشتیبانی میکنند و صوت در E2B و E4B بهصورت native در دسترس است. این مدلها برای پاسخ سریع، خلاصهسازی کوتاه، دستهبندی یا پروتوتایپ مناسباند؛ ولی روی استدلال چندمرحلهای، کدنویسی دشوار یا متن بلند ممکن است به کیفیت نسخههای بزرگتر نرسند.
Gemma 4 12B نسخهٔ میانردهٔ encoder-free است که گوگل آن را برای آوردن هوش چندوجهی به لپتاپ معرفی کرد. این مدل ورودی صوت و تصویر دارد و در اعلامیهٔ گوگل آمده که با ۱۶ گیگابایت VRAM یا unified memory میتواند روی لپتاپ اجرا شود. مستندات مدل نیز نشان میدهد بسته به دقت و runtime، حافظهٔ لازم تفاوت زیادی دارد. پیش از تصمیم، به جدول حافظهٔ همان مستندات نگاه کنید و حافظهٔ لازم برای برنامه، سیستم و context را هم کنار وزن مدل حساب کنید.
Gemma 4 26B A4B از معماری Mixture-of-Experts بهره میبرد؛ همهٔ پارامترها در هر گام به یک اندازه فعال نیستند. هدف این طراحی ایجاد تعادل میان توانایی و هزینهٔ پردازش است، اما فایل مدل و نیاز حافظه هنوز میتواند زیاد باشد. 31B نسخهٔ dense بزرگتری است و برای سختافزار قویتر مناسب است. برای شروع local، صرفاً مدل بزرگتر را انتخاب نکنید؛ اگر کیفیتِ وظیفهٔ شما با E4B کافی است، مدل کوچکتر ممکن است سریعتر و سادهتر باشد.
گوگل برای خانوادهٔ Gemma 4 پشتیبانی از متن و تصویر را گزارش میکند و صوت native را برای E2B، E4B و 12B ذکر میکند. پنجرهٔ زمینهٔ مدلهای کوچک 128K و نسخههای میانرده 256K اعلام شده است. پنجرهٔ context بزرگ به معنی حافظهٔ رایگان نیست؛ پردازش متن زیاد و نگهداری KV cache نیز مصرف منابع را بالا میبرد. در مکالمهٔ طولانی، محدودیتهای runtime و حافظه را جدا از عدد context بررسی کنید.
برای کدام سختافزار مناسب است؟ جدول حافظهٔ تقریبی
مستندات رسمی Gemma 4 جدولی از حافظهٔ تقریبی GPU یا TPU برای بارگذاری inference منتشر میکند. ستون Q4_0 نمایانگر قالب ۴ بیتی است. اعداد به runtime و محیط بستگی دارند و در توضیح جدول، ۲۰٪ سربار برای چیزهای اضافه در بارگذاری لحاظ شده است. حافظهٔ سیستمعامل، برنامههای باز، context طولانی یا ورودی چندوجهی میتوانند مصرف را تغییر دهند؛ بنابراین این جدول نقطهٔ شروع است، نه تضمین اینکه روی هر دستگاه دقیقاً اجرا شود.
| مدل | Q4_0 تقریبی | BF16 تقریبی | مناسب برای |
|---|---|---|---|
| Gemma 4 E2B | ۲٫۹ گیگابایت | ۱۱٫۴ گیگابایت | شروع سبک، edge و آزمون آفلاین |
| Gemma 4 E4B | ۴٫۵ گیگابایت | ۱۷٫۹ گیگابایت | تعادل پاسخگویی و کیفیت |
| Gemma 4 12B | ۶٫۷ گیگابایت | ۲۶٫۷ گیگابایت | کار چندوجهی جدی روی لپتاپ مناسب |
| Gemma 4 26B A4B | ۱۴٫۴ گیگابایت | ۵۷٫۷ گیگابایت | استدلال و گردشکار سنگینتر |
| Gemma 4 31B | ۱۷٫۵ گیگابایت | ۶۹٫۹ گیگابایت | workstation یا GPU قوی |
چطور این جدول را بخوانیم؟ اگر دستگاه شما ۸ گیگابایت VRAM دارد، اجرای یک مدل Q4_0 کوچک یا 12B ممکن است از نظر وزن شدنی باشد؛ اما برای context بزرگ و برنامهٔ سنگین ممکن است فضای کافی نماند. اگر ۱۶ گیگابایت حافظهٔ اشتراکی دارید، میتوانید 12B quantized را امتحان کنید، اما نتیجه به پهنایباند حافظه و runtime وابسته است. در GPU مشترک با بازی یا برنامهٔ طراحی، ظرفیت آزاد با ظرفیت اسمی کارت یکی نیست.
پارامترها و دقت وزن، تنها بخش حافظه نیستند. برنامه باید مدل را بارگذاری کند، context و cache را نگه دارد، تصاویر را به patch یا token تبدیل کند و گاهی batch پردازشی بسازد. context طولانی به ویژه میتواند حافظه را زیاد مصرف کند. برای مکالمهٔ فارسی کوتاه، context را واقعبینانه تنظیم کنید. اگر خطای out-of-memory دیدید، تعداد پنجرههای باز را کم کنید، مدل کوچکتر یا QAT/quantized را انتخاب کنید، اندازهٔ context را پایین بیاورید و backend سازگار را بررسی کنید.
برای عملکرد، CPU، GPU، NPU و حافظهٔ unified هر کدام نقش دارند. تعداد پارامتر کمتر همیشه به معنای پاسخ سریعتر نیست؛ پیادهسازی runtime و پشتیبانی از سختافزار تعیینکننده است. لپتاپ باریک بدون خنکسازی مناسب ممکن است در اجرای طولانی سرعتش کم شود. در آزمون خود، سرعت پس از چند دقیقهٔ پیوسته، دما، مصرف برق و صدای فن را هم ثبت کنید؛ یک پاسخ فوری برای ارزیابی کافی نیست.
Quantization و QAT را بدون پیچیدگی بفهمیم
Quantization وزنهای مدل را با دقت عددی پایینتری ذخیره میکند تا مصرف حافظه و محاسبات کاهش یابد. به زبان ساده، هر وزن با اطلاعات فشردهتری نگهداری میشود. در مدلهای محلی، قالب ۴ بیتی مثل Q4_0 به این دلیل محبوب است که امکان اجرای مدلهایی را فراهم میکند که در حالت اصلی روی سختافزار مصرفکننده جا نمیشوند. بهای آن ممکن است افت دقت، تغییر خروجی یا محدودیت در سازگاری با بعضی ابزارها باشد.
QAT مخفف Quantization-Aware Training است. در توضیح گوگل، مدل هنگام آموزش با فرایند quantization آشنا میشود تا بعداً در نسخهٔ فشرده، افت کیفیت کمتری داشته باشد. در ژوئن ۲۰۲۶، گوگل checkpointهای QAT برای Gemma 4 از جمله قالب Q4_0 و نسخهٔ ویژهٔ موبایل معرفی کرد. این روش ظرفیت را کاهش میدهد، اما هر عدد کوچکتر الزاماً خروجی همارز نسخهٔ دقیقتر ندارد. وظیفهٔ واقعی خودتان را با چند نمونه و معیار مشخص ارزیابی کنید.
Mult-Token Prediction یا MTP نیز بهعنوان راهی برای تسریع inference در خانواده معرفی شده است. این فناوری بخشی از فرایند تولید token را با کمک یک مدل draft سرعت میدهد. اثر عملی به runtime و checkpoint انتخابشده وابسته است؛ نباید فقط از نام قابلیت نتیجه بگیریم که همهٔ دستگاهها دقیقاً یک سرعت میگیرند. benchmark شخصی روی لپتاپ خودتان مهمتر از عدد کلی در یک مقالهٔ تبلیغاتی است.
برای انتخاب quantization سه سؤال بپرسید: آیا مدل در حافظه جا میشود؟ افت کیفیت برای کار شما قابل قبول است؟ سرعت و مصرف برق چقدر فرق میکند؟ اگر مدل متن ساده را خلاصه میکند، فشردهسازی بیشتر شاید کافی باشد. اگر خروجی به استخراج دقیق عدد از جدول یا طبقهبندی ظریف وابسته است، کیفیت بالاتر را آزمایش کنید. میانگین امتیاز ممکن است یک خطای کمتکرار اما حساس را پنهان کند.
شروع اجرا با ابزارهای محلی
برای کاربری که نمیخواهد کد بنویسد، گوگل ابزارهایی مانند LM Studio، Ollama و Google AI Edge Gallery را برای شروع Gemma 4 معرفی کرده است. توسعهدهندهها میتوانند مسیرهایی مثل LiteRT-LM، llama.cpp، Hugging Face Transformers، MLX برای Apple Silicon، SGLang یا vLLM را بررسی کنند. همهٔ ابزارها برای همهٔ مدلها و سختافزارها قابلیت یکسان ندارند. قبل از دانلود فایل بزرگ، صفحهٔ پشتیبانی runtime را باز کنید و مدل دقیق، معماری، quantization و backend را تطبیق دهید.
مرحلهٔ اول، مشخصات دستگاه را پیدا کنید. مدل پردازنده، مقدار RAM، مقدار VRAM یا حافظهٔ unified، فضای خالی دیسک و سیستمعامل را یادداشت کنید. اگر laptop از GPU مجزا استفاده میکند، مطمئن شوید برنامه واقعاً GPU را میبیند. برای موبایل، سازگاری سیستمعامل و NPU را بررسی کنید. فایل مدل ممکن است چندین گیگابایت باشد؛ فضا برای نسخههای دیگر و cache هم باقی بگذارید.
مرحلهٔ دوم، یک runtime معتبر و ساده انتخاب کنید. برای نمونهٔ نخست، نصب برنامهٔ دسکتاپ با رابط گرافیکی معمولاً از راهاندازی چند سرویس پیچیده آسانتر است. از وبسایت رسمی ابزار یا مخزن رسمی دریافت کنید. نام دقیق بسته و ناشر را بررسی کنید، به نسخهٔ جعلی یا mirror ناشناس اعتماد نکنید و اجازههای نصب را بخوانید. برای استفادهٔ سازمانی، بهروزرسانی و امنیت وابستگیها را هم وارد فرایند کنید.
مرحلهٔ سوم، مدل مناسب را دریافت کنید. از صفحهٔ مدل یا منبع رسمی Kaggle و Hugging Face فایل را بردارید و مجوز را بخوانید. فهرست مدلها میتواند نسخهٔ instruction-tuned، base و quantized داشته باشد. برای گفتگو، معمولاً نسخهٔ instruction-tuned مفیدتر است؛ برای fine-tuning یا پژوهش، نیاز دیگری دارید. قالب GGUF در بسیاری از runtimeهای llama.cpp-compatible کاربرد دارد؛ قالب mobile یا compressed tensor برای backend متفاوتی ساخته شده است.
مرحلهٔ چهارم، یک prompt آزمایشی ثابت اجرا کنید. یک درخواست سادهٔ فارسی، یک خلاصهٔ متن و یک وظیفهٔ واقعی ولی غیرحساس انتخاب کنید. زمان اولین token و زمان پاسخ کامل را ثبت کنید. سپس همان task را چندبار اجرا کنید تا نوسان را ببینید. وقتی متن پاسخ ناقص است، از مدل بخواهید خروجی را به JSON یا bullet points بدهد اما schema را در برنامه نیز اعتبارسنجی کنید.
مرحلهٔ پنجم، اتصالها را محدود کنید. اگر به مدل local ابزار فایل یا network میدهید، به همان پوشه یا endpoint لازم دسترسی بدهید. مدل محلی هم میتواند prompt injection را ببیند و رفتار اشتباه کند. اجرای local از نشت به cloud جلوگیری میکند، ولی دسترسی سیستم عامل را خودبهخود امن نمیکند. shell، فایلهای حساس و ابزارهای نوشتن را تا وقتی نیازشان را اثبات نکردهاید فعال نکنید.
اگر کاربر صرفاً میخواهد مدل را آزمایش کند، از ابزار گرافیکی شروع کنید. اگر میخواهید endpoint داخلی بسازید، runtime سروری و مدیریت concurrency مهم میشود. اگر نیاز به پردازش روی تلفن یا edge دارید، قالب و runtime مخصوص موبایل را بررسی کنید. یک مسیر را برای هر سناریو انتخاب کنید، نه اینکه تمام ابزارها را همزمان نصب کنید؛ این کار debug و اندازهگیری را سادهتر میکند.
با Gemma 4 چه کارهایی را روی دستگاه انجام دهیم؟
پیشنویس و خلاصهسازی: متن را بدون ارسال به فضای ابری خلاصه یا بازنویسی کنید، البته فقط اگر runtime شما واقعاً local کار میکند. برای سند کاری، از دادهٔ ساختگی شروع کنید. اگر خلاصهٔ نهایی مهم است، گزارهها را به سند اصلی برگردانید؛ مدل ممکن است عدد یا قید را حذف کند. یک الگوی «خلاصه، موارد نامطمئن، بخشهای نیازمند بررسی» به خروجی اضافه کنید.
پرسشوپاسخ روی اسناد شخصی: بهجای اینکه همهٔ متن یک پوشه را در prompt بچسبانید، یک retrieval محلی روی فایلهای منتخب بسازید. سند را chunk کنید، به index محلی اضافه کنید و فقط قسمتهای مرتبط را به model بدهید. دادهٔ retrieval هم قابلاعتماد نیست؛ دستورهای داخل PDF یا وبصفحه را اجرا نکنید. برای هر پاسخ، نام فایل و محل شاهد را نمایش دهید.
تصویر و محتوای چندوجهی: نسخههای E2B، E4B و 12B در مستندات برای قابلیتهای دیداری مطرح شدهاند و E2B، E4B و 12B ورودی صوت native دارند. با عکس یا صوت کمحساسیت شروع کنید. اگر مدل نمودار را میخواند، عدد، محور، واحد و برچسب را دستی بسنجید. پشتیبانی از modality یعنی ورودی پذیرفته میشود، نه اینکه خروجی در همهٔ نوع دادهها دقیق است.
ساخت assistant محدود: مدل میتواند به API داخلی یا تابعی وصل شود، اما عملیات را محدود کنید. اول از آن بخواهید دستهبندی یا پیشنویس بسازد؛ بعد اگر کیفیت ثابت شد، ابزارهای فقطخواندنی را اضافه کنید. برای ارسال ایمیل، حذف سند یا تغییر رکورد تأیید انسانی لازم است. کنترل permission سمت server باید از prompt مستقل باشد.
برنامهنویسی و تحلیل روی سختافزار شخصی: مدلهای بزرگتر میتوانند برای تکمیل کد، توضیح خطا یا ساخت نمونهٔ کوچک مفید باشند. خروجی کد را اجرا و بازبینی کنید و secret را در prompt قرار ندهید. برای code review مهم، از تستهای محلی و تحلیل ایستا استفاده کنید؛ مدل ممکن است آسیبپذیری را جا بیندازد یا پیشنهاد ناامن بدهد.
آزمون کیفیت فارسی: قبل از انتخاب مدل چه بسنجیم؟
به اینکه یک مدل در صفحهٔ benchmark نتیجهٔ خوب گرفته اکتفا نکنید. چند نمونه از کار واقعی فارسی انتخاب کنید: خلاصهٔ خبری، بازنویسی رسمی، استخراج تاریخ و عدد، پرسش از فایل، تشخیص تناقض، و پاسخ به پرسشی که شواهد کافی ندارد. برای هر prompt پاسخ مورد انتظار و معیار قبولی تعریف کنید. به مدل امتیاز دهید که چقدر فارسی روان، دقیق و سازگار با اصطلاحهای تخصصی مینویسد.
کیفیت فارسی فقط دستور زبان نیست. نیمفاصله، عدد فارسی یا لاتین، نام خاص، راستبهچپ، ساختار پاراگراف و اصطلاحهای انگلیسی را بررسی کنید. اگر دستگاه قرار است برای تیم استفاده شود، از چند کاربر نظر بگیرید. یک model ممکن است برای خلاصهسازی خوب ولی برای استخراج جدول ضعیف باشد؛ نتیجه را به همهٔ وظایف تعمیم ندهید.
آزمون را برای quantizationهای مختلف تکرار کنید. از یک مجموعهٔ ثابت استفاده کنید و نتیجه را با زمان، حافظه و توان مصرفی کنار هم ثبت کنید. در خروجیهای حساس، خطای بدترینحالت مهمتر از میانگین است: اگر مدل از بین ۱۰۰ عدد یک عدد مالی را تغییر دهد، استفادهٔ بدون بازبینی قابل قبول نیست. یک انسان یا validator قطعی باید نتیجهٔ اثرگذار را تأیید کند.
اگر از retrieval استفاده میکنید، درصد پاسخهایی که به شاهد درست ارجاع میدهند را بسنجید. سؤالهایی با سند ناقص، سند متعارض و پاسخ خارج از پایگاه داده به آزمون اضافه کنید. مدل باید در صورت نبود مدرک بگوید نمیداند؛ پاسخ قاطع بدون citation خطای بزرگتری است. نسخهٔ embedding، chunking، prompt و model weight را ثبت کنید تا نتیجه تکرارپذیر باشد.
حریم خصوصی، امنیت و مسئولیت اجرای محلی
مدل local یک سطح از ارسال داده به ارائهدهندهٔ ابری را کاهش میدهد؛ اما مسئولیت تنظیم دستگاه بهعهدهٔ شماست. بررسی کنید آیا runtime برای بررسی مجوز، telemetry یا استفاده از مدل به شبکه وصل است. برای حالت حساس میتوانید اتصال network را در سطح سیستم محدود کنید، اما ابتدا ببینید آیا runtime برای مدلهای آنلاین یا دانلود به آن نیاز دارد. رمزگذاری دیسک، قفل صفحه، پشتیبان امن و کنترل دسترسی کاربران همچنان لازماند.
دادهٔ آپلودشده به یک نرمافزار local ممکن است در log، cache، crash report یا plugin ثبت شود. برای اسناد محرمانه، مسیر ذخیرهٔ این فایلها را بررسی کنید. هر مدل یا ابزار اضافی که نصب میکنید میتواند کد اجرا کند؛ از بستهٔ معتبر استفاده کنید و دسترسیاش به سیستم را محدود سازید. مدل را در حساب جداگانه یا container بدون دسترسی به فایلهای محرمانه اجرا کنید.
open weight به معنای بیخطری خروجی نیست. مدل ممکن است توهم کند، پیشنهاد آسیبزا بسازد یا تحت تأثیر prompt injection از سند قرار بگیرد. برای workflowهایی که دادهٔ مشتری یا عمل نوشتنی دارند، فیلتر و permission را در برنامه enforce کنید. برای استفادهٔ سازمانی، retention، دسترسی تیم، رمزگذاری، ثبت رخداد و فرایند پاسخ به رخداد را مستند کنید.
برای انتشار تجاری، مجوز دقیق checkpoint را بررسی کنید. فایل مدل را از آدرس رسمی بگیرید و checksum را در صورت ارائه بررسی کنید. اگر مدل را fine-tune یا quantize کردهاید، نسخهٔ مشتقشده و شرایط توزیع را ثبت کنید. وزن قابل دانلود با مجوز انتقال داده، حق نشر محتوای ورودی یا تضمین مالکیت معنوی خروجی یکسان نیست.
محلی یا ابری؟ انتخاب بر اساس مسئله
| معیار | مدل محلی Gemma 4 | سرویس ابری |
|---|---|---|
| حریم خصوصی داده | قابل کنترل روی دستگاه، اگر runtime شبکه را محدود کرده باشید | وابسته به شرایط سرویس، سیاست حساب و تنظیمات سازمانی |
| هزینهٔ متغیر | هزینهٔ سختافزار، برق و نگهداری | اشتراک یا مصرف API و محدودیت طرح |
| کیفیت/ظرفیت | وابسته به اندازهٔ مدل و دستگاه شما | ممکن است به مدلهای بزرگتر و امکانات مدیریتشده دسترسی دهد |
| اینترنت | پس از دانلود میتواند بدون اینترنت اجرا شود، اگر نرمافزار چنین تنظیمی دارد | برای استفادهٔ معمول به اتصال سرویس نیاز دارد |
| نگهداری | نسخه، سازگاری، امنیت و بهروزرسانی با تیم شماست | زیرساخت اصلی را ارائهدهنده مدیریت میکند |
الزامی نیست بین local و cloud یکی را برای همیشه انتخاب کنید. ممکن است دادهٔ حساس و پیشنویس را محلی پردازش کنید و برای مسئلهٔ دشوار یا تولید چندرسانهای از سرویس ابری بهره ببرید. سیاست مشخص کنید چه دادهای کجا میرود و چه کسی میتواند مسیر را انتخاب کند. اگر بخشی از workflow ابری است، داده را تا حد امکان کمینه و بینام کنید.
در بودجه، هزینهٔ GPU، حافظه، فضای ذخیره، برق، زمان نصب و زمان عیبیابی را محاسبه کنید. برای استفادهٔ گاهبهگاه، اشتراک ابری ممکن است ارزانتر و سادهتر باشد؛ برای پردازش مکرر و دادهٔ داخلی، local ممکن است ارزش بیشتری داشته باشد. یک benchmark کوچک با حجم واقعی، بهترین پاسخ را برای سازمان شما میدهد.
چند راهکار برای پاسخ بهتر و اجرای پایدار
در آغاز prompt هدف و قالب را بگویید: «این متن را در پنج نکته خلاصه کن؛ اعداد و نام اشخاص را تغییر نده؛ اگر نکتهای در متن نیست بنویس شواهد کافی نیست.» برای تحلیل سند، بخش موردنظر را کوتاه و مستند ارائه کنید. برای گفتگوی طولانی، دستورها را در پیام system روشن و محدود بنویسید. هر prompt مبهم که میگوید «همه چیز را انجام بده» بار تصمیم غیرضروری روی مدل میگذارد.
اگر پاسخ فارسی ضعیف است، یک مثال از لحن مطلوب ارائه کنید و خروجی را براساس معیار مشخص بخواهید: نیمفاصله، عدد فارسی یا انگلیسی، حفظ نقلقول و حداکثر طول. این روش کیفیت را تضمین نمیکند اما ابهام را کاهش میدهد. بهترین quantization و runtime را با نمونههای فارسی خودتان انتخاب کنید؛ کیفیت زبان در leaderboard انگلیسی لزوماً برابر فارسی نیست.
برای جلوگیری از کندی، برنامههای سنگین را ببندید، context را به اندازهٔ نیاز محدود کنید و فایل مدل را روی SSD قرار دهید. اگر کارت گرافیک memory sharing دارد، ظرفیت آزاد را قبل از اجرا چک کنید. چند پرسش کوتاه و یک درخواست بلند را جدا benchmark کنید. سرعت تولید token را در طول مکالمه بررسی کنید، نه فقط در اولین پاسخ.
اگر مدل تصویر یا صوت دریافت میکند، ابتدا فایل عمومی و کمحساسیت بهکار ببرید. سپس تعداد فایل، اندازه، طول و نوع داده را کمکم بالا ببرید. خروجی تشخیص تصویر را با مرجع چک کنید. محتوای صوتی را از نظر transcript، نام خاص و عدد کنترل کنید. multimodal بودن به معنای دقت همهٔ modalityها یا پشتیبانی تمام قالب فایلها نیست.
برای برنامهنویسی، model endpoint را در شبکهٔ داخلی و پشت auth قرار دهید. محدودیت concurrency و rate را تنظیم کنید تا یک کاربر منابع دستگاه را مصرف نکند. logها را بدون ثبت prompt حساس نگه دارید یا دادهها را redact کنید. بهروزرسانی model weight را یک تغییر نرمافزاری تلقی کنید و قبل از انتشار، مجموعهٔ آزمون کیفیت و ایمنی را دوباره اجرا کنید.
پرسشهای متداول دربارهٔ Gemma 4 محلی
آیا Gemma 4 را میتوان کاملاً آفلاین اجرا کرد؟
خود inference میتواند روی دستگاه انجام شود و Google DeepMind برای برخی مدلهای edge اجرای offline را معرفی میکند. اما دانلود، ورود به حساب یا telemetry برنامه ممکن است به اینترنت نیاز داشته باشد. مستندات runtime و رفتار شبکه را خودتان بررسی کنید.
با ۸ گیگابایت VRAM کدام مدل را امتحان کنم؟
جدول رسمی برای Gemma 4 E2B و E4B در Q4_0 بهترتیب حدود ۲٫۹ و ۴٫۵ گیگابایت برآورد میکند. مدل 12B در Q4_0 حدود ۶٫۷ گیگابایت ذکر شده، اما context و سربار runtime اضافه میشود. با E2B یا E4B شروع و بعد یک آزمون کوتاه اجرا کنید.
آیا Gemma 4 از فارسی پشتیبانی میکند؟
خانواده چندزبانه است، اما کیفیت فارسی برای هر اندازه و quantization میتواند فرق کند. قبل از استفاده، متن و خروجی واقعی فارسی را با مجموعهٔ سؤالهای خودتان ارزیابی کنید؛ به نتیجهٔ benchmark یک زبان دیگر تکیه نکنید.
QAT چه تفاوتی با quantization معمولی دارد؟
QAT در فرایند آموزش اثر فشردهسازی را وارد میکند تا مدل برای quantized weights سازگارتر شود. Google آن را برای کاهش حافظه و حفظ بهتر کیفیت معرفی کرده است. باز هم باید قالب و وظیفه را جداگانه آزمایش کنید.
آیا میتوان Gemma 4 را در پروژهٔ تجاری استفاده کرد؟
مدلها تحت مجوز Gemma منتشر شدهاند و مستندات از استفادهٔ تجاری مسئولانه سخن میگوید. قبل از عرضه، متن مجوز و سیاست استفادهٔ مجاز همان checkpoint را مطالعه کنید و شرایط توزیع مدل مشتقشده را بررسی کنید.
برای استفاده از تصویر یا صوت کدام مدلها مناسباند؟
مستندات گوگل از ورودی تصویر در خانواده و صوت native در E2B، E4B و 12B نام میبرد. کارایی و اندازهٔ فایل به runtime بستگی دارد. در صورت نیاز به صوت، پشتیبانی دقیق نسخهٔ checkpoint را بررسی کنید.
آیا اجرای محلی رایگان است؟
هزینهٔ هر درخواست cloud را ممکن است نداشته باشید، اما سختافزار، برق، فضای ذخیره و نگهداری رایگان نیست. اگر دستگاه را از قبل دارید، هزینهٔ نهایی به حجم و نوع کار وابسته است.
آیا مدل محلی میتواند اطلاعات محرمانه را حفظ کند؟
local processing میتواند ارسال prompt به سرویس ابری را کاهش دهد، اما باید رفتار برنامه، cache، log، افزونه و اتصال شبکه را بررسی کنید. داده را در حساب و دستگاه مدیریتشده و با دسترسی محدود پردازش کنید.
چرا مدل روی دستگاه من کند است؟
حافظهٔ ناکافی، backend نامناسب، اجرای CPU بهجای GPU، context بلند، حرارت و سرعت ذخیرهساز از عوامل محتملاند. مدل یا quantization کوچکتر را امتحان کنید، runtime را بهروز کنید و در چند سناریوی ثابت اندازه بگیرید.
جمعبندی: مدل محلی را با مسئلهٔ واقعی خودتان بسنجید
Gemma 4 خانوادهای باز از مدلها را به طیفی از دستگاهها میآورد. E2B و E4B برای سختافزار محدود، 12B برای چندوجهی و لپتاپ، و نسخههای بزرگتر برای workstation قابل توجهاند. بهروزرسانیهای QAT و روشهایی مانند MTP نیز برای کاهش حافظه و زمان inference طراحی شدهاند. این مسیر، کنترل بیشتری روی محل پردازش میدهد و برای پروژههای خصوصی یا آفلاین جذاب است.
انتخاب موفق از مدل بزرگتر شروع نمیشود؛ از تعریف کار و سختافزار شروع میشود. جدول حافظه را بخوانید، مجوز را بررسی کنید، یک runtime معتبر انتخاب کنید و با نمونههای فارسی خودتان کیفیت را بسنجید. حریم خصوصی را در کل زنجیره، از log تا دسترسی شبکه، کنترل کنید. اگر خروجی قرار است روی دادهٔ حساس یا تصمیم مهم اثر بگذارد، validator و بازبینی انسانی را نگه دارید.
اشتراکهای ابری میتوانند مکمل اجرای محلی باشند. شرایط، دسترسی منطقهای و سقف مصرف را پیش از خرید بررسی کنید.
منابع رسمی
- مستندات رسمی Gemma 4؛ اندازهها، ورودیها، context، quantization و نیاز حافظه.
- معرفی Gemma 4 12B توسط Google DeepMind؛ معماری چندوجهی، لپتاپ و ابزارهای شروع.
- معرفی checkpointهای QAT برای Gemma 4؛ کاهش حافظه و مسیرهای اجرا.
- فهرست انتشارهای Gemma برای تاریخ و بهروزرسانی نسخهها.
- فهرست کارتهای مدل Google DeepMind برای اسناد مدل و ایمنی.
دربارهٔ اعداد: جدول حافظه از برآوردهای مستندات رسمی بازنویسی شده است. نیاز واقعی میتواند با runtime، context و دستگاه تغییر کند. ادعاهای کارایی و قابلیتهای مدل را بر اساس workflow خودتان دوباره بسنجید.
واژهنامهٔ اجرای مدل محلی
Open weights: Model parameters distributed for download and use under a specified license.
Local inference: Running a trained model on a user-controlled device rather than a remote service.
Multimodal model: A model that accepts or produces more than one type of content, such as text, images, and audio.
Quantization: Reducing the numerical precision used to store model weights to lower memory and compute requirements.
QAT: Quantization-aware training, a method that simulates compression during training to preserve quality after quantization.
Q4_0: A four-bit quantized model format used by parts of the local inference ecosystem.
VRAM: Memory on a graphics accelerator used to store model weights and inference data.
Unified memory: A shared memory pool used by the CPU and accelerator in some systems, including Apple Silicon devices.
Context window: The amount of text or multimodal content a model can consider in one interaction.
KV cache: Temporary memory used to retain attention state while a model generates a response.
Mixture-of-Experts: A model architecture that routes each token through a subset of specialized parameter groups.
Runtime: The software environment that loads model weights and executes inference on available hardware.
GGUF: A file format commonly used for quantized models in the llama.cpp ecosystem.
MTP: Multi-Token Prediction, a drafting approach that can speed up model inference.
Edge AI: AI inference performed on a local or nearby device instead of relying entirely on a remote data center.
مطالب مرتبط برای ادامهٔ مطالعه
برای بررسی موضوع از زاویههای نزدیک، این راهنماها را هم بخوانید: