خب امروز رفتم با اینترنت دانشگاه فایل این سه تا مدل رو از Huggingface دانلود کردم:
DeepSeek-R1-Distill-Qwen-7B-Q4_K_M
qwen2.5-coder-7b-instruct-q4_k_m
adi-qwen2.5-coder-7b-kimi-q4_k_m
دو تا مدل اول مدلای distill شدهی متخصص کد زدنن و با 7b پارامتر و با کوانتیزیشن q4-k-m بسیار کم حجمن؛ حدود 5 گیگابایت از VRAM رو اشغال میکنن که برای کارت گرافیک 3070 من با ۸ گیگ VRAM مناسبه. مدل سوم هم به همین ترتیب ولی برای استفاده از toolها fine tune شده که بشه بعدن agent باهاش راهانداخت.
برای سادگی LM Studio رو هم نصب کردم، فایلای دانلود شده رو گذاشتم توش و بعد آماده...
چه قدر سریع و روون کار کرد (حدود ۷۰ توکن بر ثانیه)! دارم تستای مختلف میگیرم ببینم عملکردش چطوره.
قدم دوم: فردا سعی میکنم Agent راه بندازم.
