از این سید محمدحسینه خوشم میاد.
(گمونم اگه RAG بدم به متیس، بشه جزئیتر مثلا روی نهجالبلاغه یا چیزای دیگه هم با دقت خوب همچین چیزی بالا آورد. قرآن رو فعلا توی تستها اینقدر خوب جواب میده، مدلش هم همون قبلیه است، deepseek flash v4. شعرهای فارسی رو هم خوب جواب نمیده برای حافظ و سعدی تست کردم. اطلاعی…
از Qwen بزرگتر (چت توی سایتش) که میپرسم جواب درست میده. واقعا این رو نقص LLMها میدونم که برای انجام استدلالهای پیش پا افتاده باید حتما حجم بزرگی داشته باشن (البته شاید این سوال خاص توی training dataشون بوده). چرا یه LLM باید جزئیات تاریخی جنگجهانی دوم رو از بر باشه تا بتونه بفهمه بدون ماشین نمیشه…
فرزندان گنجشکمغزم، شما همگی مرا مأیوس کردهاید :(
یه ویژگی خیلی ساده و زیبا توی دیپسیک هست، اونم اینکه وقتی یه پاسخ خیلی بلند باید بنویسه و به لیمیت «حداکثر طول پاسخ» برخورد میکنه، به جای اینکه همونجا جواب رو قطع کنه، یه دکمهی continue پایینش میاره. با فشردن این دکمه شما دارید تصریح میکنید که من دارم یک پیام دیگه از ظرفیتم رو مصرف میکنم، اما ه…
یه گزارش پیشرفت بدم خدمتتون.
این چند روز یه مقدار با مدلهایی که دارم کار انجام دادم. لازم به ذکره که همهشون یه جورایی تحت خانواده qwen هستن. دو تا مدل general که tool callingشون خوبه رو هم اضافه کردم (qwen3.5:4b و qwen3:8b).
راستی اون مدلی که توهم میزد با خودش صحبت میکرد رو (با کمال تأسف) حذفش کرد…
خب امروز رفتم با اینترنت دانشگاه فایل این سه تا مدل رو از Huggingface دانلود کردم:
DeepSeek-R1-Distill-Qwen-7B-Q4_K_M
qwen2.5-coder-7b-instruct-q4_k_m
adi-qwen2.5-coder-7b-kimi-q4_k_m
دو تا مدل اول مدلای distill شدهی متخصص کد زدنن و با 7b پارامتر و با کوانتیزیشن q4-k-m بسیار کم حجمن؛ حدود 5 گیگابایت از VRAM رو اشغال میکنن که برای کارت گرافیک 3070 من با ۸ گیگ VRAM مناسبه. مدل سوم هم به همین ترتیب ولی برای استفاده از toolها fine tune شده که بشه بعدن agent باهاش راهانداخت.
برای سادگی LM Studio رو هم نصب کردم، فایلای دانلود شده رو گذاشتم توش و بعد آماده...
چه قدر سریع و روون کار کرد (حدود ۷۰ توکن بر ثانیه)! دارم تستای مختلف میگیرم ببینم عملکردش چطوره.
قدم دوم: فردا سعی میکنم Agent راه بندازم.
منم همینطور مدلِ adi-qwen2.5-coder-7b-kimi-q4_k_m، منم همینطور.
این مدل adi-qwen2.5-coder-7b-kimi-q4_k_m وقتی ازش یه سوال میپرسم، بعد این که جوابشو میده، خودش از طرف من از خودش تشکر میکنه، بعد خودش از زبان من از خودش follow-up question میپرسه و بعد شروع میکنه به سوالی که خودش از طرف من از خودش پرسیده جواب میده.
کاملا واقعیت رو گم کرده... فرق بین من و خودش براش مشخص نیست... دلم براش میسوزه.
این مدل adi-qwen2.5-coder-7b-kimi-q4_k_m وقتی ازش یه سوال میپرسم، بعد این که جوابشو میده، خودش از طرف من از خودش تشکر میکنه، بعد خودش از زبان من از خودش follow-up question میپرسه و بعد شروع میکنه به سوالی که خودش از طرف من از خودش پرسیده جواب میده.
کاملا واقعیت رو گم کرده... فرق بین من و خودش براش…
خب امروز رفتم با اینترنت دانشگاه فایل این سه تا مدل رو از Huggingface دانلود کردم:
DeepSeek-R1-Distill-Qwen-7B-Q4_K_M
qwen2.5-coder-7b-instruct-q4_k_m
adi-qwen2.5-coder-7b-kimi-q4_k_m
دو تا مدل اول مدلای distill شدهی متخصص کد زدنن و با 7b پارامتر و با کوانتیزیشن q4-k-m بسیار کم حجمن؛ حدود 5 گیگابایت از VRAM رو اشغال میکنن که برای کارت گرافیک 3070 من با ۸ گیگ VRAM مناسبه. مدل سوم هم به همین ترتیب ولی برای استفاده از toolها fine tune شده که بشه بعدن agent باهاش راهانداخت.
برای سادگی LM Studio رو هم نصب کردم، فایلای دانلود شده رو گذاشتم توش و بعد آماده...
چه قدر سریع و روون کار کرد (حدود ۷۰ توکن بر ثانیه)! دارم تستای مختلف میگیرم ببینم عملکردش چطوره.
قدم دوم: فردا سعی میکنم Agent راه بندازم.
خب امروز رفتم با اینترنت دانشگاه فایل این سه تا مدل رو از Huggingface دانلود کردم:
DeepSeek-R1-Distill-Qwen-7B-Q4_K_M
qwen2.5-coder-7b-instruct-q4_k_m
adi-qwen2.5-coder-7b-kimi-q4_k_m
دو تا مدل اول مدلای distill شدهی متخصص کد زدنن و با 7b پارامتر و با کوانتیزیشن q4-k-m بسیار کم حجمن؛ حدود 5 گیگابایت از…
با من همراه باشید میخوام تو چند روز آینده اولین مدل هوشمص local رو روی کامپیوترم راه بندازم و ببینم به درد کد زدن میخوره یا نه.
احتمالا Qwen2.5-Coder-7B.
قدم اول: فردا برم دانشگاه فایلهای لازم رو دانلود کنم...
با من همراه باشید میخوام تو چند روز آینده اولین مدل هوشمص local رو روی کامپیوترم راه بندازم و ببینم به درد کد زدن میخوره یا نه.
احتمالا Qwen2.5-Coder-7B.
قدم اول: فردا برم دانشگاه فایلهای لازم رو دانلود کنم...
یه بخش از جریان کار من با هوشمص:
من پریروز یه فیچر مهم و نسبتا پیچیدهی نویسا رو اینطوری زدم با کدکس:
قبلش یکی دو هفته توی ذهنم داشتم بررسیش میکردم. یه موقعهایی هم با آدما و با هوشمص راجع بهش مشورت کرده بودم. حتی شاید یکی دو روز قبلش به کدکس گفته بودم کدبیس رو نگاه کن و پیشنهاد بده پیادهسازیت رو. ی…
اینجا رو تاسیس کردم برای اینکه توش از هوشمصنوعی صحبت کنیم. جهان جدیدی که خیلی هم سریع داره رشد میکنه و میدونم که خیلیامون تکی یا در همراهی با دوستامون در حال قلقگیری و یادگیریش هستیم.
اینجا میتونید خبر پیشرفتهای هوشمصنوعی رو به بقیه هم برسونید، ترفندها یا تکنولوژیهایی که یاد میگیرید با دیگران…
