| 👀 خبر در یک نگاه:
Unsloth، استارتاپ سان‌فرانسیسکو، مدل‌های باز بهینه و کوانتیزه‌شده را در Hugging Face Hub ارائه می‌دهد. این مدل‌ها برای تولید کد و پشتیبانی ابزارهای عامل‌محور آموزش دیده‌اند. سیستم آن‌ها اجرای مدل، آموزش، ارزیابی و یکپارچه‌سازی با موتورهای Inference را ساده می‌کند و هزینه Inference را کاهش می‌دهد. |
Unsloth آموزش‌های جامعی برای همه مدل‌های باز که پشتیبانی می‌کنند، منتشر کرد. این آموزش‌ها می‌توانند برای مقایسه نقاط قوت و ضعف مدل‌ها و همچنین ارزیابی عملکرد آن‌ها استفاده شوند.
آموزش‌ها شامل بسیاری از خانواده‌های مدل باز پرکاربرد مانند Qwen، Kimi، DeepSeek، Mistral، Phi، Gemma و Llama هستند. این آموزش‌ها برای معماران داده، مهندسان یادگیری ماشین و توسعه‌دهندگانی که به دنبال راهنمایی در انتخاب مدل هستند، مفیدند و شامل دستورالعمل‌هایی برای بهینه‌سازی، کوانتیزیشن و یادگیری تقویتی نیز می‌شوند.
برای هر مدل، آموزش شامل توضیحی درباره مدل و کاربردهایی است که به خوبی پشتیبانی می‌کند. برای مثال:
«Qwen3-Coder-480B-A35B پیشرفت‌های برتر (SOTA) در برنامه‌نویسی عامل‌محور و وظایف کدنویسی ارائه می‌دهد و با Claude Sonnet-4، GPT-4.1 و Kimi K2 رقابت می‌کند یا از آن‌ها پیشی می‌گیرد. مدل 480B در آزمون Aider Polygot نمره ۶۱.۸٪ کسب می‌کند و از زمینه متنی ۲۵۶هزار توکن پشتیبانی می‌کند که قابل گسترش تا ۱ میلیون توکن است.»
سپس آموزش‌ها دستورالعمل‌هایی برای اجرای مدل در llama.cpp، Ollama و OpenWebUI ارائه می‌دهند که شامل پارامترهای پیشنهادی و سیستم پرامپت‌هاست. این آموزش‌ها همچنین راهنمایی‌ها و منابعی برای بهینه‌سازی مدل برای کاربران Unsloth فراهم می‌کنند.
برای Gemma 3n و Ollama دستورالعمل‌ها به این صورت است:
۱- ابتدا اگر Ollama را نصب نکرده‌اید، نصب کنید:
|
1 2 3 4 5 |
apt–get update apt–get install pciutils –y curl –fsSL https://ollama.com/install.sh | sh |
۲- مدل را اجرا کنید: توجه داشته باشید که در صورت خطا، می‌توانید ollama serve را در ترمینال دیگری اجرا کنید. همه اصلاحات و پارامترهای پیشنهادی Unsloth (مانند Temperature و غیره) در بخش params در آپلود Hugging Face موجود است.
|
1 |
ollama run hf.co/unsloth/gemma–3n–E4B–it–GGUF:UD–Q4_K_XL |
دستورالعمل‌های بهینه‌سازی (Fine-Tuning) مخصوص پلتفرم Unsloth هستند و نکات عملی برای رفع مشکلات احتمالی پیاده‌سازی مدل‌ها ارائه می‌دهند.
سازندگان فریمورک‌های Open-Source برای Fine-Tuning، مانند Unsloth و Axolotl، امیدوارند زمان لازم برای ایجاد مدل‌های خاص برای تیم‌ها کاهش یابد.
کاربران فریمورک‌ها و اکوسیستم‌های مدل جایگزین، مانند AWS، همچنان می‌توانند از این آموزش‌ها برای دستورالعمل‌های اجرای مدل‌ها و جمع‌بندی قابلیت‌های آن‌ها استفاده کنند.
Unsloth، یک استارتاپ در سان‌فرانسیسکو است که در سال ۲۰۲۳ تاسیس شد، چندین مدل باز بهینه‌شده و کوانتیزه‌شده را در Hugging Face Hub ارائه می‌دهد. این مدل‌ها برای اهداف خاصی مانند تولید کد یا پشتیبانی از ابزارهای عامل‌محور آموزش داده شده‌اند. کوانتیزیشن به این معنی است که اجرای آن‌ها در حالت Inference ارزان‌تر است. مستندات Unsloth توضیح می‌دهد که هدف سیستم، ساده‌سازی آموزش مدل به‌صورت محلی و در پلتفرم‌های ابری است. جریان کاری بهینه‌شده ما همه مراحل از بارگذاری مدل و کوانتیزیشن تا آموزش، ارزیابی، ذخیره‌سازی، صادر کردن و یکپارچه‌سازی با موتورهای Inference را مدیریت می‌کند.
منبع: infoq.com
دیدگاهتان را بنویسید