اجرای مدل زبان بزرگ با Llama.cpp

چگونه می‌توانید مدل‌های زبان بزرگ را به‌صورت محلی و سبک در C/C++ اجرا کنید؟

git clone https://github.com/ggml-org/llama.cpp

دریافت در ربات ذخیره

چه کاری می‌کند

• کد منبع باز، امکان توسعه و شخصی‌سازی سریع را فراهم می‌کند.
• پیاده‌سازی کم‌حجم و بهینه برای inference مدل‌های زبان بزرگ بدون نیاز به سرورهای سنگین.
• استفاده از زبان‌های C و C++ برای سرعت بالاتر و کنترل بهتر روی منابع سخت‌افزاری.

کی به کارتان می‌آید

بخش آدرس گیت‌هاب را به مخزن دلخواه خود یا نسخه خاص تغییر دهید.

کجا کار می‌کند

Agent Skill

مناسب برای

توسعه‌دهندگان نرم‌افزار که می‌خواهند مدل‌های LLM را به‌صورت محلی اجرا کنند

سازنده: ggml-org · منبع اصلی · مجوز MIT