شرکت DeepSeek فریم‌ورک استنتاج DeepInfer را که برای سرویس‌دهی مقیاس‌بزرگ مدل‌های هوش مصنوعی خود استفاده می‌کند، به صورت متن‌باز منتشر کرد.
به گزارش Hacker News، پروژه DeepInfer ابزاری با عملکرد بالا برای استنتاج است که شامل هسته‌های بهینه‌سازی‌شده، زمان‌بندی ناهم‌گام و قابلیت‌های موازی‌سازی مانند Attention DP و MoE EP می‌شود. این پروژه تحت مجوز Apache License 2.0 منتشر شده و روی گیت‌هاب در دسترس قرار گرفته است.
این فریم‌ورک برای راه‌اندازی به یک محیط پایتون نسخه ۳.۱۲ نیاز دارد و به‌طور پیش‌فرض از مدل DeepSeek-V4.1-Flash-1017 استفاده می‌کند. کاربران می‌توانند کدهای مربوط به این موتور را برای اجرای آفلاین و پردازش درخواست‌های هوش مصنوعی پیکربندی کنند.
در ساختار این موتور از کتابخانه‌ها و هسته‌های سفارشی مانند FlashMLA و DeepGEMM استفاده شده است. همچنین قابلیت‌هایی نظیر استنتاج قطعی، خروجی‌های ساختاریافته و زمان‌بندی صفر سربار برای بهینه‌سازی پردازش در آن تعبیه شده است.
نکات کلیدی این خبر
- انتشار موتور استنتاج DeepInfer تحت مجوز متن‌باز Apache License 2.0
- نیاز به محیط پایتون ۳.۱۲ و مدل پیش‌فرض DeepSeek-V4.1-Flash-1017
- پشتیبانی از هسته‌های بهینه‌سازی‌شده مانند FlashMLA و DeepGEMM
- ارائه قابلیت‌های زمان‌بندی ناهم‌گام و خروجی‌های ساختاریافته
این خبر برای شما چه معنایی دارد؟
توسعه‌دهندگان و متخصصانی که مدل‌های هوش مصنوعی را روی سرورهای خود میزبانی و اجرا می‌کنند، اکنون می‌توانند از این فریم‌ورک برای افزایش بهره‌وری و استنتاج مقیاس‌بزرگ استفاده کنند. بررسی مستندات گیت‌هاب DeepInfer برای راه‌اندازی این موتور روی زیرساخت پردازشی الزامی است.
منبع خبر
Hacker News (300+)
— DeepSeek just open-sourced its inference engine
انتشار در منبع:
این خبر را تحریریه‌ی مهران هاست بر پایه‌ی گزارش منبع بالا به فارسی نوشته است؛ جزئیات کامل و به‌روزرسانی‌های بعدی را در منبع اصلی ببینید.
