Janas: Run LLMs larger than RAM by streaming experts from SSD
Як ця новина вийшла в дайджесті
Janas-LLM дозволяє запускати великі LLM навіть якщо вони більші за RAM ноутбука — шляхом потокового підвантаження параметрів із SSD, і працює швидше за llama.cpp на тих же моделях
Повний текст — на сайті видання
Ми не передруковуємо статті. Посилання веде напряму до Hacker News.
Читати оригінал →
Як новина потрапила у випуск
Множники, з яких склався ранг
0,69
=
0,95
релевантність
×
0,74
свіжість · 8 год
×
1,00
резонанс · 1 видання
×
0,99
вага джерела
«Новина про запуск великих LLM моделей з SSD стрімінгом експертів — це дослідження та технології AI моделей.» — класифікатор, 0,95
Ще з теми AI того дня
Увесь випуск за 13 жовтня
Усе, що дійшло до випуску того дня, і чому саме воно
До випуску →