Как мы запустили 35B LLM на видеокарте за $500: внутри ZINC inference engine
Год назад запуск модели на 35 миллиардов параметров подразумевал облако, очередь на GPU, и счёт от провайдера в конце месяца. Сегодня я покажу, как мы сделали это на одной потре...