ВСЕ СТАТЬИ
•
habr.com•технологии
Ну, LLM, погоди…. В этой статье я делюсь личным опытом выбора платформы для локального инференса (запуска) LLM. Формат - дневник инженера: детали, цифры и грабли вперемешку с эмоциями и выводами по ходу дела. Это не энциклопедия, и, совершенно точно, не "единственно правильный" рецепт, но, надеюсь, статья сэкономит время тем, кто сейчас решает, на каком железе и каким способом запускать модели. Для тех, кто не готов погружаться в цепочку событий, сразу зафиксирую итог... ...