Ollama — запускаем Llama, Mistral и другие LLM локально одной командой
Go-бинарь, который за минуту разворачивает open-source LLM на ноутбуке без облака, без GPU-серверов и без возни с зависимостями.
Раздел редакции · № 05
GitHub.
Подборки интересных open-source репозиториев: софт, ИИ, инфраструктура, инструменты для разработчиков.
Все материалы раздела
llama.cpp — порт Llama на чистом C++ с поддержкой Apple Silicon и квантизацией
Один файл `main.cpp` положил начало целой экосистеме локального LLM-inference. Разбираем, как устроен проект и почему он до сих пор актуален.
Open WebUI — self-hosted ChatGPT-подобный интерфейс с поддержкой Ollama и OpenAI API
Если Ollama — это движок, то Open WebUI — это кабина. Полноценный чат-интерфейс для работы с LLM, который ставится за 5 минут через Docker.
Deno — современная замена Node.js с TypeScript из коробки, WASM и встроенной безопасностью
Создатель Node.js (Райан Дал) сделал то, что должен был сделать с самого начала: убрал npm, добавил TypeScript по умолчанию и сделал песочницу обязательной.
ComfyUI — node-based интерфейс для Stable Diffusion с графами вычислений
Если AUTOMATIC1111 — это Photoshop для diffusion-моделей, то ComfyUI — это Blender. Полноценный граф-редактор, в котором каждый шаг пайплайна — это узел.
Firecrawl — open-source веб-скрапер, который превращает сайты в чистый markdown для LLM
Если вы когда-нибудь пытались скормить сайт языковой модели, вы знаете, насколько грязный HTML. Firecrawl решает эту проблему одной командой.