Архитектура систем искусственного интеллекта
Проектирую системы на больших языковых моделях и пишу о том, как они устроены
Заметки об архитектуре систем искусственного интеллекта: проектирование, инженерия, эксплуатация и практика построения надёжных решений.
Обо мне
подробнее →Меня зовут Максим Биркин, я архитектор решений на искусственном интеллекте. Около 13 лет в ИТ, из них несколько лет проектирую и вывожу в промышленную эксплуатацию системы на больших языковых моделях, от архитектуры до эксплуатации под нагрузкой.
- RAG-конвейеры
- агентные сценарии
- векторный поиск
- потоковый инференс
- сайзинг GPU-кластеров
- MLOps и SRE
Статьи
все →- 01
Инженерия латентности: анализ 10 000 строк за 2 минуты
Как набор осознанных рычагов, от параллелизма до слияния двух вызовов модели в один ответ, сократил полное время анализа логов в десятки раз.
- 02
Маршрутизация запросов на SetFit: few-shot классификатор на CPU
Почему между кодом и большой моделью стоит лёгкий обученный классификатор, как SetFit обучается на считанных примерах и когда запрос эскалируется к модели.
- 03
Каскадные цепочки: как отделить причину от расползшегося следствия
Почему пять пострадавших сервисов это чаще всего одна первопричина и четыре ретрансляции её отказа, и как каскадный анализ сужает пространство гипотез.
- 04
Нет цитаты, нет утверждения: как заземлить уверенность модели
Анти-галлюцинационные гарды для открытого анализа первопричины: домножение самооценки модели на долю свидетельств, которые удалось найти в исходных данных.
- 05
Байесовский скоринг уверенности: group-max, потолок и полосы доверия
Как построить уверенность вердикта из сработавших детекторов детерминированным кодом, не доверяя число языковой модели, и почему group-max важнее произведения.
- 06
Детерминированный агрегатор за один проход O(N)
Как убрать языковую модель из этапа нарезки логов и заменить её статистическим агрегатором, который за один линейный проход считает 16 блоков фактов.
- 07
Инверсия ответственности: код считает факты, модель отвечает за язык
Центральный принцип зрелой системы анализа логов: разделить ответственность между детерминированным кодом, обученным классификатором и языковой моделью.