Итоги H1 2023: честная ретроспектива по LLM-пилотам, миграциям и КИИ-проверкам

В январе мы зафиксировали три приоритета на H1 - именно затем, чтобы в конце полугодия честно с ними сверяться. Момент пришёл. Ниже - без приукрашиваний.

LLM-пилоты: 2 из 4

Начали с двух договорённостей, закончили с четырьмя клиентами в работе - двое добавились по ходу из тех, кто сначала наблюдал со стороны. Итог: два пилота дали результат, который можно назвать рабочим, два - нет.

Что сработало. Helpdesk-пилот у клиента с хорошей внутренней базой знаний: автоклассификация обращений и черновики ответов на GPT-3.5-turbo. Экономия инженерного времени на первичной обработке реальная, не надуманная. Второй случай - извлечение структурированных данных из однотипных договоров для юридического отдела. Задача узкая, шаблонная - модель с ней справляется стабильно.

Что не сработало. Один клиент ожидал, что модель будет «просто отвечать на вопросы сотрудников» по внутренним политикам - без чёткой постановки задачи и без контроля качества на выходе. Галлюцинации в таком режиме неизбежны, а цена ошибки в HR-процессах выше, чем в классификации тикетов. Договорились переформатировать в конкретный сценарий с проверкой - пилот де-факто на паузе. Четвёртый случай - попытка внедрить LLM в обработку медицинских запросов у частной клиники. Там вопрос не в качестве модели, а в том, что юридическая ответственность за ответ никуда не делась, а значит - человек в цепочке обязателен в любом случае. ROI от «помощи» при таких ограничениях не просматривается.

Главный вывод, который мы теперь формулируем с самого начала переговоров: LLM работает там, где задача узкая, данные для контекста хорошего качества, и человек остаётся в контуре проверки. Как только хоть одно из трёх условий выпадает - нужно чинить именно это, а не ждать чуда от модели.

Миграции гипервизоров: медленнее плана

В январе стояла цель закрыть три проекта в состоянии «VMware выключена, обратного хода нет». Закрыли два. Третий - сдвинулся.

Proxmox VE 7.3 на 400 ВМ - закрыт, VMware выключена. oVirt 4.5 в госучреждении на 150 ВМ - закрыт, с задержкой из-за iSCSI-истории. Третий проект - инфраструктура под КИИ, там требования к окну обслуживания жёсткие, плюс параллельно пошли проверки по Указу №250, и заказчик правомерно решил не совмещать два стресса одновременно. Перенесли на H2.

Если честно - план на три одновременно был оптимистичным. Каждый из этих проектов несёт сюрпризы: у кого-то firmware массива с oVirt не дружит, у кого-то Windows без KMS тихо уходит в пробный период, у кого-то специфика КИИ добавляет согласований. Четыре недели на проект в смете - это «если ничего не пошло не так». Закладывать нужно шесть.

Проверки по Указу №250: жёстче чем ожидалось

Этот трек в январских планах вообще отдельным пунктом не стоял - был фоном. К июню стал самой горячей темой в разговорах с клиентами.

Двое из тех, кто попал под реальную проверку ФСТЭК и совместную комиссию в конце мая - начале июня, вернулись с замечаниями, которые мы описали в отдельном посте. Краткая суть: бумажные регламенты не засчитываются, если реальная практика от них расходится; SIEM без сертификата ФСТЭК - не SIEM. Оба клиента получили жёсткие сроки на устранение.

Что изменилось в нашей работе по итогам: мы перестали воспринимать категорирование КИИ и соблюдение Указа №250 как два отдельных трека. Они связаны плотнее, чем казалось - проверяющие смотрят на систему целиком, а не на отдельные документы.

Что не попало в план, но случилось

PostgreSQL 15 в продакшне - тут всё в порядке, закрыли даже чуть быстрее. MERGE в ETL-процессе у одного клиента работает, производительность не деградировала по контрольным запросам. Это была наименее рискованная из трёх задач - так и вышло.

Terraform-инфраструктура - в июне появились устойчивые слухи о том, что HashiCorp может изменить лицензионную модель Terraform. Пока это только разговоры, но несколько клиентов уже спрашивают, что делать, если они подтвердятся. Преждевременно паниковать не стоит, однако наблюдение на будущее: кто выстроил нормальную модульную структуру в Terraform, тому любая миграция обойдётся дешевле.

Локальные LLM добавились в тестирование в июне, когда стало очевидно, что часть клиентов на облачный ChatGPT API не пойдёт никогда. LLaMA и Vicuna на корпоративном GPU - рабочий вариант для узких задач на английском, русский пока слабее.

Что берём в H2

Три вещи, которые сформировались по итогам полугодия:

• Третий проект миграции гипервизоров - КИИ-инфраструктура, дождёмся окончания проверочной волны у клиента и возьмём в плотную работу осенью.
• Системная работа по Указу №250 - спрос на аудит готовности к проверкам резко вырос, и это объективно нужная работа, а не формальщина.
• LLM-пилоты по нормальной методике - больше не берём «давайте попробуем ChatGPT где-нибудь», только конкретный сценарий с чёткими критериями и человеком на финальной проверке.

Январь, как мы и предупреждали, немного соврал. Но по-другому, чем обычно: не завысил ожидания, а не учёл, что регуляторная повестка окажется настолько активной и займёт столько команды. Поживём - увидим, что придумает вторая половина года.