Оказывается, если объединить двух экспертов в области ИИ, которые ранее работали в компании Meta*, занимаясь исследованием ответственного ИИ, происходит волшебство. Основатели компании Patronus AI собрались вместе в марте прошлого года, чтобы создать решение для оценки и тестирования больших языковых моделей, ориентированное на регулируемые отрасли, где не допускаются ошибки.
Ребекка Цянь, которая является техническим директором компании, возглавляла исследования НЛП в Meta* AI, а ее генеральный директор Ананд Каннаппан помогал разрабатывать фреймворки для машинного обучения в Meta* Reality Labs. Сегодня у их стартапа знаменательный день: они вышли из «скрытого режима», сделав свой продукт общедоступным, а также объявив о привлечении 3 млн. долл.
Компания находится в нужном месте в нужное время, создавая систему безопасности и анализа в виде управляемого сервиса для тестирования больших языковых моделей с целью выявления проблемных областей, в частности, вероятности возникновения галлюцинаций, когда модель придумывает ответ, поскольку ей не хватает данных для правильного ответа.
«В нашем продукте мы действительно стремимся автоматизировать и масштабировать весь процесс оценки модели, чтобы предупреждать пользователей о выявлении проблем», — сказала Цянь.
По ее словам, это включает в себя три этапа. «На первом этапе мы помогаем пользователям оценивать модели в реальных сценариях, например, в финансовой сфере по ключевым критериям, таким как галлюцинации», — сказала она. Далее продукт создает тестовые примеры, то есть автоматически генерирует наборы состязательных тестов и проводит стресс-тестирование моделей по этим тестам. Наконец, он проводит сравнительный анализ моделей по различным критериям, в зависимости от требований, чтобы найти лучшую модель для конкретной задачи. «Мы сравниваем различные модели, чтобы помочь пользователям определить лучшую модель для их конкретного случая использования. Так, например, одна модель может иметь более высокий процент отказов и галлюцинаций по сравнению с другой базовой моделью», — сказала она.
Компания концентрируется на высокорегулируемых отраслях, где неправильные ответы могут иметь серьезные последствия. «Мы помогаем компаниям убедиться в том, что используемые ими большие языковые модели безопасны. Мы выявляем случаи, когда их модели выдают чувствительную для бизнеса информацию и неадекватные результаты», — пояснил Каннаппан.
По его словам, цель стартапа — стать надежной третьей стороной, когда речь идет об оценке моделей. «Легко сказать, что его LLM — лучшая, но нужна непредвзятая, независимая точка зрения. Вот здесь-то мы и приходим на помощь. Patronus — это контроль доверия», — сказал он.
В настоящее время в компании работают шесть штатных сотрудников, но, по их словам, с учетом того, как быстро растет рынок, они планируют нанять больше людей в ближайшие месяцы, не называя точного числа. Цянь говорит, что разнообразие является одним из основных принципов работы компании. «Это то, что нас очень волнует. И это начинается с уровня руководства Patronus. По мере нашего роста мы намерены продолжать внедрять программы и инициативы, направленные на создание и поддержание инклюзивного рабочего пространства», — сказала она.
Сегодняшнее финансирование в размере 3 млн. долл. было проведено компанией Lightspeed Venture Partners при участии Factorial Capital и других отраслевых бизнес-ангелов.
*Meta признана экстремистcкой организацией в России.