КРАСНОЯРСКИЙ КРАЙ, /НИА-КРАСНОЯРСК/. Использование искусственного интеллекта требует не только технологической зрелости, но и ответственного отношения к качеству данных, прозрачности алгоритмов и контролю за результатами. Такой подход позволяет внедрять ИИ инструменты, которые действительно помогают бизнесу, минимизируют ошибки и формируют устойчивое доверие со стороны клиентов. ИИ галлюцинации способны не только создать для пользователя серьезные затруднения при работе с информацией, но и привести к финансовым и репутационным рискам для бизнеса.ИИ галлюцинации – это, как правило, генерации текстов, которые выглядят правдоподобно, но содержат вымышленные факты, неточные данные или ссылки на несуществующие источники.
Ключевые способы борьбы с галлюцинациями нейросетей назвали специалисты ВТБ.
«Бывают случаи, когда нейросеть предлагает несуществующие книги в списке рекомендаций или формирует условия продукта, которых на самом деле нет. Модель не проверяет факты, а подбирает наиболее вероятный ответ, поэтому такие ошибки выглядят правдоподобно, но вводят в заблуждение. В первую очередь, снизить количество галлюцинаций можно за счет четко сформулированных запросов. Чем точнее и понятнее формулировка, тем меньше вероятность, что модель начнет фантазировать. Но все же самый надежный способ контроля – это внимательная проверка результата человеком», – сообщил руководитель направления разработки ИИ-решений ВТБ Лев Меркушов.
Как отметил лидер команды по разработке моделей Алексей Пустынников, для предотвращения искажений информации со стороны ИИ важно понимать и учитывать и характер самих ошибок. Языковые модели не понимают смысл информации и не проверяют ее достоверность в реальном времени, поэтому сбои проявляются по-разному. В одних случаях система искажает проверяемые данные, в других – формирует вымышленные сведения или неправильно следует заданным инструкциям.
Эксперты отмечают, что причины возникновения ИИ галлюцинаций связаны с особенностями обучения и работы языковых моделей. Они формируют ответы на основе вероятностных связей в данных, а не на понимании фактов, поэтому при нехватке или противоречивости информации стремятся «додумать» ответ. Дополнительную роль играют ограничения обучающей выборки: модели не обладают сведениями о событиях, произошедших после окончания сбора данных, не имеют доступа к проверке фактов в реальном времени. В результате ошибки могут возникать как из-за недостатка знаний в редких областях, так и из-за неточностей или искажений, изначально содержащихся в используемых данных.
Другой распространенной причиной ИИ галлюцинаций являются сложные и абстрактные задачи, которые значительно повышают вероятность ошибок в работе больших языковых моделей.
В практике банка применяются каскадные решения, когда несколько моделей последовательно обрабатывают данные и корректируют результаты друг друга. Подобный подход используется, например, в задачах распознавания текста и речи, прогнозирования снятия наличности и инкассации банкоматов. В области генеративного искусственного интеллекта ведется разработка каскадных моделей для создания умного поиска по корпоративным базам знаний.
