Более точные оценки неопределенности могут помочь пользователям решить, как и когда использовать модели машинного обучения в реальном мире.
Новая техника для оценки доверия к прогнозам ИИ
Исследователи из MIT разработали новую технику, которая помогает людям определить, стоит ли доверять прогнозам модели искусственного интеллекта (ИИ). Так как модели машинного обучения могут давать ложные прогнозы, важно, чтобы они могли сообщить пользователю, насколько уверены в своем решении. Это особенно важно в ситуациях с высокими ставками, например, при диагностике заболеваний на медицинских изображениях или отборе кандидатов на работу.
Однако оценки неопределенности модели полезны только тогда, когда они точны. Если модель утверждает, что уверена на 49% в том, что медицинское изображение показывает плевральный выпот, то в 49% случаев модель должна быть права.
Улучшение оценок неопределенности
Исследователи из MIT представили новый подход, который улучшает оценки неопределенности в моделях машинного обучения. Их метод не только генерирует более точные оценки, чем другие техники, но и делает это более эффективно. Кроме того, поскольку техника масштабируема, ее можно применять к крупным моделям глубокого обучения, которые все чаще используются в здравоохранении и других критически важных областях.
Эта техника может дать конечным пользователям, многим из которых не хватает опыта работы с машинным обучением, лучшую информацию для определения того, стоит ли доверять прогнозам модели или использовать ее для конкретной задачи.
Оценка неопределенности
Методы оценки неопределенности часто требуют сложных статистических вычислений, которые плохо масштабируются на модели машинного обучения с миллионами параметров. Эти методы также требуют от пользователей делать предположения о модели и данных, используемых для ее обучения.
Исследователи из MIT использовали другой подход. Они применили принцип минимальной длины описания (MDL), который не требует предположений, мешающих точности других методов. MDL используется для лучшей оценки и калибровки неопределенности для тестовых точек, которые модель должна была классифицировать.
Техника IF-COMP
Разработанная техника, известная как IF-COMP, делает MDL достаточно быстрым для использования с крупными моделями глубокого обучения, применяемыми во многих реальных условиях. MDL предполагает рассмотрение всех возможных меток, которые модель может присвоить тестовой точке. Если есть много альтернативных меток, которые хорошо подходят для этой точки, уверенность в выбранной метке должна уменьшиться.
С IF-COMP исследователи разработали аппроксимационную технику, которая может точно оценить стохастическую сложность данных, используя специальную функцию, известную как функция влияния. Они также использовали статистическую технику, называемую температурным масштабированием, которая улучшает калибровку выходных данных модели.
Применение и результаты
В итоге IF-COMP может эффективно производить хорошо калиброванные оценки неопределенности, отражающие истинную уверенность модели. Техника также может определить, неправильно ли модель пометила определенные данные, или выявить, какие точки данных являются выбросами.
Исследователи протестировали свою систему на трех задачах и обнаружили, что она быстрее и точнее других методов.
IF-COMP является модель-агностичной, поэтому она может предоставлять точные оценки неопределенности для многих типов моделей машинного обучения. Это может позволить ее применять в более широком диапазоне реальных условий, в конечном итоге помогая большему количеству практиков принимать лучшие решения.
Понимание того, когда стоит доверять модели ИИ, особенно важно в современных реалиях, где искусственный интеллект все чаще используется в критически важных областях. Новая техника IF-COMP, разработанная исследователями из MIT, помогает улучшить точность оценок неопределенности, что позволяет пользователям принимать более обоснованные решения и снижать риски, связанные с использованием моделей ИИ.
