Команда исследователей из Google Research представила новую разработку под названием “Patchscopes”. Этот ” data-html=”true” data-original-title=”фреймворк” >фреймворк призван помочь в исследовании внутренних, скрытых представлений, которые используются в больших языковых моделях (LLM). Такие представления отображают, что именно усвоила модель в процессе обучения.
Исследование внутренних представлений может способствовать глубокому научному пониманию работы моделей и предоставить возможность контролировать их поведение. Ави Кациулару и Асма Гандехариун, научные сотрудники Google Research, поделились, что благодаря “Patchscopes” можно не только исправлять ошибки в работе моделей, связанные с искажением фактов, но и изучать, как модели строят свои предсказания в сложных сценариях.
Фреймворк “Patchscopes” включает в себя четыре этапа: настройку, цель, модификацию и раскрытие. Он позволяет вносить внутренние представления модели в специально подготовленные запросы и анализировать полученные данные для создания понятных объяснений того, как модель обрабатывает информацию.
По словам исследователей, данный подход объединяет и расширяет существующие техники интерпретируемости и открывает новые возможности для понимания того, как скрытые представления захватывают нюансы значений во входных данных модели. Это облегчает исправление некоторых видов ошибок в рассуждениях.
Команда Google Research выразила восторг от возможностей, которые открывает “Patchscopes” для повышения надёжности и прозрачности использования мощных языковых моделей, ставших неотъемлемой частью повседневной жизни. Это открытие имеет важные последствия для улучшения работы языковых моделей, что позволит их использовать более эффективно и безопасно.