Проект OpenAI открыл Transformer Debugger, отладчик для моделей машинного обучения

Проект OpenAI, занимающийся развитием общедоступных проектов в области искусственного интеллекта, опубликовал отладчик Transformer Debugger, предназначенный для анализа активации структур в языковых моделях машинного обучения при обработке тех или иных данных. Как и в традиционных отладчиках в Transformer Debugger поддерживает пошаговую навигацию по выводу моделей, трассировку и перехват определённой активности. В общем виде Transformer Debugger позволяет разобраться почему языковая модель в ответ на определённый запрос выводит один токен вместо другого или почему модель уделяет большее внимание определённым токенам в запросе. Код написан на языке Python и распространяется под лицензией MIT.

В состав входят следующие компоненты:

  • Neuron viewer – навигатор по отдельным компонентам модели, таким как MLP-нейроны, фокусы внимания и скрытые представления автокодировщиков.
  • Activation server – серверный бэкенд, взаимодействующий с разбираемой моделью и извлекающий данные для отладчика.
  • Models – библиотека для взаимодействия с языковыми моделями GPT-2 и используемыми в них автокодировщиками, обеспечивающая подстановку обработчиков для перехвата активаций.
  • Примеры активирующих наборов данных для MLP-нейронов, фокусов внимания и скрытых представлений автокодировщиков.
Release. Ссылка here.