Поиск по сайту Поиск

GPT-2: нейросеть, которая закончит за вас предложение

Встречали ли вы когда-нибудь собеседника, который после нескольких сказанных вами слов заканчивал за вас предложение? GPT-2 умеет и не такое: она способна по одной вводной фразе сочинить осмысленную статью. Кроме того, нейросеть можно использовать для задач машинного перевода, ответов на вопросы и распознавания речи. В этом материале мы расскажем об особенностях GPT-2 и возможностях её применения.

GPT-2 — это улучшенная версия языковой модели GPT, в основе которой лежит нейросеть Transformator. Для обучения GPT-2 использовался набор данных, состоящий из 8 миллионов веб-страниц объёмом 40 ГБ. Модель имеет 1.5 миллиарда параметров, что в 10 раз больше, чем у GPT. 

Цель создания GPT-2 была довольно простой: нейросеть должна предсказывать следующее слово, учитывая все предыдущие слова в тексте. Но поскольку обучающий датасет оказался очень разнообразным, возможности GPT-2 нашли применение и в других областях. 

GPT-2 может генерировать синтетические образцы текста, по качеству близкие к человеческим. Нейросеть превосходит другие языковые модели, обученные на конкретных примерах (статьях из Википедии, новостях или книгах), без необходимости использования этих наборов данных для переобучения. 

Нейросеть также может распознавать текст, отвечать на вопросы и переводить фразы без дополнительного обучения. Хотя в этих областях её оценки далеки от state-of-the-art, предполагается, что модель можно улучшить с помощью методов обучения без учителя при наличии необходимых датасетов.

Примеры текстов, сгенерированных нейросетью

GPT-2 похожа на хамелеона: она ​​приспосабливается к стилю и содержанию текста, что позволяет ей генерировать реалистичные отрывки, продолжающие исходные фразы. Следующие примеры демонстрируют возможности нейросети (курсивом выделены предложения, написанные человеком, а текст ниже — то, что досочиняла GPT-2):

Шокирующая новость про Майли Сайрус, написанная со второй попытки
Новая глава «Властелина Колец» (с первой попытки)
Готовая домашняя работа о причинах Гражданской войны в США (с пятой попытки)

Как видно из примеров, модель сочиняет фрагменты текста высокого качества и может генерировать около страницы согласованных фраз. Тем не менее, создатели нейросети сталкивались с различными сбоями: иногда она повторяла одни и те же слова, писала о невозможных событиях (например, о пожарах под водой) и неестественно переходила с одной темы на другую. Эти слабые места языковых моделей активно изучаются исследователями в области обработки естественного языка.

В целом, для получения хорошей статьи GPT-2 требуется несколько попыток, причём их количество зависит от того, насколько модель знакома с контекстом. При написании текстов на популярные темы (книги, новости и поп-культура) хорошие результаты достигаются примерно в 50% случаев. Но на техническом или узконаправленном контенте нейросеть часто работает плохо. Больший контроль над генерируемыми образцами можно получить с помощью точной настройки — например, использовать для этого набор данных Amazon Reviews и заставить GPT-2 писать новостные обзоры.

Объёмные языковые модели гораздо легче настраивать на генерацию согласованного текста, который, в свою очередь, может быть использован как в полезных, так и во вредоносных целях. Ниже мы обсудим этот вопрос подробнее и расскажем о мнении создателей GPT-2 и ограничениях, которые они наложили на открытую версию нейросети.

Zero-shot

GPT-2 достигает одних из самых высоких результатов в определённых задачах языкового моделирования. Нейросеть не переобучалась на конкретных данных для какой-либо области и оценивалась на них в своём исходном состоянии — это называется zero-shot обучение. GPT-2 превосходит предметно-ориентированные модели при оценке на тех же наборах данных. В таблице ниже приведены результаты.

(+) — чем выше оценка, тем лучше. (-) — чем ниже, тем лучше.

При выполнении других языковых задач можно получить впечатляющие результаты даже без точной настройки, просто подсказав уже обученной модели правильный путь. Ниже представлены примеры ответов GPT-2 на вопросы и достигаемая точность:

Задача ответов на вопросы
Точность модели (отмечена синим)

GPT-2 справляется и с машинным переводом. Пример перевода фраз с французского на английский:

Перевод Fr->Eng с помощью GPT-2
Оценки BLUE

Поскольку все эти задачи относятся к языковому моделированию, можно ожидать, что в дальнейшем при увеличении объёма вычислений и данных нейросеть станет более точной. 

Фальсификация и спам: негативные последствия языковых моделей

Языковые модели могут восприниматься как в позитивном, так и в негативном ключе. Несмотря на то, что GPT-2 открывает большой потенциал для создания текстовых и голосовых помощников, её можно применить и в злонамеренных целях. Среди них:

— генерация фейковых новостей;

— попытки выдать себя за другого человека;

— создание оскорбительного и фальсифицированного контента для публикации в соцсетях;

— спам и фишинг.

Это не означает, что сейчас в интернете отсутствуют подобные вещи, но нейросети могут автоматизировать и ускорить их генерацию, тем самым существенно снизив затраты на производство. Лучше всего не воспринимать всерьёз недостоверный текст, на который можно наткнуться в Интернете. Точно также следует относиться и к изображениям, созданным с помощью Deep Fake.

Релиз GPT-2 и TabNine

Из-за перечисленных выше опасений по поводу использования языковых моделей разработчики GPT-2 выпустили только небольшую демо-версию GPT-2. Исходный набор данных, обучающий код и гиперпараметры отсутствуют в открытом доступе.

Но даже уменьшенная версия нейросети уже успела принести пользу: например, не так давно с её помощью был разработан инструмент для автозаполнения кода в текстовых редакторах TabNine. Он обучался примерно на двух миллионах файлов с GitHub и доступен для бесплатного использования.

Демонстрация автоподстановки в Python

⌘⌘⌘

Языковые модели могут принести большую пользу: от помощи людям с ограниченными возможностями до автоматизации рутинных задач. Они позволяют даже создавать текстовый образ конкретного человека: например, американский журналист разработал чат-бота с «разумом» своего отца, который умирал от рака.

Но использование таких нейросетей, несомненно, необходимо контролировать и принимать меры против злоумышленников. Разработчики GPT-2 считают, что этот вопрос нужно решать на законодательном уровне и создать инициативы по отслеживанию применения технологий искусственного интеллекта.

Что вы думаете по этому поводу? Принесут ли нейросети больше пользы, чем вреда, и нужно ли принимать меры по ограничению доступа к ним? Делитесь своими мыслями в комментариях.

С оригинальной статьёй можно ознакомиться в блоге OpenAI.

Domains weekly: месть Амазонии, победа Доткома и новости с полей битвы за .ORG

Domains weekly: месть Амазонии, победа Доткома и новости с полей битвы за .ORG

В очередном еженедельном дайджесте мы расскажем о протесте стран Амазонии против Amazon, выигранном споре за непродлённый вовремя домен и новых...
Read More
Support-гид: поиск ответов на вопросы по услугам REG.RU

Support-гид: поиск ответов на вопросы по услугам REG.RU

Что делать, когда возникает вопрос по работе сайта или онлайн-проекта? Можно попробовать найти решение в Google — но если проблема...
Read More
Domains weekly: конец стабильности .COM, детали продажи .ORG и сделки недели

Domains weekly: конец стабильности .COM, детали продажи .ORG и сделки недели

Из нового доменного дайджеста вы узнаете, может ли проигрыш спора за домен стать победой, чего ждать от повышения цен на...
Read More
PHP 7 или Как ускорить сайт за минуту без регистрации и СМС

PHP 7 или Как ускорить сайт за минуту без регистрации и СМС

Вы наверняка в курсе, что PHP удерживает лидерство среди языков, применяющихся для создания сайтов. В конце 2019 года версия PHP...
Read More
Приключенческая игра с самым опасным ИИ в мире

Приключенческая игра с самым опасным ИИ в мире

Долгие праздничные каникулы уже позади, но многим наверняка хочется ещё немного отдохнуть от серьёзных тем. Поэтому сегодня мы расскажем вам...
Read More
Новогодний чек-лист: не пропразднуй свой домен

Новогодний чек-лист: не пропразднуй свой домен

Не все задачи и дела подходят под фразу «А давайте уже после праздников». И те, что «горят прям горят», мы...
Read More
Domains weekly: рост Интернета, зона .AMAZON и домен на миллион

Domains weekly: рост Интернета, зона .AMAZON и домен на миллион

Приближаются праздники, и в доменной индустрии всё становится спокойнее… Или нет? Из последней подборки в этом году вы узнаете, насколько...
Read More
Итоги 2019 года в блоге REG.RU: создание сайтов, бэкапы, нейросети и UX‑дизайн

Итоги 2019 года в блоге REG.RU: создание сайтов, бэкапы, нейросети и UX‑дизайн

Год приближается к финишной прямой, и редакция блога, следуя тренду, подводит его итоги. Сегодня мы поделимся материалами, которые вы больше...
Read More
Стэнфордский курс: лекция 10. Рекуррентные нейронные сети

Стэнфордский курс: лекция 10. Рекуррентные нейронные сети

В прошлый раз мы рассказали о нескольких популярных свёрточных архитектурах и узнали об их влиянии на развитие машинного обучения. В...
Read More
Domains weekly: карта Интернет-мира, перспективы Китая и доменная зависть

Domains weekly: карта Интернет-мира, перспективы Китая и доменная зависть

Новая подборка новостей будет очень полезной для домейнеров. Насколько активно страны мира регистрируют сайты в своих национальных доменных зонах? Есть...
Read More