Вам прислали статью, пост или студенческую работу, и надо понять, писал это человек или модель. Либо наоборот: текст вы написали сами, а заказчик или преподаватель прогнал его через детектор и получил вердикт «сгенерировано». Как проверить текст на ИИ, зависит от того, в какой из этих двух ситуаций вы оказались: и порядок действий, и доверие к результату в них разные.
Поводов для проверок стало больше потому, что генеративными моделями пользуются на работе уже массово. 37,5% работников в России владеют навыками работы с ИИ, причём у 22,7% уровень базовый [1]. Когда текст в компании или на курсе пишут десятки людей, у редактора и преподавателя появляется потребность понимать, кто писал конкретный текст.
С чего начать проверку текста на ИИ
Первым делом ответьте себе, зачем вам результат проверки: от этого зависит, сколько веса ему давать.
Редактору, который решает, брать ли текст в работу, вердикт детектора даёт мало: слабый текст виден по самому тексту, а сильный полезен независимо от того, как он получился. Преподавателю, который оценивает работу студента, детектор тоже не закрывает вопрос об авторстве: на выходе он выдаёт вероятность, и доказательством она не становится.
Дальше держитесь такого порядка, он защищает от поспешного вывода:
- Прогоните текст через два разных сервиса. Если сервисы разойдутся в оценке, само расхождение скажет вам о надёжности метода больше, чем любая из двух цифр по отдельности.
- Прочитайте текст глазами по редакторским признакам из раздела ниже. Человек ловит то, на что детектор не смотрит: пустые обобщения, отсутствие имён и конкретики, фактические неточности в гладких формулировках.
- Сопоставьте машинную оценку с собственным чтением и только после этого делайте вывод об авторстве.
Как работает детектор ИИ
Детектор ИИ делает одну простую вещь: считает, насколько текст предсказуем.
Языковая модель выбирает каждое следующее слово по вероятности: из всех подходящих вариантов она чаще берёт самый ожидаемый. Поэтому в сгенерированном тексте распределение выходит ровным: слова почти всегда близки к самым вероятным для своего места. Человек пишет иначе: он вставляет неожиданное слово, обрывает фразу, повторяется, уходит в сторону от темы. Детектор измеряет эту ровность и переводит её в вероятность машинного авторства.
Вторую половину работы делают разработчики детектора. Они собирают корпус человеческих текстов и корпус сгенерированных, а затем обучают классификатор отличать одни от других. Отсюда идёт главное ограничение детектора: он знает только те модели и те жанры, которые попали в обучающую выборку. Текст от модели, которая вышла позже, он распознаёт хуже.
Сервисы носят разные имена: детектор ИИ, нейродетектор, детектор нейросети, ИИ-детектор текстов. Под каждым из них работает одна и та же пара приёмов, то есть оценка предсказуемости плюс классификатор.
Почему детектор ошибается в обе стороны
Вероятность на выходе детектора означает ровно то, что написано: модель считает такой текст похожим на машинный. Детектор ошибается в обе стороны, и оба промаха встречаются в работе постоянно.
Под это попадает всё ровное и шаблонное: деловая переписка по регламенту, инструкции, научный текст с устойчивыми формулами вежливости, перевод, текст человека, который пишет на неродном языке. Такая проза предсказуема по построению, и детектор видит в ней ту же ровность, что и в генерации.
Достаточно переписать за моделью каждое третье предложение, добавить конкретные числа и имена, сломать ритм, и оценка падает. Поэтому вердикт «написал человек» ничего не доказывает: он говорит только то, что текст непредсказуем настолько, насколько этого ждут от человека.
Сравнить детекторы по точности на русском языке пока нечем. Независимых измерений нет, а проценты, которые публикуют сами сервисы на своих страницах, проверить невозможно: разработчик меряет свой продукт на своей выборке. Относитесь к цифре детектора как к мнению одного эксперта, у которого нет доступа к черновикам.
Что видит антиплагиат и чем он отличается от детектора ИИ
Проверка текста на антиплагиат и проверка на ИИ отвечают на разные вопросы, и путаница между ними стоит людям нервов.
Антиплагиат ищет совпадения с уже существующими текстами: он сравнивает вашу работу с индексом источников и показывает, какие фрагменты где встречались раньше. Сгенерированный текст такую проверку обычно проходит с высокой уникальностью, потому что модель собирает фразы заново вместо копирования готовых абзацев из интернета.
Детектор ИИ смотрит только на сам текст, без всякого сравнения с внешними источниками. Поэтому ответ на вопрос «видит ли антиплагиат нейросеть» зависит от того, о каком антиплагиате речь. У системы «Антиплагиат», через которую проходят студенческие работы в российских вузах, появился собственный модуль определения ИИ-генерации: в полном отчёте подсвечиваются участки, которые система считает сгенерированными. В отчёте видно и то, какая модель детектора проверяла текст: об этом сервис сообщал отдельной новостью.
Для студента это значит, что в отчёте стоят две независимые величины: уникальность текста и доля признаков машинного авторства. Работа может пройти проверку на уникальность почти полностью и одновременно получить высокий процент ИИ-генерации.
Как понять, что текст написан нейросетью, без сервисов
Редакторское чтение работает не хуже детектора, а в спорных случаях лучше, потому что человек видит смысл. Как понять, что текст написан ИИ, когда сервиса под рукой нет? Читайте его по четырём признакам ниже: они надёжнее всего отличают генерацию без правки от написанного вручную.
- Ровный ритм. Предложения примерно одной длины, абзацы одинаковой высоты, нет ни одной короткой фразы в три слова. В живом тексте ритм рваный: автор то разгоняется, то бросает мысль одним словом.
- Обобщения без имён, чисел и дат. Модель охотно пишет «многие компании», «эксперты отмечают», «значительно повышает эффективность», но не называет ни одной компании, ни одного эксперта, ни одного процента. Человек, который разбирается в теме, приводит конкретику, потому что она у него есть.
- Гладкие фактические ошибки. Генерация уверенно называет несуществующую версию продукта, смещает дату релиза на год, приписывает цитату не тому человеку. Формулировка при этом звучит убедительно. Эта гладкость и выдаёт машину: человек в таком месте обычно сомневается вслух или ставит оговорку.
- Пустые связки и симметрия. Перечисления ровно по три пункта, заголовки одной конструкции, фразы вида «важно отметить» и «в современном мире». Этот слой автор убирает правкой за полчаса, так что по нему одному судить нельзя.
Прочитай текст ниже как редактор. Найди все утверждения, где нет конкретики - без имени, числа, даты или названия. Выпиши их списком и к каждому задай вопрос, который помог бы автору добавить факт
Содержание
Как определить, что текст написан нейросетью, если ни черновиков, ни истории правок у вас на руках нет? Те же четыре признака работают и без них. Копирайтеру и маркетологу эти признаки нужны с другой стороны, чтобы свой текст не выглядел шаблонным.
Чем проверяют в России
Сервисов проверки много, и работают они по-разному, поэтому выбирайте под свою задачу. Сравните три проверенных варианта по тому, что каждый из них делает и кому доступен.
| Сервис | Что делает | Что известно про доступ |
|---|---|---|
| Модуль «Определение ИИ-генерации» в системе «Антиплагиат» | показывает участки, которые система считает сгенерированными, внутри обычного отчёта об уникальности | через вузовский или корпоративный доступ к системе |
| GigaCheck, Сбер | определяет, создан русскоязычный текст человеком или сгенерирован | демо-версия открыта на сайте продукта и в Telegram-боте; проверяются тексты от 20 до 1000 слов |
| ИИ-детектор текстов, text.ru | определяет, написан ли текст нейросетью | для незарегистрированных пользователей действует ограничение по числу проверок |
Запросы вида «проверка текста на ИИ бесплатно» выводят ещё на десятки зарубежных детекторов. У них есть своя сложность. Доступ к таким сервисам из России зависит от страны регистрации владельца, и список работающих меняется. А вставляя в чужую форму черновик клиента или работу студента, вы передаёте сервису текст, который вам не принадлежит: проверьте заранее, что условия сервиса это допускают.
Если ваш текст признали сгенерированным
Это самая обидная ситуация: текст вы написали сами, а детектор поставил высокий процент. Понятного порядка действий в такой ситуации почти нигде нет, поэтому держитесь шагов ниже.
Сохраните историю работы заранее. Google Документы и Яндекс Документы держат историю версий, а в Word есть журнал изменений. Черновик, где видно, как вы наращивали текст от плана к финалу, действует на заказчика и преподавателя сильнее любой встречной проверки. Заведите привычку писать в редакторе с историей, если ваши тексты кто-то проверяет.
Попросите перепроверку в другом сервисе. Разные детекторы учились на разных выборках и на одном тексте расходятся. Два расходящихся вердикта работают в вашу пользу, потому что показывают разброс самого метода.
Покажите, как шла работа. Предложите разобрать текст вслух: откуда взялся пример, почему структура сложилась такой, что осталось за кадром. Автор своего текста отвечает на такие вопросы без подготовки.
Перепишите самые ровные абзацы. Если текст действительно вышел шаблонным, добавьте в него конкретику: имя, число, собственное наблюдение, короткую фразу. Эта правка полезна сама по себе, потому что ровная проза читается скучно независимо от того, кто её написал.
Силы разумнее вложить в сам текст. Детекторы обновляют свои модели чаще, чем появляются рецепты их обхода, поэтому выигрывает тот, кто умеет писать конкретно и живо: этот навык работает и с детектором, и с живым редактором.
Вот мой текст и отчёт детектора с процентом ИИ-генерации. Покажи, какие абзацы выглядят самыми предсказуемыми по ритму и лексике, и объясни по каждому, что именно в нём ровно
Промпты для редактуры своего текста
Запросы ниже помогают довести собственный текст до состояния, в котором он не выглядит шаблонным. Скопируйте нужный и подставьте свой материал.
- Вычитка под живой ритм.
Проверь текст ниже на однообразие ритма. Найди подряд идущие предложения похожей длины и конструкции, покажи их цитатами и предложи для каждого более короткий или более длинный вариант. Смысл и факты не меняй. - Поиск пустых обобщений.
Найди в тексте ниже все утверждения без конкретики: без имени, числа, даты, названия компании или сервиса. Для каждого напиши, какого факта не хватает, чтобы утверждение стало проверяемым. - Проверка фактов и чисел.
Выпиши из текста ниже все числа, даты, названия продуктов и версий отдельным списком. Для каждого укажи, можно ли это проверить по открытому источнику, и отметь те, которые выглядят сомнительно. - Сверка с брифом.
Вот бриф на статью и готовый текст. Найди пункты брифа, которые в тексте не раскрыты или раскрыты одной фразой. Сделай таблицу: пункт брифа, где он в тексте, насколько полно раскрыт.
Частые вопросы
Коротко
Проверка текста на ИИ даёт вероятность, а степень доверия к ней зависит от задачи. Детектор уверенно ловит генерацию, которую не правили: ровную, обобщённую, без имён и чисел. На отредактированном тексте он теряется, а на шаблонной человеческой прозе ошибается в обратную сторону, поэтому ни один вердикт не работает как доказательство авторства.
Практический вывод простой. Проверяйте двумя сервисами и читайте текст сами, а если ваш текст пометили машинным, держите наготове историю версий. Навык различать ровную генерацию и живой текст пригодится и на работе: вакансии, где спрашивают навыки работы с ИИ, растут примерно в восемь раз быстрее рынка труда: 69% против 9% [2].
Разобраться в том, как модель строит текст, и научиться получать от неё материал с конкретикой помогают курсы Promptyka: там же показывают, как доводить сгенерированный черновик до публикуемого вида.
