Как проверить, что текст написан нейросетью: обзор детекторов и ручных методов

Почему важно проверять текст на ИИ

С ростом популярности генеративных нейросетей всё больше текстов в интернете создаётся автоматически. Это касается не только статей, но и постов в соцсетях, откликов на вакансии, студенческих работ и коммерческих материалов. Проверка на ИИ становится необходимой по нескольким причинам.

Во-первых, поисковые системы негативно относятся к сгенерированному контенту. Например, Google может пессимизировать или вовсе удалить из выдачи сайты, где публикуются тексты, созданные нейросетями. Исследования показывают, что сайты, попавшие под фильтры, в большинстве случаев содержали признаки ИИ-генерации. Это напрямую влияет на трафик и доходы.

Во-вторых, нейросети склонны к галлюцинациям — они могут придумывать несуществующие факты, цифры и источники. Это связано с тем, что модель стремится дать ответ даже тогда, когда не знает его. В результате в тексте появляются ложные данные, что подрывает доверие читателей и репутацию автора.

В-третьих, пользователи часто негативно воспринимают явно машинный текст. Нейросети не создают принципиально новый контент, а перерабатывают существующий, поэтому в таких текстах много «воды» и общих фраз. Это снижает ценность материала и ухудшает пользовательский опыт.

Таким образом, проверка на ИИ — это не просто формальность, а способ защитить свой сайт, репутацию и время. Далее рассмотрим, какие инструменты и методы для этого существуют.

Как работают AI-детекторы: перплексия и бёрстность

Большинство AI-детекторов анализируют не смысл текста, а его статистические характеристики. Два ключевых параметра — перплексия и бёрстность.

Перплексия (perplexity) — это мера того, насколько предсказуемо каждое следующее слово в тексте. У нейросетей перплексия обычно низкая, потому что они выбирают наиболее вероятные продолжения. У человека текст более непредсказуем: мы используем редкие слова, неожиданные обороты и ломаем шаблоны.

Бёрстность (burstiness) — это неравномерность распределения сложности предложений. Человеческий текст обычно «рваный»: короткие фразы чередуются с длинными, сложность варьируется. Нейросети же выдают более ровный, монотонный ритм.

Детекторы обучаются на больших корпусах текстов, размеченных как «человеческие» и «машинные», и затем оценивают вероятность принадлежности нового текста к той или иной категории. Однако точность таких моделей сильно зависит от языка. Большинство детекторов обучены на английских текстах, поэтому на русском языке они работают хуже из-за особенностей морфологии и порядка слов.

Важно понимать, что детектор не даёт абсолютной истины — он лишь вычисляет вероятность. Поэтому результаты стоит интерпретировать с осторожностью и перепроверять.

Обзор популярных сервисов для проверки текста на ИИ

Существует множество сервисов, которые обещают определить, написан ли текст нейросетью. Рассмотрим наиболее известные и их особенности.

GPTZero — один из самых популярных детекторов. Он поддерживает проверку текстов до 5000 символов бесплатно, а также загрузку файлов. GPTZero показывает не только общий процент, но и выделяет фрагменты, которые, по его мнению, сгенерированы ИИ. Однако на русском языке точность может быть ниже, и он иногда ошибается даже на текстах, написанных человеком.

Crossplag — простой сервис без регистрации, позволяющий проверить до 3000 слов. Он даёт заключение: «человек», «ИИ» или «микс». Но, как показали тесты, Crossplag часто ошибается на больших текстах, считая их человеческими, а на маленьких — наоборот. Поэтому доверять ему можно с оговорками.

PR-CY — отечественный сервис, который неплохо справляется с русскоязычными текстами. Он даёт процент вероятности ИИ и вердикт. В тестах PR-CY показал хорошие результаты на коротких текстах, но на больших объёмах может ошибаться. Бесплатно доступно 10 проверок после регистрации, далее лимиты можно докупить.

Content at Scale — зарубежный сервис, который, по отзывам, неплохо работает с русским языком. Он показывает несколько графиков: процент роботизации, предсказуемость и совпадение с шаблонами. Есть бесплатный тариф с ограничениями.

Text.ru — известная биржа копирайтинга, которая добавила детектор ИИ в свой функционал. Однако он платный, и, по отзывам пользователей, часто даёт ложные срабатывания, помечая человеческие тексты как машинные.

AI Text Classifier от OpenAI — инструмент, созданный разработчиками ChatGPT. Он хорошо работает с английским, но на русском языке точность оставляет желать лучшего.

Также есть сервисы вроде НейроТекстер, RetextAi, СигмаЧат, Serpstat и UndetectableAi, которые могут быть полезны, но их результаты стоит перепроверять.

Важно помнить: ни один детектор не даёт 100% гарантии. Лучший подход — комбинировать несколько сервисов и анализировать текст вручную.

Ручные признаки сгенерированного текста

Прежде чем использовать сервисы, полезно научиться замечать признаки ИИ-генерации самостоятельно. Вот основные из них.

Вода и общие фразы. Нейросети часто пишут многословно, но без конкретики. Вступления и заключения могут быть «водянистыми», без фактов и цифр.

Повторы. ИИ склонен повторять одни и те же слова, конструкции и принципы построения предложений. Это заметно при внимательном чтении.

Странные формулировки. Нейросети иногда используют неестественные сравнения или метафоры, например «это как магический кристалл, который показывает...». Живой автор вряд ли так напишет.

Ошибки в согласовании. ИИ может допускать грамматические ошибки, например «текст для различных платформ — социальные сети» вместо «социальных сетей».

Большая буква после двоеточия. Это один из самых характерных признаков. Нейросети часто пишут с заглавной буквы после двоеточия, даже если это не требуется по правилам русского языка.

Однотипная структура абзацев. Если все абзацы примерно одинаковой длины и начинаются с отглагольных существительных, заканчиваясь двоеточием, это может указывать на генерацию.

Отсутствие личного опыта. Человек обычно вставляет примеры из жизни, личные наблюдения, эмоции. Нейросеть этого лишена.

Слишком гладкий стиль. Если текст идеально выверен, без единой шероховатости, это тоже подозрительно. Живая речь обычно содержит оговорки, уточнения, неожиданные переходы.

Эти признаки не являются абсолютными, но в совокупности они помогают выявить машинный текст.

Практические тесты детекторов: что показали эксперименты

Чтобы понять, насколько можно доверять детекторам, полезно посмотреть на реальные тесты. В одном из экспериментов автор взял текст, полностью сгенерированный нейросетью, и его отредактированную вручную версию, затем прогнал через несколько сервисов.

Crossplag не смог определить ни один из текстов, посчитав их человеческими. Однако при проверке по частям он на 100% определил неотредактированный фрагмент как машинный. Это говорит о том, что сервис плохо работает с большими объёмами.

GPTZero показал 30% вероятности ИИ для полностью сгенерированного текста и 37% для отредактированного. Это довольно низкие показатели, но сервис хотя бы выделил подозрительные фрагменты.

PR-CY на большом тексте дал 43% и заключение, что текст, скорее всего, не создан нейросетью. На коротком сгенерированном тексте он показал 69% — уже лучше. Отредактированный текст он посчитал человеческим (35%).

В другом тесте, проведённом авторами «Нейроведа», смешанный текст (треть — человек, остальное — нейросеть) был проверен шестью сервисами. Результаты: НейроТекстер — 78%, RetextAi — 65%, TextRu — 71%, СигмаЧат — 82%, Serpstat — общая оценка без деталей, UndetectableAi — 60%. При этом RetextAi перепутал человеческую и машинную части.

Эти эксперименты показывают, что ни один сервис не идеален. Лучший результат достигается при комбинировании нескольких детекторов: в одном из тестов связка из трёх лучших дала точность 92%.

Проблема ложных срабатываний: когда детекторы ошибаются

Одна из главных проблем AI-детекторов — ложные срабатывания, когда текст, написанный человеком, помечается как машинный. Это происходит чаще, чем хотелось бы.

Особенно уязвимы тексты с чёткой структурой: официальные документы, ГОСТы, технические описания, юридические формулировки. Формальный стиль снижает бёрстность, и алгоритм принимает это за признак генерации.

Цитаты и устойчивые выражения также часто помечаются как «подозрительные». Переведённые тексты (даже если перевод делал человек) получают повышенный процент ИИ из-за упрощённой грамматики.

Короткие тексты (до 300 знаков) дают нестабильные результаты — разные сервисы могут противоречить друг другу.

Известен случай в австралийском университете, где детектор выдал тысячи ложных срабатываний на студенческих работах, написанных самостоятельно. После разбирательства вуз отключил автоматическую блокировку, оставив только рекомендательную функцию.

Пользователи жалуются, что из-за ложных срабатываний они теряют заказы и время. Например, один из комментаторов рассказал, что переписывал вступительный абзац десять раз, но детектор Text.ru всё равно считал его ИИ, пока он не добавил нецензурную лексику.

Поэтому к результатам детекторов нужно относиться критически и всегда перепроверять.

Как сделать текст более «человечным»: легитимные способы

Если вы используете нейросеть как помощника, но хотите, чтобы текст не выглядел машинным, есть легитимные способы его улучшить, не искажая смысл.

Разбивайте длинные предложения. Нейросети часто пишут длинные, сложные предложения. Разбейте их на два-три коротких — это сделает текст более естественным.

Добавляйте разговорные вставки. Уточнения, оговорки, вводные слова вроде «кстати», «честно говоря», «по сути» делают текст живым.

Используйте синонимы. Замените повторяющиеся слова и конструкции на синонимы, чтобы избежать монотонности.

Вставляйте уникальные метафоры и сравнения. Нейросети редко создают по-настоящему оригинальные образы, поэтому ваши собственные сравнения сделают текст уникальным.

Чередуйте длину абзацев. Пусть один абзац будет коротким, другой — длинным. Это повышает бёрстность.

Добавьте личный опыт. Если это уместно, вставьте пример из своей жизни или профессиональной практики. Это сразу сделает текст «человечнее».

В одном из экспериментов автор попросил нейросеть переписать текст по инструкции: разбить длинные предложения, добавить разговорные вставки, заменить повторы. В результате показатель детекции упал с 82% до 34% при полном сохранении содержания.

Важно: эти методы не предназначены для обмана антиплагиата, а лишь помогают сделать текст качественнее и естественнее.

Чек-лист для быстрой оценки текста без сервисов

Если нужно быстро оценить текст, не прибегая к онлайн-сервисам, можно использовать простой чек-лист. Он не даст точного ответа, но поможет выявить явные признаки генерации.

• Водянистые вступления и заключения. Если начало и конец текста состоят из общих фраз без конкретики, это подозрительно.
• Избыточные конструкции вроде «во-первых», «во-вторых», «в заключение». Нейросети любят такие маркеры.
• Одинаковая длина абзацев. Если все абзацы примерно одинаковые, это может указывать на машинную генерацию.
• Отсутствие логических скачков. Человек часто делает неожиданные выводы, отвлекается, возвращается к теме. Нейросеть пишет слишком гладко.
• Слишком выверенный стиль. Если в тексте нет ни одной шероховатости, это подозрительно.
• Повторы слов и конструкций. Обратите внимание на частоту повторяющихся слов.
• Большая буква после двоеточия. Этот признак уже упоминался, но он очень показателен.

Этот чек-лист полезен для первичной оценки, но не заменяет детекторы. Комбинируйте оба подхода для лучшего результата.

Ограничения и рекомендации по использованию детекторов

AI-детекторы — полезный инструмент, но у них есть серьёзные ограничения, которые нужно учитывать.

Во-первых, они не дают 100% гарантии. Результат — это лишь вероятность, а не факт. Поэтому не стоит принимать решения только на основе процента.

Во-вторых, точность сильно зависит от языка. Большинство моделей обучены на английском, поэтому на русском они работают хуже. Это подтверждают многочисленные тесты.

В-третьих, детекторы могут ошибаться на коротких текстах, формальных документах и переводах. Ложные срабатывания — распространённая проблема.

Рекомендации:

• Используйте несколько сервисов одновременно и сравнивайте результаты. Если большинство указывает на ИИ, это повод задуматься.
• Проверяйте текст по частям, особенно если он большой. Это повышает точность.
• Не полагайтесь только на детекторы — анализируйте текст вручную по признакам, описанным выше.
• Если вы заказчик, помните, что детектор — не приговор. Обсудите результат с автором, возможно, это ложное срабатывание.
• Если вы автор, и детектор ошибочно пометил ваш текст, попробуйте объяснить это заказчику, показав черновики или другие доказательства.

В целом, детекторы — это помощники, а не судьи. Используйте их с умом.

Будущее детекции ИИ-текстов

Технологии генерации текстов развиваются стремительно, и детекторы тоже не стоят на месте. Однако гонка между генераторами и детекторами будет продолжаться.

С одной стороны, нейросети становятся всё более совершенными, их тексты всё труднее отличить от человеческих. Уже сейчас есть модели, которые могут имитировать стиль конкретного автора, использовать личный опыт и даже допускать «естественные» ошибки.

С другой стороны, детекторы также улучшаются. Они обучаются на новых данных, учитывают особенности разных языков, разрабатывают более сложные алгоритмы. Возможно, в будущем появятся методы, основанные на анализе семантики, а не только статистики.

Однако есть и скептики, которые считают, что идеальный детектор невозможен в принципе, потому что человеческий текст слишком разнообразен. Уже сейчас детекторы дают ложные срабатывания на официальных документах, и эта проблема вряд ли исчезнет.

В образовании и бизнесе всё чаще говорят о том, что нужно не запрещать ИИ, а учить использовать его этично. Возможно, вместо детекторов будут внедряться системы, которые оценивают качество и оригинальность текста, а не его происхождение.

Пока же лучший подход — сочетать автоматические проверки с ручным анализом и здравым смыслом.

Вопросы и ответы