Нейросеть приписала нам опыт, которого у нас нет. Что мы теперь проверяем перед публикацией

Мы дали нейросети свои данные и попросили написать пост про сайты клиник. В готовом тексте нашлись три утверждения, которых в наших данных не было.

Текст при этом получился хороший: ровный, уверенный, без единой корявой фразы. Именно поэтому ошибки в нём легко пропустить.

Почему ошибка нейросети не похожа на ошибку

Мы ждали от модели корявых фраз, повторов, странных оборотов. Такое правится за минуту, и читатель это всё равно бы заметил.

Вышло иначе. Ошибки в тексте модели звучат так же уверенно, как правда. Выдуманный факт стоит в той же интонации, что и настоящий. Вычитка на стиль его не находит, потому что со стилем там всё в порядке.

Что именно модель дописала сама

Три вещи. Фразу о том, скольким клиникам мы якобы помогли. Конкретную сумму штрафа. И уголовное дело за утечку данных пациентов.

Ничего этого мы модели не давали. Она дописала это потому, что в похожих текстах обычно так пишут, и звучит правдоподобно. Модель не врёт нарочно. Она достраивает текст до привычного вида.

Первая мысль была очевидная: добавить в задание «пожалуйста, не выдумывай». Не сработало бы. Это всё равно что просить автора самому себя отредактировать. Поэтому проверки мы перенесли из просьбы к модели в код.

Проверка первая: каждое число должно иметь источник

Из готового текста вынимаются все числа. Каждое ищется в исходных данных, которые получила модель. Нет числа в источнике — текст уходит в брак, как бы убедительно это число ни звучало.

На этом же шаге ловятся ещё две вещи. Первая — недозаполненные заготовки: места, куда собирались что-то подставить, но забыли. Вторая — утверждения о нашем опыте, которых мы сами не заявляли.

Проверка вторая: закон и площадка

На некоторых площадках по закону нельзя размещать рекламу. Для них из текста вырезаются продающие признаки: цены, скидки, призывы купить.

Для медицины правила строже. Убираются обещания результата лечения и формулировки превосходства вроде «лучшая клиника». Модель вставляет их охотно: в рекламных текстах, на которых она училась, таких фраз полно.

Проверка третья: не повторяемся ли мы

Сначала мы сравнивали новые тексты со старыми по словам. Метрика говорила: всё уникально. Потом мы перечитали подряд шесть постов и увидели, что все они пересказывают одну мысль. Разными словами, поэтому сравнение по словам их и пропустило.

Пришлось сравнивать по смыслу. Из нового текста вынимаются утверждения и сверяются с тем, что уже выходило. Два совпадения — текст в брак. Читатель не обязан второй раз читать то, что уже читал.

Где все три проверки бессильны

Самый дорогой урок мы получили не от модели, а от себя. Однажды мы сами записали в исходные данные наблюдения, которых на деле не делали. Фильтр их пропустил. Сработал он правильно: сверил текст с источником, и всё совпало. Неверным был сам источник.

Проверка сверяет текст с тем, что ей дали. Отличить правду от неправды в исходнике она не может. Если ошибка в источнике, фильтр пропустит её с чистой совестью.

Что из этого можно взять себе

Если вы уже пишете тексты для клиники с помощью нейросети, вот короткий порядок действий.

Сначала источник. Соберите, что вы знаете точно: услуги, факты, цифры из своих отчётов. Модель должна писать только из этого.

Потом числа. Каждую цифру в готовом тексте проверьте по источнику. Не нашли — убирайте, даже если она выглядит разумно.

Потом обещания. Для медицинской темы вычеркните всё, что обещает результат или ставит вас выше других.

Вывод

Нейросеть пишет быстро и гладко, и проверять её текст нужно отдельно. Проверку можно и нужно автоматизировать: числа, заготовки, юридические признаки, повторы. Но первую проверку автоматизировать нельзя. Человек смотрит, верен ли источник, и только потом кто-то смотрит на текст.

Так мы работаем со своими текстами. Так же подходим к сайтам клиник и ИИ-решениям, которые делаем для бизнеса: сначала проверяем, на каких данных всё стоит.