В 2023 году появилась практическая проблема. До этого, чтобы написать абзац, похожий на осмысленное рассуждение специалиста, нужно было думать. Структуру, словарь, иерархию доводов, ссылки собирал в голове тот, кто стоит за текстом. Потом всё это начали собирать машины, и собирают так, что отличить результат от письма эксперта теперь стоит отдельного труда.
Языковые модели — мощный инструмент, и я пользуюсь ими каждый день: проверяю код, перевожу, ищу литературу, набрасываю аргумент. Тревожит меня публичная речь: гладкую форму, похожую на экспертное письмо, в ней стали принимать за знание.
В русскоязычной публичной среде есть для этого хорошее старое слово: барыга. Человек, который перепродаёт термоядерный реактор с гаражной распродажи. Реактор настоящий, надписи правильные, инструкция во вкладыше приличная. Барыга не врёт. Он просто не понимает, что у него в руках, и не ответит ни на один уточняющий вопрос второго порядка. Раньше в серьёзных разговорах таких барыг было физически мало: не пускал порог входа. Сейчас порог опустился до подписки за двадцать долларов в месяц.
Симптомы
Текст, написанный машиной, и текст человека, который опирается на машину и сам не думает, читаются одинаково. Вот признаки.
— Автор ничем не рискует. Любой содержательный научный тезис устроен так: «вот условие, при котором я неправ». Барыжный текст этого условия не содержит никогда, потому что барыга не знает, при каком условии его тезис не работает.
— Гладкая полнота. Настоящее рассуждение спотыкается, отступает, ловит контрпримеры. Барыжный текст плывёт: он порождается как стилистически гладкая поверхность и никакой нагрузки, кроме стилистической, не держит.
— Имена без работы. В научном тексте Фристон, Тонони или Левин упоминаются по делу (вот что у них в работе, вот как это меняет аргумент), иначе упоминание лишнее. В барыжном имена служат сигналом «я в курсе», а сама работа упомянутого автора никак не используется.
— Нет чисел. Любой тезис о реальности где-то должен приземлиться в число: размер эффекта, статистическую мощность, диапазон, временной масштаб. Барыжный текст числа обходит, потому что на числах его можно проверить.
Что под этим лежит
Проверка «отличит ли читатель эссе из ChatGPT от человеческого» сегодня почти не работает: эссе хорошие, проверять факты вручную долго, редактор устаёт. Поэтому единственный фильтр, который масштабируется, — сам автор, и фильтровать ему приходится собственную позицию по теме, ещё до того, как он сел писать.
Эпистемическая гигиена в этом смысле — простая дисциплина. Перед публичным утверждением задайте себе четыре вопроса:
-
При каком условии я неправ? Если в ответе есть конкретный наблюдаемый исход, продолжайте. Если ответа нет, снимите утверждение.
-
Где это приземляется в число? Хотя бы в порядок величины: «10⁻⁴ от ширины эффекта», «10⁵ испытаний», «10² галактик». Без числа утверждение — риторика.
-
Какой контраргумент против меня самый сильный? Самый технический, какой только можно придумать, без соломенных чучел. Если вы не можете сформулировать его так, как сформулирует специалист, который придёт возражать, вы не понимаете предмет.
-
Что сделает контраргумент сильнее моего тезиса? Если ничего, тезис теологический. Если что-то, назовите это заранее.
Эти четыре вопроса нужны не для всех текстов: художественную прозу и личное эссе ими проверять бессмысленно. Но любой текст, который претендует на знание («вот как устроена реальность», «вот что показывает эксперимент», «вот что следует из теории»), должен пройти этот фильтр до публикации.
Зачем это мне самому
Этот текст я пишу прежде всего себе — и себе будущему, который через год растеряет дисциплину и начнёт публиковать гладкие, ни к чему не привязанные абзацы о сознании и физике. Когда это случится, эссе станет контрольной точкой: при каком условии я был неправ? где здесь число? какое возражение самое сильное? что сделает его сильнее меня?
По той же логике устроен весь сайт. Препринт выходит вместе с работающим кодом, который может перезапустить любой, а условия, при которых программа умирает, записаны прямо в рукописи. Эссе о PEAR и GCP описывает протокол, который ставит её под выстрел. Эссе о биоэлектрике Левина выдвигает биологическое предсказание, которое один лабораторный цикл либо подтвердит, либо опровергнет. Всё это — инфраструктура самопроверки, выстроенная вовне, потому что внутренняя проверка слабеет первой.
Чего я прошу у читателя
Только одного. Когда вы читаете текст, который заявляет знание о мире, мой или чей-то ещё, задайте автору хотя бы первый из четырёх вопросов: при каком условии вы были бы неправы? Если ответа нет, веса у текста нет, каким бы убедительным, изящным и богатым на цитаты он ни был. Это барыжный термояд.
Грамотный фасад подешевел, и фильтр переместился внутрь. Без него публичный разговор о реальности скоро перестанет иметь смысл. С ним у нас остаётся шанс отличить программу, которую можно проверить, от очередной красивой риторики.