Искусственный интеллект как двигатель, люди как руль
София: Виталик, основатель Эфириума
Составление: Bai Shui, золото финансов
Если вы спросите людей, какие аспекты демократической структуры они предпочитают, будь то правительство, рабочее место или DAO на основе блокчейна, вы часто услышите одни и те же аргументы: они избегают концентрации власти, они дают пользователям сильную уверенность в том, что никто не может полностью изменить направление системы по своему желанию, и они могут принимать более качественные решения, собирая мнения и мудрость многих людей.
Если спросить людей, что именно им не нравится в демократической структуре, они часто выскажут одни и те же жалобы: обычные избиратели недостаточно опытны, так как у каждого избирателя лишь маленький шанс повлиять на результат, мало кто избирателей прилагает качественное мышление при принятии решений, а также часто наблюдается низкая активность (что делает систему уязвимой для атак) или фактическая централизация, так как каждый по умолчанию доверяет и копирует точки зрения влиятельных людей.
Цель этой статьи - исследовать парадигму, которая, возможно, позволит использовать искусственный интеллект для извлечения выгоды из демократической структуры без негативных последствий. «ИИ - это двигатель, человек - это руль». Человек предоставляет системе лишь небольшое количество информации, возможно, всего несколько сотен, но все они тщательно продуманы и высокого качества. ИИ рассматривает эти данные как «целевую функцию» и неустанно принимает множество решений, стремясь максимально достичь этих целей. В частности, в этой статье будет исследован интересный вопрос: можем ли мы добиться этого без централизации отдельного ИИ, а опираясь на конкурентный открытый рынок, в котором могут свободно участвовать любые ИИ (или гибриды человек-машина)?
каталог
Почему бы просто не позволить ИИ взять на себя ответственность?
Футархия
Дистилляция человеческого суждения
Глубокое финансирование (Deep funding)
Увеличить конфиденциальность
Преимущества дизайна двигателя + руля
Почему бы просто не поручить это искусственному интеллекту?
Самый простой способ включить человеческие предпочтения в механизм на основе ИИ — это создать модель ИИ и заставить людей каким-то образом вводить в нее свои предпочтения. Есть простой способ сделать это: вы можете просто поместить текстовый файл, содержащий список инструкций людей, в системную командную строку. Затем вы можете использовать одну из многих «прокси-платформ ИИ», чтобы предоставить ИИ доступ к Интернету, дать ему ключи к активам вашей организации и профилям в социальных сетях, и все готово.
После нескольких итераций этого может быть достаточно для многих сценариев использования, и я полностью ожидаю, что в ближайшем будущем мы увидим множество структур, в которых ИИ будет считывать инструкции, данные группами (или даже читать групповые чаты в режиме реального времени), и предпринимать действия.
Эта структура не является идеальным механизмом управления для долгосрочных учреждений. Одним из ценных свойств, которым должны обладать долгосрочные учреждения, является доверие и нейтральность. В моем посте, в котором я представляю эту концепцию, я перечислил четыре ценных свойства доверия и нейтральности.
Не включайте конкретных людей или конкретные результаты в механизм
Открытое и проверяемое публично выполнение
Держи просто
Не часто меняйте
LLM (или AI агент) удовлетворяет 0/4. Эта модель неизбежно кодирует большое количество конкретных предпочтений людей и результатов в процессе своего обучения. Иногда это может привести к удивительным предпочтениям AI, например, недавнее исследование показало, что основное внимание LLM уделяется жизни в Пакистане, а не в США (!!). Он может быть открытым весом, но это далеко не open source; мы действительно не знаем, что скрывается в глубинах модели. Он противоположен простоте: Колмогорова сложность LLM составляет сотни миллиардов бит, примерно равносильно сумме всех американских законов (федеральных + штатов + местных). И из-за быстрого развития AI вам придется менять его каждые три месяца.
Поэтому я поддерживаю другой подход, который исследуется во многих случаях: сделать простой механизм игровым правилом и сделать ИИ игроком. Именно это проницательность делает рынок настолько эффективным: правила - это относительно глупая система прав собственности, краевые случаи разрешаются судебной системой, которая медленно накапливает и корректирует прецеденты, и вся информация поступает от предпринимателей, работающих на краю.
Отдельный «игрок» может быть LLM, взаимодействующая и вызывающая различные интернет-сервисы группа LLM, различные комбинации искусственного интеллекта и человека, а также множество других конструкций; в качестве конструктора механизмов вам не нужно знать. Идеальная цель - иметь механизм, который может работать автоматически - если цель этого механизма - выбор того, что финансировать, то он должен быть как можно ближе к награде за блоки биткоина или эфира.
Преимущества такого подхода:
Он предотвращает включение в механизм любой единственной модели; вместо этого вы получите открытый рынок, состоящий из множества различных участников и архитектур, у каждого из которых есть свои собственные предубеждения. Открытые модели, закрытые модели, агентские группы, смешанные группы людей и ИИ, роботы, бесконечные обезьяны и т. д. - это все справедливая игра; этот механизм не дискриминирует никого.
Этот механизм является открытым. Хотя игроки и нет, игра открыта - и это уже довольно хорошо понятная модель (например, партии и рынки работают таким образом)
Данная система довольно проста, поэтому способы внедрения собственных предвзятостей в конструкцию, выбранные разработчиком системы, относительно немного
Механизм не изменится, даже если архитектуру базовых участников нужно будет переделывать каждые три месяца с сегодняшнего дня и до сингулярности.
Цель механизма наставничества – достоверно отразить фундаментальные цели участников. Он должен предоставить лишь небольшое количество информации, но это должна быть качественная информация.
Вы можете рассматривать этот механизм как использование асимметрии между представлением ответов и проверкой ответов. Это похоже на то, как сложно решить судоку, но легко проверить, правильно ли решение. Вы (i) создаете открытый рынок, где игроки выступают в роли 'решателей', а затем (ii) поддерживаете механизм, управляемый людьми, выполняющий гораздо более простые задачи проверки предложенных решений.
Футархия
Футархия была впервые предложена Робином Хансоном и означает "ставить на ценность, но ставить на веру". Механизм голосования выбирает набор целей (которые могут быть любыми целями, но они должны быть измеримыми), а затем объединяет их в метрику M. Когда вам нужно принять решение (для простоты предположим, что это ДА/НЕТ), вы создаете условный рынок: вы просите людей поставить (i) ставку на то, выберут ли они ДА или НЕТ, (ii) если выберут ДА, то значение M, в противном случае ноль, (iii) если выберут НЕТ, то значение M, в противном случае ноль. Имея эти три переменные, вы можете определить, считает ли рынок, что ДА или НЕТ более выгодны для значения M.
"Цена акций компании" (или, в случае криптовалют, цена токена) - самый часто упоминаемый показатель, поскольку он легко понимаем и измеряется, но этот механизм может поддерживать различные показатели: активные пользователи в месяц, медианный уровень субъективного чувства счастья определенных групп, некоторые количественно измеримые децентрализованные показатели и т. д.
Futarchy изначально был изобретен до эпохи искусственного интеллекта. Тем не менее, Futarchy прекрасно вписывается в парадигму «сложные решатели, простые валидаторы», описанную в предыдущем разделе, и трейдеры в Futarchy также могут быть искусственным интеллектом (или комбинацией человека + искусственного интеллекта). Роль «солвера» (предсказательного рыночного трейдера) заключается в том, чтобы определить, как каждый предложенный план повлияет на значение будущего индикатора. Это тяжело. Если решатель правильный, он зарабатывает деньги, а если он ошибается, он теряет деньги. Валидаторам (людям, которые голосуют за индикатор, если они замечают, что метрика «сфальсифицирована» или устарела, корректируют метрику и определяют фактическое значение метрики в какой-то момент в будущем) нужно ответить только на более простой вопрос «Каково значение метрики сейчас?».
дистилляция человеческого суждения
Дистилляция суждений человека - это тип механизма, принцип работы которого следующий. Требуется ответить на большое количество (допустим, 1000000) вопросов. Примеры включают:
Сколько баллов должен получить каждый человек из этого списка за свой вклад в проект или задачу?
Какие из этих комментариев нарушают правила социальной медиа-платформы (или подсайта)?
Какие из предоставленных адресов Ethereum представляют реальных и уникальных людей?
Какие из этих физических объектов вносят позитивный или негативный вклад в эстетику окружающей среды?
У вас есть команда, которая может ответить на эти вопросы, но это потребует значительных усилий на каждый ответ. Вы просите команду ответить только на небольшое количество вопросов (например, если в общем списке 1 миллион пунктов, команда может ответить только на 100 из них). Вы даже можете задавать команде косвенные вопросы: не спрашивайте "Какой процент от общего кредита должен получить Алиса?", а задавайте вопрос "Должны ли Алиса или Боб получить больше кредита, и во сколько раз?". При разработке механизма присяжных вы можете использовать проверенные временем механизмы из реального мира, такие как комитет по выделению средств, суд (определение стоимости решения), оценка и т. д. Конечно, участники присяжных также могут использовать новые инновационные инструменты исследования ИИ, чтобы помочь им найти ответы.
Затем вы разрешаете любому пользователю представить список числовых ответов на весь набор вопросов (например, предоставить оценку того, сколько баллов должен получить каждый участник за весь список). Участникам предлагается использовать искусственный интеллект для выполнения этой задачи, но они могут использовать любую технологию: искусственный интеллект, человеко-машинный гибрид, искусственный интеллект, который имеет доступ к поиску в Интернете и способен автономно нанимать других людей или работников искусственного интеллекта, кибернетически улучшенных обезьян и т. д.
Как только все поставщики полного списка и присяжные подадут свои ответы, список будет проверен в соответствии с ответами присяжных, и какая-то комбинация полного списка, наиболее совместимая с ответами присяжных, будет принята в качестве окончательного ответа.
Механизм человеческого суждения, основанный на дистилляции, отличается от футархии, но имеет некоторые важные сходства:
В futarchy «оракулы» делают прогнозы, и их прогнозы, основанные на «реальных данных» (используемых для награды или наказания оракулов), являются выходными показателями пророчества, запущенного жюри.
В дистиллированном человеческом суждении «решатель» дает ответы на большое количество вопросов, а «реальные данные», на которых основаны их прогнозы, — это высококачественные ответы на часть этих вопросов, предоставленные жюри.
Пример игрушки для выделения человеческих суждений для распределения кредитов см. код Python здесь. Сценарий просит вас выступить в качестве присяжного и включает в себя полный список сгенерированных искусственным интеллектом (и созданных человеком) людей, некоторые из которых предварительно включены в код. Механизм определяет линейную комбинацию, которая лучше всего подходит для полного списка ответов присяжных. В этом случае выигрышная комбинация составляет 0,199 * ответ Клода + 0,801 * ответ Deepseek; Эта комбинация больше соответствует ответу жюри, чем какая-либо отдельная модель. Эти коэффициенты также будут вознаграждением для коммиттеров.
В этом примере «победы над Сауроном» аспект «человека как руля» проявляется в двух местах. Во-первых, к каждому вопросу применяется высококачественное человеческое суждение, хотя при этом присяжные по-прежнему используются в качестве «технократического» оценщика эффективности. Во-вторых, существует неявный механизм голосования, который решает, является ли «победа над Сауроном» правильной целью (в отличие, скажем, от попыток сформировать союз с Сауроном или отдать ему всю территорию к востоку от определенной ключевой реки в качестве мирной уступки). Есть и другие примеры использования человеческого суждения, где задача жюри напрямую связана с ценностями: представьте, например, децентрализованную платформу социальных сетей (или субсообщество), где работа жюри заключается в том, чтобы помечать случайно выбранные сообщения на форуме как соответствующие или не соответствующие правилам сообщества.
В парадигме дистилляции человеческих суждений есть несколько открытых переменных:
Как проводить отборочные испытания? Полный список участников играет роль в предоставлении большого количества ответов; жюри играет роль в предоставлении ответов высокого качества. Нам нужно выбирать жюри таким образом и формулировать для них вопросы, чтобы способность модели сопоставлять ответы жюри максимально отражала их общую производительность. Некоторые факторы, которые следует учесть, включают:
Баланс между профессиональными знаниями и предвзятостью: опытные присяжные обычно специализируются в своей отрасли, поэтому выбор контента для оценки ими обеспечивает более высокое качество ввода. С другой стороны, избыток выбора может привести к предвзятости (присяжные предпочитают контент, связанный с ними) или слабостям выборки (некоторый контент систематически не оценивается).
Фэн Гудхарт: Существует контент, который пытается «играть» с механизмом искусственного интеллекта, например, участники генерируют огромное количество впечатляющего, но бесполезного кода. Это означает, что жюри может обнаружить это, но статические модели искусственного интеллекта не смогут обнаружить это, если они не приложат усилий. Один из возможных способов обнаружить такое поведение - добавить механизм вызова, с помощью которого люди могут помечать такие попытки, обеспечивая жюри возможность оценить их (что мотивирует разработчиков искусственного интеллекта убедиться, что они правильно их улавливают). Если жюри согласится, заявитель получит награду, если жюри не согласится, ему придется заплатить штраф.
Какую функцию оценки вы используете? Одна из идей, используемых в текущем пилотном проекте глубокой финансовой поддержки, заключается в том, чтобы спросить у судей 'A или B должен получить больше кредита, и насколько?'. Функция оценки имеет вид score(x) = sum((log(x[B]) - log(x[A]) - log(juror_ratio)) ** 2 для (A, B, juror_ratio) в jury_answers): другими словами, для каждого ответа жюри, оно сравнивает, насколько далеко отношение в полном списке относительно отношения, предоставленного жюри, и добавляет штраф, пропорциональный квадрату расстояния (в логарифмическом пространстве). Это показывает, что пространство проектирования функции оценки очень обширно, и выбор функции оценки зависит от того, какие вопросы вы задаете членам жюри.
Как вы вознаграждаете участников, предоставляющих полный список? В идеальном случае вы хотите часто предоставлять ненулевые вознаграждения нескольким участникам, чтобы избежать монопольного механизма, но вы также хотите удовлетворить следующие свойства: участники не могут увеличить вознаграждение, представив несколько раз одинаковые (или слегка измененные) наборы ответов. Одним из перспективных методов является прямое вычисление линейной комбинации полного списка ответов, наилучшим образом соответствующего жюри (коэффициенты неотрицательны и сумма равна 1), и использование этих же коэффициентов для разделения вознаграждения. Возможны и другие методы.
В целом, цель состоит в том, чтобы взять механизмы человеческих суждений, которые, как известно, работают, сведены к минимуму предвзятости и выдержали испытание временем (например, представьте, что состязательная структура судебной системы включает в себя две стороны спора, которые обладают большим количеством информации, но предвзяты, и судью, который обладает небольшим количеством информации, но может не быть предвзятым), и использовать открытый рынок ИИ в качестве достаточно точного и очень недорогого предиктора этих механизмов (аналогично тому, как работает модель великого пророчества «дистилляция»).
Глубокое финансирование
Глубинное финансирование заключается в том, чтобы применить суждение человеческой дистилляции для ответа на вопрос: «Какой процент кредита X принадлежит Y?». Задача взвешивания в верхней части графика.
Самым простым способом является непосредственное использование примера:
Результат двухуровневого примера глубокого финансирования: Истоки идей Ethereum. Ознакомьтесь с кодом Python здесь.
Цель здесь - наградить философский вклад в Ethereum. Давайте рассмотрим пример:
Смоделированный раунд глубокого финансирования, показанный здесь, дает 20,5% кредита движению шифропанков и 9,2% технологическому прогрессивизму.
В каждом узле вы столкнетесь с вопросом: насколько это оригинальный вклад (так что это заслуживает заслуги), насколько это пересборка других влияний из верхних слоев? Для криптопанк движения 40% является новым, 60% - зависимым.
Затем вы можете увидеть влияние этих узлов: либертарианство и анархизм внесли свой вклад в криптопанк движение на 17.3%, в то время как прямая демократия Швейцарии получила всего 5%.
Однако следует отметить, что либерализм малого правительства и анархизм также вдохновили философию денег биткойна, поэтому они двумя путями повлияли на философию эфириума.
Чтобы рассчитать общую долю вклада либерального малого правительства и анархизма в Ethereum, нужно перемножить ребра на каждом пути, а затем сложить пути вместе: 0,205 * 0,6 * 0,173 + 0,195 * 0,648 * 0,201 ~= 0,0466. Таким образом, если бы вам пришлось пожертвовать 100 долларов, чтобы вознаградить всех тех, кто внес свой вклад в философию Ethereum, либеральные мелкие правительственники и анархисты получили бы 4,66 доллара в соответствии с этим смоделированным раундом глубокого финансирования.
Предполагается, что этот подход применим к тем областям, где работа опирается на предыдущую работу и имеет высокую степень структурной ясности. Академические круги (например, графики цитирования) и программное обеспечение с открытым исходным кодом (например, библиотечные зависимости и форки) являются двумя естественными примерами.
Цель хорошо функционирующей системы глубокого финансирования - создать и поддерживать глобальный график, в котором любой спонсор, заинтересованный в поддержке конкретного проекта, может отправить средства на адрес, представляющий этот узел, и средства будут автоматически распространяться в соответствии с весом грани графа на его зависимости (и рекурсивно на их зависимости и т. д.).
Вы можете представить себе протокол децентрализованного управления, использующий встроенный механизм глубокого финансирования для выпуска своих токенов: децентрализованное управление внутри протокола выберет жюри, которое будет управлять механизмом глубокого финансирования, поскольку протокол автоматически выпускает токены и хранит их в узле, соответствующем самому себе. Таким образом, протокол программным образом вознаграждает всех своих прямых и косвенных участников, напоминая, как биткоин или эфириум вознаграждают определенный тип участников (майнеров). Путем влияния на вес краев жюри может постоянно определять типы участия, которые ему важны. Этот механизм может быть использован в качестве децентрализованной и долгосрочно устойчивой альтернативы майнингу, продажам или разовым воздушным капельницам.
Повышенная конфиденциальность
В целом, чтобы правильно судить о вопросах в приведенных выше примерах, вам необходимо иметь доступ к личной информации: внутренним журналам чатов вашей организации, сообщениям, тайно отправленным членами сообщества, и так далее. Одно из преимуществ использования только одного ИИ, особенно в небольших средах, заключается в том, что для одного ИИ более приемлемо получить доступ к информации, чем предоставить ее всем.
Для того, чтобы человеческое суждение или глубокое финансирование сработали в этих случаях, мы можем попытаться использовать криптографию, чтобы безопасно предоставить ИИ доступ к частной информации. Идея состоит в том, чтобы использовать многосторонние вычислительные (MPC), полностью гомоморфные (FHE) шифрования, доверенную среду выполнения (TEE) или аналогичные механизмы для предоставления конфиденциальной информации, но только в том случае, если его единственным выводом является "полный список коммитов", который попадает непосредственно в механику.
Если вы сделаете это, вам придется ограничить совокупность механизмов до модели ИИ (а не комбинации человека или ИИ + человека, потому что вы не можете дать людям доступ к данным), специфичных для моделей, работающих на определенных основах (например, MPC, FHE, доверенное аппаратное обеспечение). Одним из основных направлений исследований является поиск недавно достаточно эффективных и значимых практических версий.
Преимущества дизайна двигателя + рулевого управления
У такой конструкции есть много многообещающих преимуществ. Безусловно, самым важным преимуществом является то, что они позволяют создавать DAO, давая избирателям-людям контроль над направлением, но они не будут увязнуть в слишком большом количестве решений. Они достигают компромисса, при котором каждому не нужно принимать N решений, но у них есть возможность выйти за рамки простого принятия решения (как обычно работают делегаты) и выявить богатые предпочтения, которые трудно выразить напрямую.
Кроме того, такой механизм, по-видимому, имеет стимулирующую характеристику сглаживания. Под «сглаживанием стимулов» я имею в виду комбинацию двух факторов:
Распространение: ни одно отдельное действие, принятое механизмом голосования, не окажет слишком большого влияния на интересы отдельного участника.
Хаос: связь между голосованием и его влиянием на интересы участников становится более сложной и трудной для вычисления.
Термины «обфускация» и «диффузия» взяты из криптографии, которая является ключевым свойством криптографической безопасности и безопасности хеш-функций.
Хорошим примером сглаживания стимулов в сегодняшнем реальном мире является верховенство закона: вместо того, чтобы регулярно предпринимать действия в виде «200 миллионов долларов для компании Элис», «100 миллионов долларов для компании Боба» на регулярной основе, верхушка правительства принимает правила, предназначенные для равномерного применения к большому количеству участников, которые затем интерпретируются другой группой акторов. Когда такой подход работает, преимущество заключается в том, что он значительно снижает выгоды от взяточничества и других форм коррупции. Когда она нарушается, что часто случается на практике, эти проблемы быстро значительно увеличиваются.
ИИ, по-видимому, станет важной составляющей будущего, что неизбежно станет важной частью будущего управления. Однако, если вы вовлечете ИИ в управление, это сопряжено с явными рисками: у ИИ есть предвзятость, его могут намеренно разрушить в процессе обучения, а развитие технологий ИИ настолько быстро, что «дать власть ИИ» на самом деле может означать «дать власть тем, кто отвечает за повышение ИИ». Дистилляция человеческого суждения предоставляет альтернативный путь вперед, который позволяет нам использовать силу ИИ в рамках открытого свободного рынка, сохраняя при этом демократический контроль человека.
Особая благодарность Деваншу Мете, Давиде Крапису и Джулиану Завистовски за их отзывы и обзор, а также Тине Чжэнь, Шоу Уолтерсу и другим за их обсуждения.
Содержание носит исключительно справочный характер и не является предложением или офертой. Консультации по инвестициям, налогообложению или юридическим вопросам не предоставляются. Более подробную информацию о рисках см. в разделе «Дисклеймер».
Новый документ Виталика: новая парадигма управления в будущем "ИИ двигатель + человеческое рулевое колесо"
Искусственный интеллект как двигатель, люди как руль
София: Виталик, основатель Эфириума
Составление: Bai Shui, золото финансов
Если вы спросите людей, какие аспекты демократической структуры они предпочитают, будь то правительство, рабочее место или DAO на основе блокчейна, вы часто услышите одни и те же аргументы: они избегают концентрации власти, они дают пользователям сильную уверенность в том, что никто не может полностью изменить направление системы по своему желанию, и они могут принимать более качественные решения, собирая мнения и мудрость многих людей.
Если спросить людей, что именно им не нравится в демократической структуре, они часто выскажут одни и те же жалобы: обычные избиратели недостаточно опытны, так как у каждого избирателя лишь маленький шанс повлиять на результат, мало кто избирателей прилагает качественное мышление при принятии решений, а также часто наблюдается низкая активность (что делает систему уязвимой для атак) или фактическая централизация, так как каждый по умолчанию доверяет и копирует точки зрения влиятельных людей.
Цель этой статьи - исследовать парадигму, которая, возможно, позволит использовать искусственный интеллект для извлечения выгоды из демократической структуры без негативных последствий. «ИИ - это двигатель, человек - это руль». Человек предоставляет системе лишь небольшое количество информации, возможно, всего несколько сотен, но все они тщательно продуманы и высокого качества. ИИ рассматривает эти данные как «целевую функцию» и неустанно принимает множество решений, стремясь максимально достичь этих целей. В частности, в этой статье будет исследован интересный вопрос: можем ли мы добиться этого без централизации отдельного ИИ, а опираясь на конкурентный открытый рынок, в котором могут свободно участвовать любые ИИ (или гибриды человек-машина)?
каталог
Почему бы просто не позволить ИИ взять на себя ответственность?
Футархия
Дистилляция человеческого суждения
Глубокое финансирование (Deep funding)
Увеличить конфиденциальность
Преимущества дизайна двигателя + руля
Почему бы просто не поручить это искусственному интеллекту?
Самый простой способ включить человеческие предпочтения в механизм на основе ИИ — это создать модель ИИ и заставить людей каким-то образом вводить в нее свои предпочтения. Есть простой способ сделать это: вы можете просто поместить текстовый файл, содержащий список инструкций людей, в системную командную строку. Затем вы можете использовать одну из многих «прокси-платформ ИИ», чтобы предоставить ИИ доступ к Интернету, дать ему ключи к активам вашей организации и профилям в социальных сетях, и все готово.
После нескольких итераций этого может быть достаточно для многих сценариев использования, и я полностью ожидаю, что в ближайшем будущем мы увидим множество структур, в которых ИИ будет считывать инструкции, данные группами (или даже читать групповые чаты в режиме реального времени), и предпринимать действия.
Эта структура не является идеальным механизмом управления для долгосрочных учреждений. Одним из ценных свойств, которым должны обладать долгосрочные учреждения, является доверие и нейтральность. В моем посте, в котором я представляю эту концепцию, я перечислил четыре ценных свойства доверия и нейтральности.
Не включайте конкретных людей или конкретные результаты в механизм
Открытое и проверяемое публично выполнение
Держи просто
Не часто меняйте
LLM (или AI агент) удовлетворяет 0/4. Эта модель неизбежно кодирует большое количество конкретных предпочтений людей и результатов в процессе своего обучения. Иногда это может привести к удивительным предпочтениям AI, например, недавнее исследование показало, что основное внимание LLM уделяется жизни в Пакистане, а не в США (!!). Он может быть открытым весом, но это далеко не open source; мы действительно не знаем, что скрывается в глубинах модели. Он противоположен простоте: Колмогорова сложность LLM составляет сотни миллиардов бит, примерно равносильно сумме всех американских законов (федеральных + штатов + местных). И из-за быстрого развития AI вам придется менять его каждые три месяца.
Поэтому я поддерживаю другой подход, который исследуется во многих случаях: сделать простой механизм игровым правилом и сделать ИИ игроком. Именно это проницательность делает рынок настолько эффективным: правила - это относительно глупая система прав собственности, краевые случаи разрешаются судебной системой, которая медленно накапливает и корректирует прецеденты, и вся информация поступает от предпринимателей, работающих на краю.
Отдельный «игрок» может быть LLM, взаимодействующая и вызывающая различные интернет-сервисы группа LLM, различные комбинации искусственного интеллекта и человека, а также множество других конструкций; в качестве конструктора механизмов вам не нужно знать. Идеальная цель - иметь механизм, который может работать автоматически - если цель этого механизма - выбор того, что финансировать, то он должен быть как можно ближе к награде за блоки биткоина или эфира.
Преимущества такого подхода:
Он предотвращает включение в механизм любой единственной модели; вместо этого вы получите открытый рынок, состоящий из множества различных участников и архитектур, у каждого из которых есть свои собственные предубеждения. Открытые модели, закрытые модели, агентские группы, смешанные группы людей и ИИ, роботы, бесконечные обезьяны и т. д. - это все справедливая игра; этот механизм не дискриминирует никого.
Этот механизм является открытым. Хотя игроки и нет, игра открыта - и это уже довольно хорошо понятная модель (например, партии и рынки работают таким образом)
Данная система довольно проста, поэтому способы внедрения собственных предвзятостей в конструкцию, выбранные разработчиком системы, относительно немного
Механизм не изменится, даже если архитектуру базовых участников нужно будет переделывать каждые три месяца с сегодняшнего дня и до сингулярности.
Цель механизма наставничества – достоверно отразить фундаментальные цели участников. Он должен предоставить лишь небольшое количество информации, но это должна быть качественная информация.
Вы можете рассматривать этот механизм как использование асимметрии между представлением ответов и проверкой ответов. Это похоже на то, как сложно решить судоку, но легко проверить, правильно ли решение. Вы (i) создаете открытый рынок, где игроки выступают в роли 'решателей', а затем (ii) поддерживаете механизм, управляемый людьми, выполняющий гораздо более простые задачи проверки предложенных решений.
Футархия
Футархия была впервые предложена Робином Хансоном и означает "ставить на ценность, но ставить на веру". Механизм голосования выбирает набор целей (которые могут быть любыми целями, но они должны быть измеримыми), а затем объединяет их в метрику M. Когда вам нужно принять решение (для простоты предположим, что это ДА/НЕТ), вы создаете условный рынок: вы просите людей поставить (i) ставку на то, выберут ли они ДА или НЕТ, (ii) если выберут ДА, то значение M, в противном случае ноль, (iii) если выберут НЕТ, то значение M, в противном случае ноль. Имея эти три переменные, вы можете определить, считает ли рынок, что ДА или НЕТ более выгодны для значения M.
"Цена акций компании" (или, в случае криптовалют, цена токена) - самый часто упоминаемый показатель, поскольку он легко понимаем и измеряется, но этот механизм может поддерживать различные показатели: активные пользователи в месяц, медианный уровень субъективного чувства счастья определенных групп, некоторые количественно измеримые децентрализованные показатели и т. д.
Futarchy изначально был изобретен до эпохи искусственного интеллекта. Тем не менее, Futarchy прекрасно вписывается в парадигму «сложные решатели, простые валидаторы», описанную в предыдущем разделе, и трейдеры в Futarchy также могут быть искусственным интеллектом (или комбинацией человека + искусственного интеллекта). Роль «солвера» (предсказательного рыночного трейдера) заключается в том, чтобы определить, как каждый предложенный план повлияет на значение будущего индикатора. Это тяжело. Если решатель правильный, он зарабатывает деньги, а если он ошибается, он теряет деньги. Валидаторам (людям, которые голосуют за индикатор, если они замечают, что метрика «сфальсифицирована» или устарела, корректируют метрику и определяют фактическое значение метрики в какой-то момент в будущем) нужно ответить только на более простой вопрос «Каково значение метрики сейчас?».
дистилляция человеческого суждения
Дистилляция суждений человека - это тип механизма, принцип работы которого следующий. Требуется ответить на большое количество (допустим, 1000000) вопросов. Примеры включают:
Сколько баллов должен получить каждый человек из этого списка за свой вклад в проект или задачу?
Какие из этих комментариев нарушают правила социальной медиа-платформы (или подсайта)?
Какие из предоставленных адресов Ethereum представляют реальных и уникальных людей?
Какие из этих физических объектов вносят позитивный или негативный вклад в эстетику окружающей среды?
У вас есть команда, которая может ответить на эти вопросы, но это потребует значительных усилий на каждый ответ. Вы просите команду ответить только на небольшое количество вопросов (например, если в общем списке 1 миллион пунктов, команда может ответить только на 100 из них). Вы даже можете задавать команде косвенные вопросы: не спрашивайте "Какой процент от общего кредита должен получить Алиса?", а задавайте вопрос "Должны ли Алиса или Боб получить больше кредита, и во сколько раз?". При разработке механизма присяжных вы можете использовать проверенные временем механизмы из реального мира, такие как комитет по выделению средств, суд (определение стоимости решения), оценка и т. д. Конечно, участники присяжных также могут использовать новые инновационные инструменты исследования ИИ, чтобы помочь им найти ответы.
Затем вы разрешаете любому пользователю представить список числовых ответов на весь набор вопросов (например, предоставить оценку того, сколько баллов должен получить каждый участник за весь список). Участникам предлагается использовать искусственный интеллект для выполнения этой задачи, но они могут использовать любую технологию: искусственный интеллект, человеко-машинный гибрид, искусственный интеллект, который имеет доступ к поиску в Интернете и способен автономно нанимать других людей или работников искусственного интеллекта, кибернетически улучшенных обезьян и т. д.
Как только все поставщики полного списка и присяжные подадут свои ответы, список будет проверен в соответствии с ответами присяжных, и какая-то комбинация полного списка, наиболее совместимая с ответами присяжных, будет принята в качестве окончательного ответа.
Механизм человеческого суждения, основанный на дистилляции, отличается от футархии, но имеет некоторые важные сходства:
В futarchy «оракулы» делают прогнозы, и их прогнозы, основанные на «реальных данных» (используемых для награды или наказания оракулов), являются выходными показателями пророчества, запущенного жюри.
В дистиллированном человеческом суждении «решатель» дает ответы на большое количество вопросов, а «реальные данные», на которых основаны их прогнозы, — это высококачественные ответы на часть этих вопросов, предоставленные жюри.
Пример игрушки для выделения человеческих суждений для распределения кредитов см. код Python здесь. Сценарий просит вас выступить в качестве присяжного и включает в себя полный список сгенерированных искусственным интеллектом (и созданных человеком) людей, некоторые из которых предварительно включены в код. Механизм определяет линейную комбинацию, которая лучше всего подходит для полного списка ответов присяжных. В этом случае выигрышная комбинация составляет 0,199 * ответ Клода + 0,801 * ответ Deepseek; Эта комбинация больше соответствует ответу жюри, чем какая-либо отдельная модель. Эти коэффициенты также будут вознаграждением для коммиттеров.
В этом примере «победы над Сауроном» аспект «человека как руля» проявляется в двух местах. Во-первых, к каждому вопросу применяется высококачественное человеческое суждение, хотя при этом присяжные по-прежнему используются в качестве «технократического» оценщика эффективности. Во-вторых, существует неявный механизм голосования, который решает, является ли «победа над Сауроном» правильной целью (в отличие, скажем, от попыток сформировать союз с Сауроном или отдать ему всю территорию к востоку от определенной ключевой реки в качестве мирной уступки). Есть и другие примеры использования человеческого суждения, где задача жюри напрямую связана с ценностями: представьте, например, децентрализованную платформу социальных сетей (или субсообщество), где работа жюри заключается в том, чтобы помечать случайно выбранные сообщения на форуме как соответствующие или не соответствующие правилам сообщества.
В парадигме дистилляции человеческих суждений есть несколько открытых переменных:
Как проводить отборочные испытания? Полный список участников играет роль в предоставлении большого количества ответов; жюри играет роль в предоставлении ответов высокого качества. Нам нужно выбирать жюри таким образом и формулировать для них вопросы, чтобы способность модели сопоставлять ответы жюри максимально отражала их общую производительность. Некоторые факторы, которые следует учесть, включают:
Баланс между профессиональными знаниями и предвзятостью: опытные присяжные обычно специализируются в своей отрасли, поэтому выбор контента для оценки ими обеспечивает более высокое качество ввода. С другой стороны, избыток выбора может привести к предвзятости (присяжные предпочитают контент, связанный с ними) или слабостям выборки (некоторый контент систематически не оценивается).
Фэн Гудхарт: Существует контент, который пытается «играть» с механизмом искусственного интеллекта, например, участники генерируют огромное количество впечатляющего, но бесполезного кода. Это означает, что жюри может обнаружить это, но статические модели искусственного интеллекта не смогут обнаружить это, если они не приложат усилий. Один из возможных способов обнаружить такое поведение - добавить механизм вызова, с помощью которого люди могут помечать такие попытки, обеспечивая жюри возможность оценить их (что мотивирует разработчиков искусственного интеллекта убедиться, что они правильно их улавливают). Если жюри согласится, заявитель получит награду, если жюри не согласится, ему придется заплатить штраф.
Какую функцию оценки вы используете? Одна из идей, используемых в текущем пилотном проекте глубокой финансовой поддержки, заключается в том, чтобы спросить у судей 'A или B должен получить больше кредита, и насколько?'. Функция оценки имеет вид score(x) = sum((log(x[B]) - log(x[A]) - log(juror_ratio)) ** 2 для (A, B, juror_ratio) в jury_answers): другими словами, для каждого ответа жюри, оно сравнивает, насколько далеко отношение в полном списке относительно отношения, предоставленного жюри, и добавляет штраф, пропорциональный квадрату расстояния (в логарифмическом пространстве). Это показывает, что пространство проектирования функции оценки очень обширно, и выбор функции оценки зависит от того, какие вопросы вы задаете членам жюри.
Как вы вознаграждаете участников, предоставляющих полный список? В идеальном случае вы хотите часто предоставлять ненулевые вознаграждения нескольким участникам, чтобы избежать монопольного механизма, но вы также хотите удовлетворить следующие свойства: участники не могут увеличить вознаграждение, представив несколько раз одинаковые (или слегка измененные) наборы ответов. Одним из перспективных методов является прямое вычисление линейной комбинации полного списка ответов, наилучшим образом соответствующего жюри (коэффициенты неотрицательны и сумма равна 1), и использование этих же коэффициентов для разделения вознаграждения. Возможны и другие методы.
В целом, цель состоит в том, чтобы взять механизмы человеческих суждений, которые, как известно, работают, сведены к минимуму предвзятости и выдержали испытание временем (например, представьте, что состязательная структура судебной системы включает в себя две стороны спора, которые обладают большим количеством информации, но предвзяты, и судью, который обладает небольшим количеством информации, но может не быть предвзятым), и использовать открытый рынок ИИ в качестве достаточно точного и очень недорогого предиктора этих механизмов (аналогично тому, как работает модель великого пророчества «дистилляция»).
Глубокое финансирование
Глубинное финансирование заключается в том, чтобы применить суждение человеческой дистилляции для ответа на вопрос: «Какой процент кредита X принадлежит Y?». Задача взвешивания в верхней части графика.
Самым простым способом является непосредственное использование примера:
Результат двухуровневого примера глубокого финансирования: Истоки идей Ethereum. Ознакомьтесь с кодом Python здесь.
Цель здесь - наградить философский вклад в Ethereum. Давайте рассмотрим пример:
Смоделированный раунд глубокого финансирования, показанный здесь, дает 20,5% кредита движению шифропанков и 9,2% технологическому прогрессивизму.
В каждом узле вы столкнетесь с вопросом: насколько это оригинальный вклад (так что это заслуживает заслуги), насколько это пересборка других влияний из верхних слоев? Для криптопанк движения 40% является новым, 60% - зависимым.
Затем вы можете увидеть влияние этих узлов: либертарианство и анархизм внесли свой вклад в криптопанк движение на 17.3%, в то время как прямая демократия Швейцарии получила всего 5%.
Однако следует отметить, что либерализм малого правительства и анархизм также вдохновили философию денег биткойна, поэтому они двумя путями повлияли на философию эфириума.
Чтобы рассчитать общую долю вклада либерального малого правительства и анархизма в Ethereum, нужно перемножить ребра на каждом пути, а затем сложить пути вместе: 0,205 * 0,6 * 0,173 + 0,195 * 0,648 * 0,201 ~= 0,0466. Таким образом, если бы вам пришлось пожертвовать 100 долларов, чтобы вознаградить всех тех, кто внес свой вклад в философию Ethereum, либеральные мелкие правительственники и анархисты получили бы 4,66 доллара в соответствии с этим смоделированным раундом глубокого финансирования.
Предполагается, что этот подход применим к тем областям, где работа опирается на предыдущую работу и имеет высокую степень структурной ясности. Академические круги (например, графики цитирования) и программное обеспечение с открытым исходным кодом (например, библиотечные зависимости и форки) являются двумя естественными примерами.
Цель хорошо функционирующей системы глубокого финансирования - создать и поддерживать глобальный график, в котором любой спонсор, заинтересованный в поддержке конкретного проекта, может отправить средства на адрес, представляющий этот узел, и средства будут автоматически распространяться в соответствии с весом грани графа на его зависимости (и рекурсивно на их зависимости и т. д.).
Вы можете представить себе протокол децентрализованного управления, использующий встроенный механизм глубокого финансирования для выпуска своих токенов: децентрализованное управление внутри протокола выберет жюри, которое будет управлять механизмом глубокого финансирования, поскольку протокол автоматически выпускает токены и хранит их в узле, соответствующем самому себе. Таким образом, протокол программным образом вознаграждает всех своих прямых и косвенных участников, напоминая, как биткоин или эфириум вознаграждают определенный тип участников (майнеров). Путем влияния на вес краев жюри может постоянно определять типы участия, которые ему важны. Этот механизм может быть использован в качестве децентрализованной и долгосрочно устойчивой альтернативы майнингу, продажам или разовым воздушным капельницам.
Повышенная конфиденциальность
В целом, чтобы правильно судить о вопросах в приведенных выше примерах, вам необходимо иметь доступ к личной информации: внутренним журналам чатов вашей организации, сообщениям, тайно отправленным членами сообщества, и так далее. Одно из преимуществ использования только одного ИИ, особенно в небольших средах, заключается в том, что для одного ИИ более приемлемо получить доступ к информации, чем предоставить ее всем.
Для того, чтобы человеческое суждение или глубокое финансирование сработали в этих случаях, мы можем попытаться использовать криптографию, чтобы безопасно предоставить ИИ доступ к частной информации. Идея состоит в том, чтобы использовать многосторонние вычислительные (MPC), полностью гомоморфные (FHE) шифрования, доверенную среду выполнения (TEE) или аналогичные механизмы для предоставления конфиденциальной информации, но только в том случае, если его единственным выводом является "полный список коммитов", который попадает непосредственно в механику.
Если вы сделаете это, вам придется ограничить совокупность механизмов до модели ИИ (а не комбинации человека или ИИ + человека, потому что вы не можете дать людям доступ к данным), специфичных для моделей, работающих на определенных основах (например, MPC, FHE, доверенное аппаратное обеспечение). Одним из основных направлений исследований является поиск недавно достаточно эффективных и значимых практических версий.
Преимущества дизайна двигателя + рулевого управления
У такой конструкции есть много многообещающих преимуществ. Безусловно, самым важным преимуществом является то, что они позволяют создавать DAO, давая избирателям-людям контроль над направлением, но они не будут увязнуть в слишком большом количестве решений. Они достигают компромисса, при котором каждому не нужно принимать N решений, но у них есть возможность выйти за рамки простого принятия решения (как обычно работают делегаты) и выявить богатые предпочтения, которые трудно выразить напрямую.
Кроме того, такой механизм, по-видимому, имеет стимулирующую характеристику сглаживания. Под «сглаживанием стимулов» я имею в виду комбинацию двух факторов:
Распространение: ни одно отдельное действие, принятое механизмом голосования, не окажет слишком большого влияния на интересы отдельного участника.
Хаос: связь между голосованием и его влиянием на интересы участников становится более сложной и трудной для вычисления.
Термины «обфускация» и «диффузия» взяты из криптографии, которая является ключевым свойством криптографической безопасности и безопасности хеш-функций.
Хорошим примером сглаживания стимулов в сегодняшнем реальном мире является верховенство закона: вместо того, чтобы регулярно предпринимать действия в виде «200 миллионов долларов для компании Элис», «100 миллионов долларов для компании Боба» на регулярной основе, верхушка правительства принимает правила, предназначенные для равномерного применения к большому количеству участников, которые затем интерпретируются другой группой акторов. Когда такой подход работает, преимущество заключается в том, что он значительно снижает выгоды от взяточничества и других форм коррупции. Когда она нарушается, что часто случается на практике, эти проблемы быстро значительно увеличиваются.
ИИ, по-видимому, станет важной составляющей будущего, что неизбежно станет важной частью будущего управления. Однако, если вы вовлечете ИИ в управление, это сопряжено с явными рисками: у ИИ есть предвзятость, его могут намеренно разрушить в процессе обучения, а развитие технологий ИИ настолько быстро, что «дать власть ИИ» на самом деле может означать «дать власть тем, кто отвечает за повышение ИИ». Дистилляция человеческого суждения предоставляет альтернативный путь вперед, который позволяет нам использовать силу ИИ в рамках открытого свободного рынка, сохраняя при этом демократический контроль человека.
Особая благодарность Деваншу Мете, Давиде Крапису и Джулиану Завистовски за их отзывы и обзор, а также Тине Чжэнь, Шоу Уолтерсу и другим за их обсуждения.