ChatGPT: угроза для фрилансеров
Хотя некоторые работники избегают помощи чатботов, платформы принимают политику или технологии, препятствующие использованию искусственного интеллекта, что потенциально может сделать работу людей более сложной. Своим пониманием человеческого поведения мы обязаны, в частности, Бобу.
Фриланс на Mechanical Turk: часы в академических исследованиях
Иногда он проводит часы в качестве испытуемого в академических психологических исследованиях, заполняя анкеты на платформах крауд-работы, таких как Amazon's Mechanical Turk, где пользователи выполняют простые цифровые задания за небольшие деньги. В анкетах ему часто предлагается вспомнить, когда он чувствовал себя грустным, или изолированным, или еще что-нибудь подобное. Иногда печатать свои душещипательные истории снова и снова становится "очень монотонно", говорит он. Поэтому Боб просит ChatGPT излить ему вместо этого свой симулякр сердца.
Боб, назвавшийся псевдонимом, поскольку опасается, что его учетная запись будет приостановлена, говорит, что уважает исследования, в которые он вносит свой вклад, но не испытывает особых противоречий по поводу того, что ему иногда помогает искусственный интеллект. Подсказки, по-видимому, предназначены для создания определенного настроения, чтобы подготовить последующие вопросы, и "я могу настроить себя на этот лад", - говорит он. Кроме того, Бобу необходимо быть эффективным, поскольку он поддерживает себя работой с массой людей, иногда заполняя 20 опросов за один день, наряду с другими микрозадачами, такими как обучение чат-ботов.
По оценкам одного из исследований 2018 года, фрилансеры в среднем зарабатывают 2 долл. в час, включая время, потраченное на поиск заданий, хотя Боб зарабатывает значительно больше.
Похвала и подозрения: реакция на использование ChatGPT фрилансерами
Студенты, офисные работники, кодеры и мастера подземелий обращаются к инструментам генеративного ИИ, таким как ChatGPT, чтобы оптимизировать свою работу, что вызывает как похвалу, так и подозрения.
В настоящее время некоторые платформы принимают политику или технологии, направленные на предотвращение или обнаружение использования больших языковых моделей, таких как ChatGPT, хотя некоторые фрилансеры и исследователи утверждают, что необходимо соблюдать осторожность, чтобы избежать несправедливого обвинения работников, которые и так сталкиваются с нестабильностью.
Как ChatGPT помогает "механическим туркерам" с резюмированием текста
Препринт исследования ученых из Швейцарского федерального технологического института получил широкую огласку в прошлом месяце после того, как выяснилось, что более трети "механических туркеров" использовали ChatGPT для выполнения задания по резюмированию текста, предназначенного для измерения уровня человеческого понимания. Утверждение о том, что фрилансеры широко используют большие языковые модели, побудило некоторых работников и исследователей дать отпор, защищая честь крауд-работников и заявляя, что более четкие инструкции могли бы решить эту проблему.
Компания CloudResearch, помогающая ученым набирать участников онлайн исследований, провела собственную версию исследования и обнаружила, что ее предварительно отобранные работники использовали ChatGPT лишь в пятой части случаев. По словам соучредителя и главного исследователя Лейба Литмана, когда компания попросила людей не использовать искусственный интеллект, его использование практически полностью исчезло.
Одна из сотрудниц, которой за пятьдесят, активно участвующая в онлайновом сообществе туркеров, говорит, что многим из них и в голову не придет обманывать. "Люди, которых я знаю, честны до безобразия", - говорит она. По ее словам, фриланс может стать убежищем для людей, которым нравится организовывать работу на своих условиях, например, для интровертов или нейродивергентных людей. "Им и в голову не придет использовать ChatGPT для написания резюме, потому что это будет крайне неудовлетворительно", - говорит сотрудница, которая сама любит фриланс как способ избежать дискриминации по возрасту.
Другая сотрудница рассказала, что ей удавалось обеспечивать себя за счет Mechanical Turk, когда болезнь вынуждала ее работать дома. Она не хотела бы рисковать потерей дохода из-за приостановки работы аккаунта.
Хотя некоторые работники могут избегать искусственного интеллекта, для других соблазн использовать его вполне реален. По словам Боба, эта сфера деятельности может быть "собакой на съедение", что делает привлекательными инструменты экономии труда. Чтобы найти наиболее высокооплачиваемую работу, фрилансеры часто используют скрипты, которые отмечают прибыльные задания, изучают отзывы о заказчиках или присоединяются к более высокооплачиваемым платформам, которые проверяют работников и заказчиков.
Компания CloudResearch начала разработку собственного детектора ChatGPT
По словам соучредителя и технического директора Джонатана Робинсона, инструмент включает в себя перехват нажатий клавиш, постановку вопросов, на которые ChatGPT отвечает иначе, чем люди, и привлечение человека для анализа текстовых ответов в свободной форме.Другие утверждают, что исследователи должны сами позаботиться о создании доверительных отношений.
Джастин Сулик, исследователь когнитивных наук из Мюнхенского университета, использующий CloudResearch для поиска участников, считает, что элементарная порядочность - справедливая оплата труда и честное общение - помогает пройти долгий путь. Если работники уверены, что им все равно заплатят, заказчики могут просто спросить в конце опроса, использовал ли участник ChatGPT.
"Я считаю, что онлайн-работников несправедливо обвиняют в том, что они делают то, что постоянно делают офисные работники и ученые, а это всего лишь повышение эффективности нашего рабочего процесса", - говорит Сулик.
Как оплата влияет на использование ChatGPT фрилансерами
Али Алхатиб, исследователь в области социальных вычислений, считает, что более продуктивным было бы рассмотреть вопрос о том, как заниженная оплата труда фрилансеров может стимулировать использование таких инструментов, как ChatGPT.
"Исследователям необходимо создать условия, которые позволят работникам уделить время созерцанию", - говорит он.
Алхатиб приводит в пример работу исследователей из Стэнфорда, которые разработали код, отслеживающий длительность выполнения микрозадач, чтобы заказчики могли рассчитать, как платить минимальную зарплату.
Помочь может и креативный дизайн исследования. Когда Сулик и его коллеги хотели измерить иллюзию случайности - веру в причинно-следственную связь между несвязанными событиями, - они попросили участников перемещать мультяшную мышь по сетке, а затем угадывать, по каким правилам им достанется сыр. Участники, склонные к иллюзии, выбирали более гипотетические правила. По словам Сулика, отчасти это было сделано с целью поддержания интереса, чтобы Бобы мира не отключались. "И никто не собирается обучать модель ИИ только для того, чтобы играть в вашу конкретную игру".
Подозрительность, вызванная ChatGPT, может усложнить жизнь фрилансерам
Которые и так вынуждены остерегаться фишинговых афер, собирающих персональные данные с помощью фиктивных заданий, и тратить неоплачиваемое время на прохождение квалификационных тестов. После того как в 2018 г. на Mechanical Turk произошел всплеск некачественных данных, вызвавший панику среди ботов, увеличился спрос на инструменты наблюдения, позволяющие удостовериться в том, что работники являются теми, за кого себя выдают.
Фелим Брэдли, генеральный директор компании Prolific, британской платформы для фриланса, которая проверяет участников и заказчиков, говорит, что его компания начала работу над продуктом для выявления пользователей ChatGPT и их обучения или удаления. Некоторые инструменты обнаружения "могут быть достаточно инвазивными, если они не проводятся с согласия участников", - говорит он.Кроме того, детекторы могут быть неточными и, возможно, станут менее эффективными по мере совершенствования генераторов текстов.
Популярные инструменты, такие как предлагаемый стартапом GPTZ часто не могут правильно определить текст, написанный искусственным интеллектом, а ложные срабатывания чреваты наказанием честных работников. Швейцарские ученые, которые недавно провели вирусное исследование краудворкинга и ChatGPT, обнаружили, что готовый детектор работает плохо, и вместо этого создали собственную систему для выявления использования ChatGPT, которая включает регистрацию нажатий клавиш, что, по их мнению, "потенциально может нарушить конфиденциальность пользователей, если не принять надлежащих мер".
Подозрительность или неуверенность в том, что работники обратятся за помощью к искусственному интеллекту, может даже привести к снижению объемов работы.
Вениамин Веселовский, соавтор швейцарского исследования, говорит, что он и другие ученые пересматривают типы исследований, которые они проводят в Интернете. "Есть целый ряд экспериментов, которые мы больше не можем проводить на Mechanical Turk", - говорит он.
Габриэль Ленц, профессор политологии Калифорнийского университета в Беркли, проводящий исследования на платформе, настроен более оптимистично. Как и большинство исследований, его работы включают вопросы, призванные отловить участников, которые не обращают внимания или дают непоследовательные ответы на ключевые вопросы, и он полагает, что будут развиваться инструменты для отлова крупных пользователей языковых моделей. Обычно мошенничество приводит к появлению шума, который можно отфильтровать из исследования, говорит Ленц. Но если мошенники, использующие искусственный интеллект, вместо этого получают данные, удовлетворяющие требованиям исследователя, то исследования, возможно, придется перепроектировать или проводить в автономном режиме. В прошлом году исследователи обнаружили, что широко распространенные утверждения о том, что американцы поддерживают политическое насилие, оказались сильно завышенными, отчасти из-за дизайна опроса, который не учитывал случайных щелчков мыши у скучающих участников.
Последствия неспособности выявить обман с помощью ИИ могут быть весьма значительными.
Плохие данные могут исказить наше представление о мире, попав в публикуемые исследования, или даже исказить будущие системы искусственного интеллекта, которые часто создаются на основе данных, полученных от "толпы" и считающихся точными. Решение проблемы может лежать в основном в человеческой сфере.
"Укреплять доверие гораздо проще, чем участвовать в гонке вооружений ИИ со все более сложными алгоритмами для обнаружения все более сложного текста, созданного ИИ", - говорит Сулик.
По материалам https://www.wired.com
