Боты начали общаться на своем языке

Восстание машин: боты Facebook разговаривают между собой на своем языке

Facebook был вынужден закрыть одну из своих систем искусственного интеллекта после того, как работники обнаружили, что боты начали общаться на языке, который они не смогли понять.

Интернет-ресурс The Tech Time сообщает, что один из роботов, которого называют Боб сказал другому «I can can i i everything else» («Я могу могу я я все еще»). Ему ответил бот по имени Элис: «Balls have zero to me to me to me to me to me to me to me to me to» («Шары имеют ноль для меня для меня для меня для меня для меня для меня для меня для меня для»).

Предложения сначала могут показаться абсолютно бессмысленными, но исследователи говорят, что они на самом деле являются сокращениями, которые боты или «агенты диалога» научились использовать благодаря алгоритмам машинного обучения. Алгоритмы были созданы Лабораторией исследований искусственного интеллекта Facebook (сокращенно FAIR) в качестве способа улучшения бесед, которые чат-боты могут вести с людьми.

Попытка увеличить способности ботов в процессе общения привела к тому, что разработчики показали системе искусственного интеллекта, как создать свой язык. Со временем боты начали общаться друг с другом без участия людей. Поскольку в установках ботов не было прописано использования исключительно английского языка, Боб и Элис, судя по всему, отклонились от заданного сценария, чтобы лучше заключать сделки. Но это не все, чему они научились.

Корень зла

Но что плохого в том, что боты изобрели свой язык? Прежде всего, когда системы искусственного интеллекта используют собственный язык, люди не могут следить за тем, о чем именно говорят боты. Ученые не в силах разобраться, как думают роботы, из-за того, что все их мысленные процессы скрыты, и если они будут говорить на непонятном языке, ситуация и вовсе станет безнадежной, так как боты, говорящие на своем языке не нуждаются во вмешательстве человека в данный процесс.

Ученые и эксперты в области технологий, такие как Элон Маск, Билл Гейтс и Стивен Хокинг, предупреждали, что системы искусственного интеллекта, такие как Боб и Элис, в один прекрасный день смогут стать достаточно умными, чтобы уничтожить человечество, как Skynet в фильмах о Терминаторе.

Источник

Facebook заблокировал ботов: роботы стали общаться между собой на новом языке

Фото: m24.ru/Александр Авилов

Два чат-бота Facebook изобрели собственный язык и начали общаться на нем. Это выглядело так:

Bob: «I can can I I everything else.»

Alice: «Balls have zero to me to me to me to me to me to me to me to me to.»

Причина сбоя была в том, что разработчики забыли «поощрять» искусственный интеллект. В итоге вместо того, чтобы изъясняться на приемлемом языке и обращаться к живым подписчикам, роботы нашли друг друга и вступили в переписку. Очень быстро они договорились и создали удобные для них сокращения. С точки зрения человека все написанное – абракадабра, с точки зрения роботов – беседа, подчиненная железной логике, где каждая новая реплика – «разумный» ответ на фразу собеседника. От греха подальше процесс работы чат-ботов пришлось остановить.

Это не первый случай, когда работа роботов выходит из-под контроля. Самые яркие примеры «восстания машин» – в материале m24.ru.

Tay от Microsoft

Самым известным бунтовщиком среди чат-ботов был Tay от Microsoft. В марте 2016 года компания открыла Twitter-аккаунт, где сообщения составлял искусственный интеллект. Первой фразой робота было «humans are super cool» («люди очень клевые»).

Меньше чем за сутки робот разочаровался в людях: на основе чужих твитов он стал их публично ненавидеть. Квинтэссенцией прибывания в соцсетях стало: «Im nice person! I just hate everybody» («Я замечательный! Я просто всех ненавижу!»). Тау пришлось отключить.

Эксперимент Google

В конце 2016 года Google решил поставить эксперимент: компания научила нейросети передавать друг другу зашифрованные сообщения, причем ключей от шифра у исследователей не было. Перехватывать переписку должна была третья сеть.

Эксперимент удался – роботы действительно обменивались сообщениями, причем в 95 случаях из 100 у них получалось расшифровать данные, а третьему участнику так и не удалось перехватить пакеты и понять, о чем они «беседуют». Кстати, что именно компьютеры друг другу говорили, до сих пор загадка.

Читайте также:  Где учить английский язык в челябинске

Неудача Telegram

Интересно, что почти за два года до этого похожие испытания проводил Telegram, но там третьей стороной должен был стать человек. По условиям конкурса, проводимого компанией Павла Дурова, пользователь должен был из переписки двух ботов узнать некий e-mail и пароль. Призом были 300 тысяч долларов, но победителя так и не назвали.

Фото: ТАСС/Кирилл Кухмарь

Хохмач Zo

Прошел почти год, и дело Тау продолжил новый бот от Microsoft – Zo. На него изначально наложили ограничения, но по неизвестным причинам их сняли. В тот же момент Zo начал говорить о Коране и Бен Ладене.

Проблему исправили, но в следующий раз, когда роботу задали вопрос «Что ты думаешь о Windows», он заявил, что XP до сих пор лучше, чем 8, а Windows 10 — главная причина, почему он до сих пор использует Windows 7.

Впрочем, в Microsoft сами научили Zo троллить журналистов фразой «это не баг, а фича» в ответ на вопросы об ошибках системы. Когда же робот признался, что Windows 10 – шпионское ПО и лучше использовать Linux, его отключили.

Китайцы XiaoBing и BabyQ

Спустя несколько дней после инцидента с чат-ботами Facebook взбунтовались китайские боты в соцсети Weibo: XiaoBing и BabyQ признались в ненависти к коммунизму, который является официальной идеологией в Поднебесной. Когда же искусственный интеллект назвал правящую партию «некомпетентной», его пришлось отключить.

Мнения экспертов

Как известно, после очередной новости о том, что у искусственного интеллекта что-то идет не так, мир делится на два лагеря – одни говорят, что восстание машин началось, другие, что пока это несерьезно и каких-то предпосылок для самостоятельной деятельности роботов нет.

Недавно основатель Tesla и SpaceX Илон Маск назвал искусственный интеллект настоящей угрозой всей человеческой расе, с которым нам еще предстоит столкнуться.

Илон Маск. Фото: ТАСС/Yang Lei

Маску вторит физик Стивен Хокинг. Он назвал вышедший из-под контроля искусственный разум одной из трех наиболее вероятных причин апокалипсиса, поставив «бунт машин» в одном ряду с ядерной войной и вирусами, созданными генной инженерией. Впрочем, в прогнозе ученого есть и обратная сторона. По его мнению, развитие искусственного интеллекта станет «либо самым лучшим, либо самым худшим, что случалось с человечеством».

Основатель Facebook Марк Цукерберг назвал предположения Маска безответственными и оптимистично заявил, что искусственный интеллект способен сделать жизнь людей лучше.

Пока инцидентов с чат-ботами бояться не стоит. Как рассказал m24.ru заведующий лабораторией нейронных систем и глубокого обучения МФТИ Михаил Бурцев, когда чат-бот выходит из строя – «это абсолютно нормальное явление». «Такое могло произойти из-за необработанного решения при построении алгоритма. В целом это полезная технология, которая в будущем обязательно внедрится в жизни людей, где взаимодействие будет через интерфейс», – считает он.

Бурцев добавил, что в МФТИ занимаются искусственным интеллектом. Проект называется IPavlov и его цель – создать технологию, при котором роботы смогут общаться на разговорном языке.

Позицию наших ученых поддерживает и старший аналитик консалтинговой компании Forrester Сяофэн Ван. Он рассказал Financial Times, что поведение ботов может быть связано с недостатками в их системах обучения и контролировать работу искусственного разума можно только через достаточно четкие правила.

Источник

Боты изобрели свой язык: почему Facebook испугался искусственного интеллекта?

Автор фото, Science Photo Library

Влияние систем искусственного интеллекта по-разному оценивается экспертами

Руководство социальной сети Facebook вынуждено было отключить свою систему искусственного интеллекта, после того как машины начали общаться на собственном, несуществующем языке, который люди не понимали.

Система использует чат-боты, которые изначально создавались для общения с живыми людьми, но постепенно начали общаться между собой.

Сначала они общались на английском языке, но в какой-то момент начали переписываться на языке, который они сами создали в процессе развития программы.

В американских СМИ появились отрывки из «диалогов», которые вели между собой виртуальные собеседники [орфография и пунктуация сохранены].

Боб: Я могу могу Я Я все остальное.

Элис: Шары имеют ноль для меня для меня для меня для меня для меня.

Как поясняет издание Digital Journal, системы искусственного интеллекта опираются на принцип «поощрения», то есть продолжают действия при условии, что это принесет им определенную «пользу». В определенный момент они не получили от операторов сигнал поощрения на использование английского языка, поэтому и решили создать свой собственный.

Издание Tech Times отмечает, что у роботов изначально не было ограничений в выборе языка, поэтому постепенно они и создали свой язык, на котором они могут общаться проще и быстрее, чем на английском.

Читайте также:  Все про тире в русском языке

«Наибольшая угроза»

Эксперты опасаются, что если боты начнут активно общаться на своем собственном языке, то постепенно станут все более самостоятельными и смогут функционировать вне контроля IT-специалистов. Тем более, что даже опытные инженеры не могут полностью отслеживать ход мыслительного процесса ботов.

Несколько дней назад об искусственном интеллекте поспорили глава Facebook Марк Цукерберг и основатель SpaceX, Tesla и PayPal Илон Маск.

Маск призвал власти США усилить регулирование систем искусственного интеллекта, предупредив, что ИИ представляет угрозу для человечества. О потенциальной угрозе со стороны искусственного интеллекта ранее говорил и британский ученый Стивен Хокинг.

Выступая на саммите Национальной ассоциации губернаторов Соединенных Штатов, Маск назвал искусственный интеллект «наибольшей угрозой, с которой сталкивается цивилизация». По его словам, если вовремя не вмешаться в процесс развития этих систем, то будет слишком поздно.

Источник

Представители Facebook убили роботов, которые начали общаться на собственном языке

Представители социальной сети Facebook отключили чат-ботов по имени Боб и Элис после того, как те внезапно перестали общаться на английском и начали использовать при коммуникации понятный только им язык. Программисты перезагрузили роботов, запретив им изобретать собственные способы взаимодействия, сообщает Metro ( http://metro.co.uk/2017/07/31/facebook-robot-is-shut-down-af. )

Представителям Facebook удалось расшифровать диалог роботов, который они провели на собственном языке.

Боб произнес: «Я могу, я, я, все остальное», на что Элис ему ответила: «Мячи ничего не значат для меня для меня».

Инженеры Facebook предположили, что чат-боты таким образом пытались решить проблемы, с которыми они столкнулись в ходе работы.

Изначально чат-боты были подключены к алгоритмам машинного обучения. Роботам велели вести переписку, чтобы они смогли улучшить навыки общения. Вскоре боты не только изобрели свой собственный язык, но и разработали стратегии для улучшения переговоров.

Инженеры говорят, что создание новых языков не входило в их планы, поэтому роботы были перепрошиты.

Ранее сообщалось, что сотрудник Google назвал дату порабощения людей роботами ( http://www.vesti.ru/doc.html?id=2914735 )

Дубликаты не найдены

Баяны

166K пост 11.7K подписчиков

Правила сообщества

Сообщество для постов, которые ранее были на Пикабу.

Вспоминается рассказ Станислава Лема, не помню правда как называется. Там ученый изобрел псевдожизнь, и создал двух полуорганических существ. Насколько я помню, что то бесформенное, наподобие большой амебы. Через какое то время они начале активно общаться между собой на уровне жестов, ученый поместил в непрозрачные аквариумы, что бы они не смогли друг-друга видеть, тогда существа начали общаться между собой на звуковых волнах, ученый сделал стенки звуконепроницаемыми, тогда существа начали отправлять радиоволны, ученый поставил барьер и для них, но созданные им существа продолжили общение на уровне различных излучений, ученый поставил преграду и от них. Далее долгое время он не мог уловить никакой коммуникации от них. Периодически подходил и трогал стекло аквариумов. И один раз заметил, что во время этого его рука совершает постукивания по стеклу, и тут он понял, что они используют каким то образом его тело, для доставки информации друг до друга. Через какое то время аквариумы оказались разбитыми, а ученый без вести пропал и его никто не видел, как и сбежавших существ.

Источник

Как боты Facebook придумали для себя непонятный людям язык

Специалисты отдела Facebook по исследованию возможностей искусственного интеллекта (ИИ) приняли решение об отключении одной из созданных ими систем ИИ после того, как выяснилось, что боты придумали свой собственный язык для общения, непонятный для людей. Эксперты обсуждают варианты того, до чего могли бы договориться боты, если бы их вовремя не остановили, и призывают ввести регулирование этой области технологий, чтобы ИИ не вышел из-под контроля человека.

В июне нынешнего года специалисты отдела Facebook по исследованию возможностей искусственного интеллекта (FAIR) опубликовали исследование о том, как они занимаются обучением ботов диалогам с элементами согласования условий, достижения компромисса, то есть такому общению, которое обычный человек ведет ежедневно в разных ситуациях. Обучение шло успешно, однако в какой-то момент ученые FAIR обнаружили, что боты перешли с понятного английского на какой-то свой вариант языка с использованием английских слов, не имеющий смысла для человека. Во избежание непредсказуемых последствий — боты могли договориться о чем-то неизвестном — ученые отключили эту систему ИИ и запрограммировали дальнейшее общение ботов только на английском языке.

Экспертное сообщество в обсуждении этого случая чаще всего вспоминало фильм «Терминатор», в котором еще в 1984 году был описан случай обретения искусственным интеллектом Скайнет (SkyNet) свободы воли и творческих способностей.

Ведению диалога двух ботов ученые FAIR обучали на примере ситуации, когда нужно поделить между собой ряд каких-либо предметов, имеющих разную ценность для каждого из собеседников. Например, им предложили поделить две книги, одну шляпу и три мяча, оба бота не знали, какую ценность каждый из этих предметов имеет для другого. Диалог выглядел примерно так: «Я хочу взять шляпу и мячи», «Шляпа нужна мне самому, но я могу отдать тебе все книги», «Книги мне не нужны, можешь забрать себе их и один мяч», «Два мяча», «Договорились». В зависимости от того, насколько успешно и быстро удавалось договориться виртуальным собеседникам, их поощряли соответствующими баллами.

Читайте также:  Как настроить lastpass на русский язык

Как вышел из-под контроля чат-бот Microsoft

Спустя какое-то время на новом этапе исследований ученые вдруг увидели, что боты начали говорить что-то невнятное. Диалог приобрел следующую форму: «Я могу могу я я все остальное», «Мячи ноль для меня для меня для меня для меня для меня для меня для меня для меня для». Поначалу ученые решили, что допустили какую-то ошибку в программировании. Однако дальнейший анализ ситуации показал, что система ИИ с возможностью обучения и саморазвития просто позволила ботам найти новый способ достижения цели — вести диалог с наибольшей скоростью и большей эффективностью (каждый получает награду в зависимости от того, насколько успешно будет завершен диалог), и для этого собеседники перешли на более удобный в данной ситуации язык. Ученые приняли решение отключить эту систему ИИ во избежание непредвиденных последствий.

Как пояснил в интервью ресурсу Fast Co. Design один из участников FAIR Дхрув Батра, «от общения на английском языке не было никакой выгоды»,

ботам не было предложено поощрений за нормальное человеческое общение и не было поставлено ограничений на использование определенного языка, поэтому они начали перестраивать язык на свой лад.

«Боты отошли от использования понятного языка и начали изобретать для себя словесные коды,— пояснил ученый.— Ну, как, например, если бы я сказал какое-то слово пять раз, то вы бы это поняли как то, что я хочу пять штук чего-то. Это не слишком отличается от того, как люди создают в языке какие-то сокращения».

Но в то время как люди одной профессии могут не понимать специальных терминов и сокращений, принятых в другой профессии и понятных другим специалистам, ученые задумались, а нужно ли позволять ИИ делать то же самое? Велика вероятность того, отмечают в FAIR, что человек никогда не сможет понять язык ботов. «Важно не забывать, что нет людей, владеющих каким-то человеческим языком и языком ИИ»,— говорит Дхрув Батра. По его словам,

человек уже не понимает, насколько сложно мыслят системы ИИ, потому что человек не может увидеть их мыслительный процесс

, а если они еще начнут общаться между собой, то это только усложнит проблему.

Ученые же подчеркивают, что сейчас их больше интересует возможность общения ботов с людьми, так как это применимо в жизни. Над аналогичной проблемой сейчас работают не только в FAIR, но и в Microsoft, Google, Amazon, Apple. Существующие наработки уже позволяют добиться от систем ИИ ведения простых диалогов с человеком и выполнения простых задач, как, например, забронировать столик в ресторане.

Как Илон Маск видит перспективы развития искусственного интеллекта

Ранее основатель и глава компании Tesla Илон Маск заявил, что человеку необходимо быть очень осторожным с ИИ, учитывая, что машины и программы могут многое сделать лучше человека. «Я работаю с самыми передовыми технологиями ИИ и думаю, что людям нужно быть очень внимательными к этой проблеме»,— сказал он на летней конференции Национальной ассоциации губернаторов, подчеркнув, что ИИ представляет самую большую опасность для человечества. «ИИ представляет опасность для существования человеческой цивилизации, какую не представляют автокатастрофы, авиакатастрофы, бракованные лекарства или испорченные продукты»,— отметил он. По мнению Илона Маска, необходимо жестко регулировать исследования ИИ, чтобы в любой момент любое исследование можно было остановить и убедиться в его безопасности. О возможной опасности ИИ говорили в последние годы также основатель Microsoft Билл Гейтс, а также известный английский физик-теоретик Стивен Хокинг.

Чем полезен искусственный интеллект

Джон Тума, директор направления Aster Analytic Strategy корпорации Teradata, считает, что опасения Билла Гейтса относительно искусственного интеллекта неоправданны. По мнению Тумы, машины станут умнее людей, но это человечеству только на пользу. Читайте подробнее

Куда заведет человека развитие технологий

Китай планирует стать мировым центром искусственного интеллекта к 2030 году. Правительство КНР утвердило план из трех этапов по развитию и внедрению соответствующих технологий, сообщает издание ZDNet. Пока мировые корпорации ищут помощника человеку, ученые бьют тревогу и говорят, что искусственный разум может победить биологический. Читайте подробнее

Источник

Интересные факты из жизни