Ученые в панике: нейросети стали «слишком умными» и их трудно контролировать. А ведь в последние десять лет эти технологии окружают нас повсюду: говорящий навигатор или голосовой помощник в смартфоне, умная колонка, система распознавания автомобильных номеров и лиц.
Самые последние модели рисуют зрелищные иллюстрации, создают музыку и сценарии к сериалам. С ними даже можно вести умный разговор! Уже сейчас в Москве искусственный интеллект расшифровывает рентгеновские снимки в поликлиниках и помогает проверять школьные сочинения.
Так почему же специалисты вдруг забили тревогу? Разбирался aif.ru.
Создатель осудил свое творение
«Крестный отец» искусственного интеллекта Джеффри Хинтон уволился из Google и заявил об опасности таких машин. По его мнению, злоумышленники смогут заполнить интернет множеством фейков — фото, видео и текстов. Кроме того, заявляет ученый, из-за умений машин начнется массовая безработица. А еще, считает Хинтон, недалек тот день, когда появятся роботы-убийцы. Ведь отсутствия контроля за «слишком умной» программой может привести к печальным последствиям. Уже сейчас некоторые компании позволяют программам запускать код самостоятельно. Но Хилтон не единственный, кто забил тревогу: в марте более тысячи ученых подписались под письмом, призывающим остановить разработку искусственного интеллекта. Они считают, что ИИ, сопоставимый с человеческим, представляет серьезную угрозу обществу и всей цивилизации.
Как так получилось? На вопросы Aif.ru ответил руководитель команды машинного обучения в Yandex.Market Артем Бондарь.
Слабый контроль слишком умной машины
«Если коротко: раньше для разработки нейросетей применялось обучение с учителем: контролируемое, но его мало куда можно применить. Сейчас это обучение без учителя — получается какое-то неприлично умное, но слабо контролируемое», — объясняет IT — специалист.
По словам Бондаря, сейчас разработчики не только не могут полностью контролировать поведение нейросетей в негативных сценариях, но даже заранее оценить оценить масштаб и глубину проблем.
Почему человек потерял контроль?
В 2010-х искусственному интеллекту показывали исходные данные и то, что из них должно получиться, объясняет эксперт. Сеть заучивала закономерность. Однако охватить все возможные комбинации и запросы очень трудно. Поэтому параллельно начали развивать другой подход: обучение без учителя.
«Это похоже на обучение вождению, — объясняет Бондарь. — Людей не учат правилам проезда по каждому перекрестку, а учат разметке и знакам. То есть это уже структурированное знание „как проехать любой перекресток“», — объясняет IT-специалист.
Вот и нейросети: сначала дают наблюдать за тем, как люди движутся по всем перекресткам, а затем она «запоминает» знаки дорожного движения и разметку. И предсказывает, как люди будут проходить перекрестки. Таким образом, мы дали ей возможность самой разобраться в этом, поставив достаточно сложную задачу«, — поясняет Артем Бондарь.
Однако этот подход ставит перед разработчиками совсем новые вызовы: если раньше они строго и вручную контролировали поведение нейросети, то в обучении без учителя контроль над ситуацией стал гораздо меньше: ведь непонятно, чему научится сеть, прочитав терабайты текстов из интернета.
Психологи для машины
«Мы все более и более косвенно влияем на то, какие внутренние структуры выстраиваются в сознании этих цифровых организмов, что естественно рождает страх: мы не просто не можем полностью контролировать поведение нейросетей в негативных сценариях, но мы даже не можем доподлинно оценить масштаб и глубину проблем, не попробовав применить нейросеть в деле», — поясняет Бондарь.
По словам эксперта, для IT-специалистов это совершенно новый вызов. «Поэтому сейчас помимо обучения больших языковых моделей, очень много внимание уделяется проверки этих моделей на безопасность — у нас буквально на глазах рождается совершенно новая инженерная дисциплина. Этакие психологи для нейросетей», — пояснил эксперт.
А, может, это пиар?
Впрочем, паниковать пока что рано, считает Бондарь. По его словам, это больше похоже на «гонку вооружений» между Google и OpenAI. Стремясь затормозить конкурента, в ход идут вот такие показательные выступления.
«Мне кажется, уход Хилтона — это просто часть политической игры. Сначала они слили два больших отдела, занимавшихся нейросетями в один. Google Brain проиграл гонку OpenAI в генеративных языковых моделях, поэтому это как будто хорошая мина при плохой игре: заявлять, что пришли „страшные нейросети“», — объясняет специалист.
По его словам, специалисты хорошо знают, что нейросеть — это черный ящик, поэтому «никто в здравом уме не даст „генеративкам“ делать ничего опаснее, чем отвечать на поисковые запросы», — заключает Бондарь.
