— Чем вы занимаетесь? В чем специфика вашей области, какие научные и технологические проблемы в ней решаются?

— Я ведущий научный сотрудник Лаборатории нейрокогнитивных технологий Курчатовского института и занимаюсь компьютерной лингвистикой и лингвистической семантикой, системами автоматического понимания текста и роботами, которые поддерживают естественную коммуникацию с человеком, то есть общение с помощью жестов, мимики и речи, подобное общению между людьми.

С нашими коллегами в Курчатовском институте мы участвуем в нескольких проектах по исследованию нейросемантики, то есть того, как текст воспринимается головным мозгом человека, как устроены механизмы понимания. Нам интересно, можно ли использовать эти процессы для управления продвинутыми интерфейсами компьютеров.

Также я являюсь ведущим научным сотрудником Московского государственного лингвистического университета (МГЛУ), где мы ведем проект по созданию простого робота Ф-2, который как раз и должен общаться с людьми с помощью речи, мимики и жестов. Мы разрабатываем его вместе со студентами МГЛУ, Российского государственного университета (РГГУ) и Московского государственного технического университета имени Н.Э. Баумана. Ну а в РГГУ я сотрудник Центра научного проектирования в Управлении по научной работе.

— Расскажите про проекты в Курчатовском университете. Какой из них самый прорывной?

— Сложно сказать, все они очень интересны. Один из наших проектов нацелен на создание автоматической системы понимания текста. Она анализирует текст, строит для него семантическое представление, то есть определяет его смысл, и пытается выбрать эмоцию или реакцию, которая могла бы возникнуть от этого текста у человека. Система пытается понять, является ли анализируемое суждение позитивной, нейтральной или негативной новостью, спровоцирует ли она размышление. Это может стать основой для механизма автоматического рассуждения.

Также у нас в институте есть проект создания интерфейса «Глаз — мозг — компьютер», который мог бы позволить человеку управлять персональным компьютером или другим техническим устройством только с помощью движения глаз или только с помощью мыслей. Интересна комбинация средств управления, которые доступны или удобны человеку в данный момент, то есть возможность управлять компьютером то с помощью мыслей, то с помощью речи, то с помощью взгляда, то с помощью нескольких из этих средств.

Ну а третий проект — это нейросемантическое картирование. Мы помещаем испытуемых в томограф, они слушают тексты на русском языке, а мы записываем активность их мозга и на ее основе пытаемся создать карты распределения семантических категорий текста в мозге человека. То есть мы пытаемся установить те районы мозга, которые отвечают за понимание отдельных слов или отдельных семантических категорий. Это может позволить ответить на вопрос о том, как мозг человека понимает естественный текст.

— Похоже на научную фантастику. Скажите, есть ли среди ваших разработок что-то, что уже было выведено как продукт и используется?

— Сейчас создано 7 экземпляров робота Ф-2, которые используются в работе МГЛУ, РГГУ, Высшей школы экономики (ВШЭ) и Курчатовского института. Студенты разрабатывают стратегии поведения для Ф-2, пытаясь понять, как выглядело бы реальное общение человека с роботом. Если какая-то научная группа заинтересована в том, чтобы создавать для робота-компаньона фрагменты поведения, такие как речь и жесты, и проводить с ним эксперименты, то мы всегда рады работать вместе, возможно даже предоставим им Ф-2 для развития проекта.

А систему автоматического анализа текста мы используем для оценок высказываний в интернете и выявления раздражения и неудовлетворенности людей. В ответ на них коммерческие компании могут создавать услуги или продукты, которые люди будут готовы купить, чтобы устранить проблему. Поэтому критика в интернете — это потенциальная возможность для создания новых коммерческих рынков. Мы даже участвовали в социальных проектах, направленных на поиск подобной критики. Например, три года назад люди выражали в интернете большую неудовлетворенность едой: на нее надо тратить много сил и времени, ведь ее приходится готовить. На основании этого мы прогнозировали рост рынка доставки, что и случилось. Хотя во многом он вырос за счет ковида.

— Что больше всего вас захватывает в работе?

— Мне кажется, самое интересное во всех направлениях когнитивных исследований, которыми я занимаюсь, — это понять, как же человек думает. Как он принимает решения и испытывает эмоции? Как чувства влияют на рассуждения человека? Как человек понимает текст и какие выводы из него делает? Все эти механизмы — одна из крупнейших загадок, стоящих перед человечеством. Кажется, с помощью современных технологий эту загадку можно решить. Это самое воодушевляющее.

— С какими вызовами и изменениями в мире связана ваша работа, и в чем ее актуальность для общества?

— Сейчас мир замечательным образом изменился, как и распространение информации, что полезно для всех ученых. Вы можете скачать статьи исследователей из других стран и быстро ознакомиться с их содержанием. Можете использовать скачанные библиотеки и компьютерные средства анализа, разработанные учеными из других стран. Это, конечно, совершеннейшая фантастика.

А прикладная польза от наших работ заключается в следующем. Мы сейчас с вами общаемся с компьютерами при помощи экрана с пиктограммками. Чтобы запустить нужную функцию, нажимаем на кнопки или на иконки курсором мышки. Такая система интерфейса используется во всех компьютерах, и на вебтопах, и на десктопах, а также в сотовых телефонах. Но при этом существует естественный интерфейс для общения между людьми. Мы не нажимаем на пиктограммы друг друга, а общаемся с помощью речи и жестов. Поэтому интересно создать компьютеры с интерфейсами, поддерживающими такое же естественное общение. Может быть, они даже заменят для многих привычные устройства.

Графическим интерфейсам с пиктограммами уже около 40 лет, мы ими успешно пользуемся, а разработка робота, общающегося с помощью жестов и мимики, или компьютера, управляемого силой мысли и движения взгляда, приведет к революции интерфейсов, ведь они сменятся на более естественные. Может быть, мы будем ходить с компьютерами прямо на голове или вживленными в тело. Может быть, у нас будут роботы-компаньоны, как в фантастических фильмах, и мы станем общаться с ними, а они будут на нас смотреть и жестикулировать, общаясь с нами.

— Они и между собой будут так общаться? Или только человек с человеком?

— Представьте роботов, которых мы видим в научно-фантастических фильмах. Они смотрят на персонажей глазками, разговаривают, шутят — делают то, что формирует близкое общение с людьми. Интересно попробовать это в общении между человеком и машиной.

— А вам не кажется, что это страшно, потому что человек будет ждать от машины, которая ведет себя как человек, эмоционального отклика, которого машина ему никогда дать не сможет, только сымитировать?

— Представьте себе детей, которые общаются с плюшевыми медведями и ждут какого-то эмоционального отклика от них. Будем ли мы говорить, что игрушка обманывает ребенка? Я бы сказал, что нет, потому что ребенок получает удовольствие от общения с ней.

Также и мы, например, понимаем, что компьютер неживой, но когда он начинает тормозить, мы можем на него поругаться, строя с ним общение, как с живым существом. Это не значит, что при этом компьютер в чем-то нас обманывает. Просто есть у человека такое свойство – общаться с неживыми объектами как с живыми.

Научная задача для современных ученых — создать такое устройство, с которым бы человек общался, получал бы удовлетворение от этого общения, но при этом нельзя было бы говорить о том, что устройство его каким-то образом обманывает.

— Хороший пример, сложно не согласиться. А с какими сложностями вы сталкиваетесь при реализации работы?

— Общение людей устроено слишком сложно, иногда один человек понимает другого по отдельным словам, движениям или элементам мимики. Не просто все это пронаблюдать и сделать такую систему, которая отбирает нужные в коммуникации движения и отфильтровывает излишние.

Что касается исследования мозга, то он приспособлен для управления телом и мышления, а не для того, чтобы быть легким объектом наблюдения. Если мы попробуем сканировать мозг и изучать его электрическую активность, понять происходящие в нем процессы нам будет очень тяжело. Просто потому что мозг не был сделан понятным и доступным для сканирования.
В моей работе сложно строить модели, описывающие общение и мышление человека. В остальном все отлично.

— Вы — редкий человек, у которого в работе все, кроме прямых решаемых задач, отлично. Давайте поговорим про команды. Что характеризует коллектив Курчатовского института?

— У меня замечательные коллеги и коллектив. Здорово, что в нашей лаборатории люди из разных областей: инженеры, программисты, лингвисты и психологи. Прикладные устройства, про которые я рассказывал, сложные, их создание основываться на данных из очень разных направлений науки. Они требуют создания программного обеспечения и прототипов уже действующих устройств. Реализовать их можно только с такой замечательной командой, которая собралась у нас в лаборатории.

— А у вас есть в команде студенты?

— Да, они приходят к нам и сперва помогают проводить эксперименты, обрабатывать их результаты или делать разметку для баз данных. Вообще базы данных, описывающие поведение, — это в значительной степени заслуга студентов. Иногда они приходят писать дипломные проекты, но, конечно, есть те, кто остаются у нас работать, мы этому очень рады.

— А что вы можете рассказать про команду МГЛУ?

— Там мы только начинаем организацию лаборатории, ей около года. В 2021 году мы поставили двух роботов Ф-2 и регулярно проводим семинары со студентами, которые пробуют выполнять разметку мультимодального поведения человека, то есть пытаются разметить жесты и мимику людей на видеозаписи с их общением.

Студенты пробуют переносить эти элементы поведения на роботов, чтобы посмотреть, как они, демонстрируя те же жесты и мимику, выглядят в коммуникации. К сожалению, из-за локдаунов наша работа останавливалась, так что пока это только начавший развиваться проект.

— Если говорить об абитуриентах и старших школьниках, которых интересуют нейротехнологии и нейролингвистика, что им нужно знать и через какой опыт пройти, чтобы позже попасть в одну из ваших команд?

— Еще раз скажу, это междисциплинарная область. Здорово, если школьники для себя решат, что их интересуют механизмы мышления человека. А дальше нужно подумать о том, какая из работающих над этим наук им ближе. Биология, чтобы дальше исследовать механизмы мышления на мышах, приматах или человеке? Психология? Лингвистика? Филология? Старайтесь получить хорошее образование в выбранной области.

Также призываю всех студентов писать автору тех статей, которые вам понравились, или в заинтересовавшие лаборатории, чтобы прийти туда на практику. Это вполне современно и правильно. Конечно, мне тоже можно написать, мой адрес: Kotov@harpia.ru.

— Неужели филологам так просто попасть в науку?

— Ну слушайте, формально я кандидат филологических наук. Специалисты по компьютерной лингвистике защищаются по филологическим наукам.

— А могли бы вы рассказать больше про филологическую сторону вашей работы?

— Исследования по автоматической обработке эмоциональной речи должны привести к теории, которая может быть полезна не только для создания прикладных систем и роботов, но и в более гуманитарных направлениях. Возможно, это поможет в подготовке ораторов, пиаре или при проведении лингвистической экспертизы. Во всех этих областях полезно было бы знать, как воздействует какое-то высказывание на человека, испытывает он от него эмоции или нет.

— Какие яркие команды в стране занимаются вашей проблематикой? С кем из них вы поддерживаете связь? И какие из них вы можете порекомендовать для нанесения на нашу карту?

— В области лингвистики тесно сотрудничают Курчатовский институт, МГЛУ и РГГУ. Совершенно замечательная сильная группа есть в МЭГ-центре Московского государственного психолого-педагогический университета. Они используют уникальную МЭГ-установку для исследования механизмов мышления человека. Несколько не менее сильных коллективов в области лингвистики и нейрофизиологии находятся в ВШЭ. Ну и, конечно, в области лингвистики есть замечательные группы Санкт-Петербургского государственного и Европейского университетов.

Кстати, если вы посмотрите на множество иностранных научных статей, то увидите, что у них зачастую несколько авторов, каждый из которых представляет свой университет или другую организацию. То есть под разные проекты и проблемы коллективы периодически создаются специально, и это делает результаты их работы интереснее.

— А вы входите в подобные группы?

— Мы работали с коллегами-психологами из ВШЭ и Российской академии народного хозяйства и государственной службы при Президенте РФ, а также я участвовал в проектах с лингвистами из РГГУ.

— Есть ли у ваших групп материалы в открытых источниках, которые дополнят интервью и расширят картину для будущих абитуриентов?

— У Курчатовского института специфическая политика в отношении публикаций, поэтому мы не можем открыто выкладывать лекции на YouTube или еще где-то. Зато у МГЛУ есть сайт, посвященный нашему роботу Ф-2: http://www.f2robot.com/.

— А через какие-то олимпиады, конкурсы и мероприятия можно познакомиться с деятельностью ваших команд?

— У РГГУ есть для школьников олимпиада по лингвистике и лингвистический факультатив. Кстати, у ВШЭ тоже есть отличный Лингвистический кружок. Еще мои коллеги из РГГУ каждый год организуют замечательную Летнюю лингвистическую школу. Туда, конечно, здорово съездить, потому что там читают лекции специалисты из разных направлений лингвистики. Если она интересует вас, то, послушав их, вы выберете, какое из этих направлений близко вам. Чтобы попасть туда, нужно пройти небольшой конкурс.

Кстати, могу поделиться сайтом, который обозревает лингвистические школы и олимпиады. Конечно, в области нейротехнологий и биологии есть свои олимпиады и летние школы, просто я хуже о них осведомлен.

— Вам хотелось бы что-нибудь пожелать коллегам или абитуриентам и студентам, которые мечтают заниматься компьютерной лингвистикой?

— Всем пожелаем успехов!