Специалисты из Университета Макао (специальный административный район Китая) разработали модель управления самодвижущимися автомобилями с помощью голосовых команд. Ноу-хау сочетает в себе компьютерное зрение, понимание речи и мощные языковые модели.
По словам ученых, автовладельцы все еще опасаются полностью передавать контроль над своими машинами искусственному интеллекту. Созданный голосовой помощник призван повысить доверие к автономному транспорту.
При создании устройства стояла задача научить систему понимать речь и адаптироваться к дорожным условиям. Исследователи использовали набор данных Talk2Car, в котором отмечены участки дорог в соответствии с текстовыми инструкциями.
Полученная модель CAVG использует компьютерное зрение для выделения отдельных изображений с камер и последующего анализа их соответствия командам.
Особое внимание модель уделяет пониманию эмоционального контекста команд и сложности дороги. Для точной интерпретации команд модель использует языковую технологию, аналогичную GPT-4V.
Модель была протестирована в сложных условиях: ночью, в плотном транспортном потоке в крупном городе, при неоднозначных командах и плохой видимости. В результате CAVG превзошла существующие решения, показав высокую эффективность и результативность.
Разработчики планируют усовершенствовать систему, добавив в нее больше данных, например, информацию о траекториях движения, а также вид сверху с высоты птичьего полета. Эти нововведения повысят точность управления и сделают автономные автомобили более надежными.
Читайте также: В Самарской области может появиться совершенно новый автозавод
Читайте также: “Трехлетка, мизерный пробег, 7-местный салон”: эксперт поделился, стоит ли тратить 2 млн рублей на кроссовер Chery Tiggo 8
Читайте также: “145 л.с., похож на Captur”: состоялась мировая премьера нового французского кроссовера Renault Symbioz
