Від джойстика до нейроінтерфейсів: експерт розповів про еволюцію управління безпілотниками

Нині керування дроном пов’язують із джойстиком, екраном і радіосигналом. Та розвиток технологій веде до моменту, коли фізичні засоби керування можуть зникнути.

Brain-Computer Interface (BCI) — технологія, що дозволяє з’єднати людський мозок безпосередньо з машиною, — поступово трансформується з медичних лабораторій та перших прототипів у критично важливий інструмент оборонного сектору майбутнього.

Можливість керувати роєм дронів або складними робототехнічними комплексами буквально «силою думки» обіцяє не лише наближення до latency-free контролю (управління з нульовою затримкою), а й якісно новий рівень взаємодії «людина-машина». Водночас постають питання: чи готовий мозок оператора до таких навантажень і де межа між ефективністю та когнітивним перевантаженням?

Про нейросигнали, технологічні виклики впровадження BCI у військових технологіях та ризики, які приховує пряме підключення людини до мережі, ми говоримо з Богданом Долінце, кандидатом технічних наук, експертом з питань розвитку озброєння та новітніх технологій.

— Пане Богдане, почнімо з основ. Який на сьогодні вигляд має фізичне втілення BCI (Brain-Computer Interface) для військових? Це все ще масивні шоломи з електродами чи ми вже перейшли до компактних сенсорів, інтегрованих у тактичне спорядження?

— Якщо говорити загалом про ВСІ або нейроінтерфейси, то хоч і не швидко, але ці засоби починають впроваджуватися у сфери людського існування. А якщо конкретизувати тему саме щодо військових рішень для нейроінтерфейсів, то перші профільні рішення з’явилися ще у 80–90-х роках минулого століття.

Дійсно, це були громіздкі шоломи з великою кількістю електродів. Як правило, вони були стаціонарними і їх можна було використовувати лише в лабораторіях. Але дані технології розвивалися і продовжували ставати компактними.

Сучасні нейроінтерфейси переважно залишаються ще неінвазивними, тобто це зовнішні сенсори, які є на поверхні голови людини. Найчастіше це компактні модулі з електродами, які інтегровані у шоломи або гарнітури, які людина навіть може не помічати. Вони можуть працювати на основі давно відомої технології електроенцефалографії і вже є частиною тактичного спорядження.

Але дані рішення використовуються переважно в дороговартісних системах, які вимагають швидкої реакції, таких як літаки-винищувачі, бомбардувальники тощо. Класичні BCI-інтерфейси є достатньо обмеженими у своїх можливостях. Тому, крім подальшої мініатюризації, навряд чи ми побачимо їхній суттєвий подальший розвиток.

Але все більш перспективною стає поява нових нейроінтерфейсів. Це так звані інвазивні нейроінтерфейси. Наразі їх ще не використовують у військовій сфері. Принаймні немає відомих фактів застосування, що були відкрито оприлюднені. Можливо, якісь країни вже почали експериментувати з даними засобами, але підтвердження такого, принаймні у мене, немає.

Одним з таких найбільш відомих інвазивних нейроінтерфейсів або нейроімплантів, в принципі не оборонного напрямку, але які мають потенціал стати військовими, є вже відомий Neuralink від компанії Ілона Маска. Або ще на сьогоднішній день існує відомий інтерфейс, такий як Synchron.

Йдеться про певні сучасні засоби, які дозволяють вбудовувати нейрокомп’ютерні мережі і зв’язувати їх з головним мозком людини. Перші експерименти з такими нейроінтерфейсами показують, що люди, які мали ті чи інші травми і не мали можливості фізично щось робити та взаємодіяти з машиною, з використанням нейроінтерфейсів здатні отримати таку можливість.

По-друге, час і швидкість реагування машини є значно вищими, ніж коли така дія визначається функціями людини, яка робить певні дії із використанням фізичних органів керування: натискаючи кнопки, джойстики, перемикачі тощо. І так само це відбувається швидше, ніж через класичні неінвазивні системи.

— Які саме нейросигнали є найбільш інформативними для керування БПЛА? Чи йдеться про використання електроенцефалограми (ЕЕГ), чи розглядаються більш інвазивні методи для досягнення точності?

— В принципі, сучасні методи роботи з використанням електроенцефалограм є достатньо обмеженими. В умовах високої швидкості прийняття рішень та вимог до точності керування безпілотними системами це є критичними аспектами.

Говорячи про типові, відносно неповороткі дрони, типу великих безпілотників-розвідників, які літають на незначних швидкостях і мають суттєву затримку обміну інформацією через супутники або радіоканали зв’язку, то таке управління може здійснюватися з використанням класичних органів керування, доповнених неінвазивними засобами.

Це зазвичай шоломи, які фіксують електричну активність мозку, але без безпосереднього контакту або втручання в його дії. Якщо говорити про таке керування, то є певний період часу, який необхідний для того, щоб навчити людину, адаптувати її мозок, правильно формувати команди для нейроінтерфейсу.

Тобто, коли людині необхідно уявляти ті чи інші рухи, для того, щоб був згенерований відповідний електричний сигнал в мозку, а система його «зчитала» і безпосередньо застосувала до машини відповідні команди на зміни руху, траєкторії тощо.

Друга складова — це реакції мозку людини на конкретні команди. Тобто вибір того чи іншого об’єкта або застосування до певного предмета засобів впливу, захоплення цілі, її ураження тощо.

З неінвазивними системами є достатньо широкий спектр «мінусів», які впливають на якість керування повітряними системами і можливі помилки самої системи щодо коректної інтерпретації команд людини. Тому ці системи більше є допоміжними, певні дії людина має підтверджувати фізично. Тобто натискаючи спеціальні кнопки, або здійснюючи механічні рухи органами керування такої системи.

Далі, якщо говоримо саме про роботу нейроінтерфейсів, неінвазивні методи є достатньо не високоточними, зазвичай вони мають більшу затримку на так звані відгуки, ніж класичні методи керування.

Адже необхідний час на виявлення сигналу в мозку, його зчитування, обробку певними алгоритмами і передачу команд до самого безпілотника. Реальні затримки в таких системах можуть становити від десятків до сотень мілісекунд, що для ряду систем може бути критичним, враховуючи ще й власні затримки каналу для керування системою.

Але однією з переваг все ж таки лишається скорочення ланцюжка передачі команд між операторами та машинами. Частину дії він може виконувати не фізично руками, а через намір або думку. Це дозволяє в певних умовах експлуатації збільшувати реакцію пілота до частин секунди.

— Latency-free контроль — це «святий ґрааль» нейроінтерфейсів. Наскільки реально передати сигнал від мозку до гвинта дрона швидше, ніж це роблять пальці на джойстику?

— В умовах використання неінвазивних інтерфейсів це не просто дуже складно, а в принципі майже неможливо. По-друге, фактично нульова затримка — це швидше теоретичний ідеал.

Але нейроінтерфейси можуть дозволити суттєво до нього наблизитися. Це у порівнянні з існуючими системами, зокрема фізичними методами керування і навіть неінвазивними системами нейрокерування.

Очікуваним чинником залишається якраз поява інвазивних нейроінтерфейсів, які будуть імплантовані безпосередньо до мозку людини. Вони дозволятимуть дуже швидко і точно знімати відповідну інформацію без «шумів», які отримують неінвазивні системи.

По-друге, такі системи зможуть використовувати відповідні провідники підвищеної передавальної здатності. І це дозволить скорочувати час передачі інформації. Та найбільшим обмежувачем досі залишається не стільки сам канал комунікації між інтерфейсом і людиною, скільки вже передача від інтерфейсу до відповідних систем обробки даних на безпілотнику.

Тобто канали зв’язку на сьогодні є найбільш вузьким місцем, і час їх реакції визначає таймінг відгуку майже всієї системи.

— Уявімо оператора FPV-дрона. Які конкретні переваги дає нейроінтерфейс, як порівняти з традиційним пультом? Це лише швидкість реакції чи можливість одночасного керування «роєм» дронів?

— Насправді є ціла низка переваг. Одна з основних — це зменшення навантаження на самого пілота-оператора. Це також означає, що пілоту більше не потрібні складні пульти управління, механічні засоби керування.

Його робоче місце може бути і у вигляді комфортного крісла або навіть дивана, як у кінотеатрі, тільки у комфортному офісі із великим екраном для оператора. А щодо деяких позицій будуть рішення на рівні нейроінтерфейсів, які дозволять відмовитися навіть від великих фізичних екранів. Наприклад, використовуючи засоби доповненої реальності, умовний екран тоді буде з повним оглядом на 360 градусів.

По-друге, відсутність потреби в додаткових фізичних екранах дозволяє зробити робоче місце набагато компактнішим і комфортнішим, що дозволить сконцентруватися операторам безпосередньо на місії. В таких центрах працюватимуть одночасно десятки операторів у реальному часі і здійснюватимуть керування десятками безпілотних систем.

Переключаючись між деякими системами в режимі реального часу через нейроінтерфейс, один оператор зможе керувати цілим роєм безпілотників одночасно. Давати команди як окремому дрону, так і всій зграї БПЛА. У разі втрати чи пошкодження окремих безпілотних систем під час місії оператор буде в автоматичному режимі переключатися на інші дрони.

Певне, третім важливим чинником є можливість керування таким оператором одразу декількома різноплановими платформами. Необов’язково всі платформи будуть саме безекіпажними апаратами. Деякі з них можуть бути, наприклад, автономними системами протидії БПЛА, ударними дронами, НРК або розвідувальними системами.

Людина-оператор з подібним нейроінтерфейсом, скорочуючи час на реакцію і передачу команди до безпілотника, буде швидше формувати набір вказівок та намірів. В оператора не буде навіть потреби озвучувати свою думку чи намір, відповідні системи перекладуть цей намір у мову алгоритмів та забезпечать їх виконання.

— Чи дозволяє BCI реалізувати концепцію «вільних рук»? Тобто, чи може боєць вести стрілецький бій і одночасно коригувати вогонь артилерії через дрон силою думки?

— Потрібно зрозуміти, що нейроінтерфейси суттєво залежні від каналів зв’язку. Враховуючи сучасне поле бою із насиченням засобами розвідки, радіоелектронної боротьби, навряд чи військовослужбовці з класичними нейроінтерфейсами зможуть брати участь у тих же контактних бойових діях.

Засоби радіоелектронної боротьби будуть впливати на канали зв’язку, що не дозволятиме ефективно використовувати відповідне обладнання, що керується нейроінтерфейсами. Мова про ті ж безпілотники, які діють на великих відстанях і висотах.

Але поява і розвиток нейроінтерфейсів можуть стати частиною доповнення для керування персональними роботизованими системами. Наприклад, коли здійснюється марш або проводиться підготовка до спільної операції людей та машин, коли операцію виконуватиме підрозділ бійців разом із групою роботів, наземними або літаючими. Бійці можуть вести бій, одночасно віддаючи команди роботизованим системам, які розташовані безпосередньо на невеликій відстані. При цьому вони мають бути стійкими до зовнішніх впливів засобів радіоелектронної боротьби.

Такі системи можуть використовувати розширені штучні органи відчуття для двосторонньої передачі даних. Не тільки коли нейроінтерфейс формує команди і передає їх до роботизованої системи, а й коли робот по цьому ж каналу нейроінтерфейсу надає інформацію самому оператору.

Умовно, коли дрон піднявся на 10–20 метрів над полем бою, «подивився», що відбувається навколо військовослужбовця, і цю інформацію передав через нейроінтерфейс йому для прийняття подальших рішень або здійснення тактичних заходів.

— Як нейроінтерфейси вирішують проблему радіоелектронної боротьби (РЕБ) на рівні взаємодії «людина-машина»?

— Дія засобів зовнішнього впливу на радіоканали має суттєве значення під час самого бою та вимагає достатньо високої автономії для відповідних безпілотних систем. Зокрема, дронів, які приймають високорівневі команди від оператора. При цьому велику частину роботи і виконання цих команд все ж таки буде перекладено на самі машини, на їхні алгоритми.

Зараз достатньо стрімко розвиваються алгоритми автономії: в подальшому вони тільки ставатимуть більш складними та самостійнішими. Нейроінтерфейси можуть стати не просто органами або інструментами для керування таким безпілотником — вони фактично мають стати помічниками для високорівневого, тактичного чи стратегічного управління автоматизованими машинами і системами, дотримуючись загального задуму, стратегії ведення бою. Але при цьому не втручаючись у задум та управління бойовими операціями.

— Керування дроном у тій чи іншій мірі — це стрес. Не кажу вже про бойові умови: там точно не до розваг, як-от політати просто над містом чи якимось концертом. Як, на вашу думку, система BCI відрізняє команду на атаку від мимовільної емоції страху або болю оператора?

— Алгоритми людино-машинного нейроінтерфейсу базуються на так званому машинному навчанні. Це означає, що кожен датчик після його встановлення має обов’язково проходити калібрування під конкретного оператора. Час калібрування може займати від декількох годин для простих систем до тижня або навіть місяців, після чого оператор зможе застосовувати ці засоби ефективно та безпечно.

Система під час калібрування вчиться чітко розрізняти сигнали про наміри, емоційну реакцію або випадкові активності мозку, не пов’язані з місією. У такий спосіб формується нейропрофіль оператора, який розуміє, як система має реагувати на різні патерни сигналів.

Такі системи можуть в реальному часі збирати велику кількість додаткової інформації про оператора. У тому числі дані щодо стану його організму: насиченості крові киснем, пульсу, тиску, рівня гормонів, які можуть впливати на рішення оператора. І таким чином дуже чітко і достатньо тонко підлаштовуватися під конкретного оператора. І у разі зміни або переходу на якийсь інший інтерфейс керування доведеться здійснювати цей процес донавчання та адаптації повторно.

— Існує термін «когнітивне перевантаження». Чи не виснажує нейроконтроль мозок оператора швидше, ніж фізичне керування? Який часовий ліміт роботи в такому режимі?

— На сьогодні, як мені відомо, це питання слабо вивчене наукою. Тобто є класичні неінвазивні інтерфейси, які достатньо багато сил та ресурсів забирають. Як правило, за пів години інтенсивної роботи оператор втомлюється, зокрема когнітивно. Це впливає на зниження ефективності роботи людини і, відповідно, на зниження системної взаємодії.

Наскільки дійсно зможуть інвазивні нейроінтерфейси вирішити цю проблему або бути набагато простішими в керуванні? Наразі це питання залишається відкритим, адже нині кількість цих систем, які були імплантовані людям, вимірюється одиницями. Вони ще проходять етап досліджень і виявлення як побічних, так і прямих негативних наслідків роботи з ними.

Зрозуміло, що майбутні нейрокеровані системи повинні будуть робити максимальну ставку на автоматизацію, щоб розвантажити людський мозок від зайвих зусиль. Більша частина активностей буде передана алгоритмам, людина буде формувати тільки наміри.

— Чи є ризик негативного зворотного зв’язку? Що відчуває оператор, якщо його дрон різко врізається в об’єкт або потрапляє під дію «глушилки»?

— Наявні нейроінтерфейси побудовані як односторонні канали передачі даних. Але скоро мова піде і про двосторонні нейроінтерфейси. Вони будуть здатні без фізичного, візуального або тактильного контакту передавати нейроканалами до оператора сигнали найвищого рівня. Можливо, навіть запахи і тактильні відчуття.

Ступінь глибини впливу цих сигналів може бути налаштований індивідуально, щоб підвищити ефективність і зворотний зв’язок між оператором та керованою системою. Не виключено, що якісь параметри роботи або, наприклад, фізичні пошкодження дрона чи втрата безпілотника можуть нести і певні легкі больові відчуття в пілота. Але поки що це лише окремі експериментальні розробки.

— Як ви ставитеся до питання кібербезпеки мозку? Чи існують теоретичні ризики «зламу» нейроінтерфейсу противником з метою дезорієнтації оператора?

— Будь-який військовий нейроінтерфейс, як і будь-яка інша оборонна мережа або технологія, зобов’язані мати власні рівні захисту. Зокрема, і кіберзахисту, щоб убезпечити апаратуру оператора від перехоплення сигналів, підміни команд або маніпуляції з інформацією в системах керування.

Інвазивні системи, як правило, перебувають у так званих замкнених або закритих середовищах. Тобто не мають зв’язку із зовнішніми джерелами інформації, інтернетом тощо.

— А на якому етапі перебувають українські розробки в цій сфері? Чи маємо ми потенціал стати лідерами у «нейрообороні», враховуючи наш досвід у DroneTech?

— На моє переконання, українські розробники мають достатньо сильні позиції у сфері дронобудування. Зокрема, і у військових алгоритмах управління цими безпілотними системами та платформами. Це, по суті, створює достатньо хорошу основу для розвитку та впровадження майбутніх нейроінтерфейсів.

Але поки що, знову ж таки, в Україні немає відповідних масштабних програм досліджень нейроінтерфейсів в оборонних розробках. По-друге, у нас немає наукової школи так званої нейрофізіології. Тут варто розуміти, що пануюча більшість таких проєктів вже ближче до медичної галузі, ніж до електроніки. Якщо говорити про нейрофізіологію, то мова йде про стик медицини, новітніх інформаційних технологій і мікромініатюрних обчислювальних систем.

Для України на сьогодні найреалістичніший напрям — це побудова так званих гібридних систем управління дронами з певними елементами нейроінтерфейсів. Це засоби доповненої реальності, які поєднують нейроконтроль із фізичними органами керування, але все ж таки без повної можливості нейроконтролю над такими системами.

— Коли, на вашу думку, нейроінтерфейси стануть штатним обладнанням піхотинця, а не експериментальною розробкою спецпризначенців?

— Впевнений, що вже протягом наступних 5–10 років ми побачимо появу перших нейроінтерфейсів у військових підрозділах. І насамперед — у групах операторів безпілотних систем. Можливо, навіть у підрозділах спеціального призначення.

З одного боку — вимогою, а з іншого — бар’єром для масового використання піхотою таких систем виступає потреба в мініатюризації сенсорів, забезпеченні стабільності сигналу і простоті в навчанні та опануванні таких технологій. До цього треба здійснювати попередній відбір тих осіб, які дійсно можуть стати операторами подібних нейрокерованих систем.

Якщо говорити про більш широке застосування на полі бою такого обладнання і засобів, то, думаю, ми побачимо перші випадки застосування нейрокерованих систем в горизонті від 10 до 20 років.