Apple Watch тестують ШІ опції для перемотування та повторення розмов

Технологія Apple «Audio Intelligence» на базі штучного інтелекту для Apple Watch зараз переходить у стадію бета-тестування, спочатку для розробників в оновленні iOS 27.3, після того, як була вперше анонсована на заході компанії Surprise and Shine, присвяченому апаратному забезпеченню, у вересні. Технологія включає набір із чотирьох функцій штучного інтелекту, які дозволяють власникам Apple Watch Series 12 розпізнавати важливі звуки, ідентифікувати пісні, відстежувати розмови та робити нотатки.

Функція розпізнавання звуку допоможе глухим та слабочуючим користувачам розпізнавати важливі звуки, такі як сирени, сигналізація чи дверні дзвінки, на своєму годиннику, тоді як функція розпізнавання пісень використовує додаток Apple Shazam, щоб виявляти музику, що відтворюється у фоновому режимі, та визначати назву пісні та її виконавця.

Однак, потенційно більш суперечливими функціями є ті, що прослуховують людські розмови: Live Rewind та Siri Recaps.

З огляду на негативну реакцію на пристрої запису зі штучним інтелектом, такі як окуляри Meta зі штучним інтелектом та інші носимі пристрої зі штучним інтелектом, Apple спробувала створити простір, де ці функції можуть бути корисними для власників Apple Watch, водночас поважаючи конфіденційність оточуючих.

Ідея функції Live Rewind полягає в тому, щоб ви могли повернутися в минуле та побачити, що хтось щойно сказав, якщо ви це пропустили. Наприклад, якщо хтось давав вам усні вказівки або читав довгий список спеціальних пропозицій у ресторані, ви можете двічі натиснути на цифрову коронку годинника, щоб побачити, що було сказано за останні 15 секунд, у вигляді текстового фрагмента, що відображається на циферблаті. Ви можете або переглянути цей фрагмент, а потім нічого не робити, і він зникне назавжди. Або ж ви можете зберегти його в окремому додатку Siri , який постачається з iOS 27, для подальшого доступу, що може бути корисним, якщо ви намагаєтеся запам'ятати чиєсь ім'я або зробити швидку нотатку з динамічної презентації.

Apple каже, що користувачі також зможуть натиснути опцію «Запитати Siri», яка з’явиться під фрагментом тексту, якщо у них виникнуть запитання щодо чогось сказаного, наприклад, щодо технічного терміна, який вони не розуміють, або, можливо, щодо якогось соусу, згаданого офіціантом, з яким він не знайомий, серед іншого.

Коли ви двічі натискаєте цифрову коронку, лунає звуковий сигнал, а на годиннику відображається анімація. Це має сигналізувати людям за допомогою комбінації жесту, звуку та візуального відображення про те, що ви записали щось сказане.

Ці фрагменти будуть автоматично видалені через 30 секунд, якщо ви їх не збережете.

Інший варіант, Siri Recaps, ще більше розвиває цю технологію прослуховування навколишнього середовища, дозволяючи власникам Apple Watch робити нотатки високого рівня своїх розмов.

Важливо, що Apple стверджує, що не ідентифікує спікерів, не зберігає необроблений звук і не надає дослівних транскрипцій. Натомість функція підсумовує розмову коротким реченням та кількома маркованими списками, які визначають ключові моменти. Наприклад, залежно від теми, марковані списки можуть містити такі речі, як важливі дати або терміни, інформацію про ціни або план оплати, а також іншу фактичну інформацію.

Apple запропонувала використовувати цю функцію в таких сценаріях, як робочі зустрічі, батьківські збори, персональні тренування або інші місця, де вам може знадобитися запам'ятати, які завдання вам потрібно виконати або що було сказано. По суті, вона має імітувати здатність користувача робити власні нотатки — без додавання емоцій чи тону.

Це може бути корисним, особливо тоді, коли ви не можете робити власні нотатки, або тому, що ваші руки зайняті, або ви намагаєтеся зосередитися на тому, що йдеться в цей момент. Підсумки не записуватимуть розмови, коли ви слухаєте музику в навушниках або використовуєте функцію шумозаглушення.

Зрештою, вам буде запропоновано переглянути збережені нотатки Siri Recaps, якщо цю функцію ввімкнено, а потім вибрати, які з них, якщо такі є, ви хочете зберегти. Ці нотатки можна зберегти в програмі «Нотатки» або навіть експортувати в програму «Журнал», якщо вони мають більш особистий характер. Якщо ви нічого не зробите, нотатки видаляться протягом семи днів.

Це нагадування про перегляд записаних вами оглядів Siri також з’являється, коли ви вперше розблоковуєте Apple Watch вранці.

Користувачі можуть увімкнути функцію Siri Recaps вручну або налаштувати розклад, наприклад, щоб вона відбувалася лише під час роботи, або щоб вона ніколи не запускалася вночі. Навіть якщо вони працюють за розкладом, ви все одно можете вимкнути функцію рекапіталу в будь-який час у Центрі керування.

Apple зазначає, що Siri Recaps розроблено таким чином, щоб виключати конфіденційну інформацію, таку як ідентифікатори, призначені урядом, фінансові дані та дані автентифікації, певні персональні ідентифікатори та будь-яку мову, яка пропагує самоушкодження.

Функції аудіоінтелекту для Apple Watch Series 12 та Apple Watch Ultra 4 базуються на комбінації апаратного та програмного забезпечення, а також сервісів Apple. Це включає чіп S11, вбудований мікрофон та моделі Apple Intelligence, що працюють на iPhone, а також приватні хмарні обчислення Apple.

Завжди ввімкнений процесор містить захищений анклав — апаратно захищений простір пам’яті, до якого не має доступу решта операційної системи, — де спеціальний аудіобуфер обробляє необроблений звук. Це дозволяє обробляти аудіо без фактичного доступу до нього будь-кому, включаючи Apple. Аудіо доступне лише для підключеного iPhone через безпечний механізм сполучення між ним та годинником.

Щоб працювати, легкі моделі штучного інтелекту на чіпі S11 Apple Watch виявляють, чи відбувається розмова, в якій бере участь користувач, після чого ця інформація передається до захищеного сховища на iPhone. Обробка на пристрої iPhone перетворює аудіо на стислий текст, тобто текст розмови без зайвих слів. Цей стислий текст потім шифрується та надсилається до приватної хмарної обчислювальної служби Apple (PCC) для створення резюме розмови, яке потім надсилається назад на телефон. (Резюме та будь-які резюме, використані для його створення, одразу після цього видаляються з PCC).

Огляди, до яких ви потім зможете отримати доступ на своєму iPhone, будуть доступні лише вам, а не Apple. І вони шифруватимуться під час синхронізації між вашими кількома пристроями Apple.

Аналогічно, Apple Watch передає аудіо на iPhone для обробки, щоб створити 15-секундні фрагменти для функції Live Rewind.

Apple стверджує, що жодна з цих функцій не повинна впливати на час роботи акумулятора вашого годинника чи телефону. Пізніше ці функції будуть випущені в публічній бета-версії для ширшого тестування, перш ніж стануть загальнодоступними.