Штучний інтелект по-новому: що таке Apple Intelligence і які функції для нас готує компанія

Як ми знаємо, компанія відмовилася від створення власного чат-бота, оскільки не хоче конкурувати з найбільшими гравцями цього ринку, які вже випустили власні рішення, а за той час, поки Apple роздумувала, встигли зробити багато кроків уперед. Тож інсайдери повідомляють, що було вирішено укласти угоди про використання сторонніх сервісів у смартфонах та інших пристроях бренду, а не працювати над своїм, на що явно підуть роки. Принаймні так начебто буде спочатку. Чи означає це, що компанія також не створить колись власну мовну модель, невідомо.

Apple Intelligence

Apple Intelligence – це назва цілого набору функцій штучного інтелекту для iPhone, Mac, iPad та інших пристроїв. Це не якась окрема мовна модель, на кшталт GPT чи Gimini, на базі якої побудують різні програми, сервіси та функції.

Функції Apple Intelligence використовують комбінацію моделей генеративного ШІ, що працюють як на пристрої, так і на сервері. Тут і персоналізоване визначення пріоритетів сповіщень на iPhone, і інструменти генеративного письма в додатках, і генерування зображень, нова Siri, підсумовування листів на пошті, Genmoji, доступ до GPT-4o, і ще багато іншого. Apple заявляє, що її генеративний ШІ вирізняється тим, що персоналізується під ваш індивідуальний контекст, зберігаючи при цьому конфіденційність.

Apple Intelligence працює лише на найновіших смартфонах, планшетах і комп'ютерах Mac. Це iPhone 15 Pro і 15 Pro Max, а також на iPad або Mac з чипами M1 або новіших версій, і лише тоді, коли їхня мова буде встановлена на англійську. Функції почнуть впроваджуватися цієї осені в iOS 18, iPadOS 18 і macOS Sequoia. Для iPhone 16 вони будуть доступні вже з коробки.

Детальніше про функції

Apple заявила, що її функції штучного інтелекту виконуватимуть дії між додатками. Тобто ви можете переносити згенерований контент відразу в інші програми, а також виконувати різні дії "посилаючись на один додаток, щоб виконати дію в іншому". Наприклад, попросити відтворити подкаст, який вам надіслав друг. Велику частину цього візьме на себе новий голосовий асистент Siri.

Siri стає розумнішою завдяки штучному інтелекту

Коли ви викликаєте Siri, вона матиме "екранну обізнаність", тобто зможе розуміти, що відбувається на екрані й про що ви запитуєте. Судячи з усього, поки що ця можливість працюватиме з обмеженою кількістю додатків, але компанія обіцяє, що з часом перелік буде розширюватися, включаючи як власні застосунки від Apple, так і будь-які від інших розробників.

Також тепер ви зможете друкувати для Siri, а не лише розмовляти.

Компанія каже, що багато функцій працюватимуть на пристрої, де це можливо, задля забезпечення кращої конфіденційності даних. Але коли ви попросите щось складніше, ваш пристрій перенаправить запит на сервери.

Генерування зображень

Створення зображень є одним з головних стовпів Apple Intelligence, і Apple називає його Image Playground. Хоча ви зможете отримати доступ до інструментів Image Playground з таких програм, як Повідомлення, Нотатки та Keynote, Apple також створила спеціальний додаток Image Playground, який вийде цієї осені.

Image Playground / Фото Apple

В Image Playground усе починається з вибору стилю зображення. Функція підтримує три стилі:

Анімація.
Ілюстрація.
Ескіз.

Звідси ви можете дослідити низку концепцій для зображень, використовуючи існуючі категорії, такі як аксесуари, теми, місця та костюми, але, судячи з усього, можливості генерування зображень у реалістичному стилі не буде.

Наступний крок — ввести опис того, що ви очікуєте отримати. Якщо ви хочете включити в зображення когось із ваших знайомих, можете вибрати їх з вашої бібліотеки фотографій.

Вся генерація в Image Playground відбувається на пристрої. Щойно ви створили зображення в Image Playground, його можна легко зберегти в додатках "Фотографії" або "Файли" або експортувати в іншу програму, щоб поділитися з іншими.

Створення аватара реальної людини в космічному стилі на основі фотографії / Фото Apple

Apple дозволить розробникам отримати доступ до API для включення Image Playground у свої власні застосунки.

Genmoji

Apple також запускає Genmoji – нову функцію, яка генеруватиме смайлики (емодзі), яких немає у звичайному списку.

Ми всі напевно стикалися з ситуацією, коли хотіли відправити смайлик для якоїсь особливої ситуації, але потрібного не знайшлось. Завдяки iOS 18 компанія Apple залишить цю проблему в минулому. Genmoji дозволяє створювати нові емодзі спеціально для вас. Все, що вам потрібно зробити, це ввести те, що ви шукаєте, і iOS 18 представить вам новостворений емодзі для використання.

Оскільки емодзі насправді є символами юнікоду, які працюють на різних платформах, Apple Genmoji технічно не буде працювати так само, як інші емодзі, оскільки якби це було так, вони б не відображалися належним чином на пристроях, що не належать Apple. Замість цього Apple створює Genmoji як зображення. Для користувачів це не матиме великого значення, але це технічна деталь, на яку варто звернути увагу.

Genmoji буде чудовим інструментом для вираження різноманітних емоцій, які емодзі зараз не охоплюють.

Функція Genmoji / Фото Apple

Apple впроваджує штучний інтелект у додаток "Фотографії"

Ви вже можете шукати конкретні об'єкти, зображені на фото у вашій бібліотеці. Наприклад, вам треба знайти знімки, де ви на каруселі, але це було так давно, що з того часу було зроблено тисячі інших фотографій. Щоб не гортати всі ці гори контенту, просто опишіть, що треба знайти, звичайними словами.

Також з'являється функція, схожа на "Чарівну гумку" від Google, яка дозволить видаляти небажані об'єкти з фото, заміщаючи фон за допомогою ШІ.

Генерування тесту

Звісно, не могла компанія обійтися й без генерування тесту. Ви зможете створювати його з нуля за запитом у різних тестових програмах Apple чи сторонніх розробників, месенджерах, додатках пошти та інших, а також перефразовувати і підсумовувати (резюмувати).

Генерування тексту / Фото Apple

Угода Apple з OpenAI

Зрозуміло, що все це повинно працювати на якійсь мовній моделі, і це буде GPT-4o від OpenAI, яка лежить в основі ChatGPT. Apple заявляє, що запитає вашого дозволу, перш ніж надсилати запитання, документи чи фотографії до ChatGPT, і після того, як він відповість, Siri надасть вам свої відповіді.

Компанія каже, що починає з найкращого чат-бота, але згодом підтримуватиме й інші моделі штучного інтелекту. Так, Крейг Федерігі розповів, що Apple сподівається додати Google Gemini та інші моделі ШІ в iOS 18 згодом.

Ми думаємо, що в кінцевому підсумку люди будуть віддавати перевагу певним моделям, які вони хочуть використовувати, можливо, тим, які чудово підходять для творчого письма, або тим, які вони вважають за краще для кодування. Тож ми хочемо дати можливість користувачам, зрештою, обрати модель за власним бажанням,
– каже Федерігі, старший віцепрезидент з розробки програмного забезпечення Apple.

Тому в майбутньому ми можемо розраховувати на інтеграцію з різними моделями, такими як Google Gemini. Конкретних анонсів поки не роблять, але компанія каже, що це той напрямок, у якому вона буде рухатися.

Компанія також заявляє, що ChatGPT приховуватиме IP-адреси. Згідно з договором, OpenAI також не зберігатиме запити користувачів. Нарешті, хоча вам не потрібно буде створювати обліковий запис або платити за ChatGPT, Apple заявляє, що передплатники можуть підключити свої облікові записи для використання платних функцій в рамках вбудованих інтеграцій. OpenAI опублікувала таку ж інформацію на своєму сайті.

Private Cloud Compute

Для того, що досягти максимальної приватності, Apple запускає серверну інфраструктуру, на якій працюватимуть найскладніші функції, які не можуть бути виконані на пристрої, а вимагають роботи на серверах. Це називається Private Cloud Compute. Apple заявляє, що це дозволить більш потужним генеративним моделям штучного інтелекту обробляти ваші дані, не порушуючи при цьому конфіденційності. При цьому ваші дані ніколи не зберігаються і не стають доступними для Apple при використанні Private Cloud Compute.