Google випустила Gemini 4 Carbon — ШІ для виявлення вразливостей у ПЗ

Google представила нову ШІ-модель Gemini 4 Carbon для виявлення вразливостей у ПЗ, виправлень безпеки та розв’язання складних інженерних завдань. 

Зазначається, що Gemini 4 Carbon продемонструвала результат 88,2% у бенчмарку з кібербезпеки SEC-bench Pro, який перевіряє здатність системи штучного інтелекту виявляти вразливості в реальному ПЗ. Модель також набрала 71% у CWE-bench за виправлення вразливостей безпеки та 54,8% в ExploitGym за результатами перевірки можливостей використання експлойтів зловмисниками. 

В Google заявляють, що Gemini 4 Carbon перевершує моделі конкурентів за всіма трьома показниками. Компанія представила Gemini 4 Carbon усього через 2 тижні після релізу Gemini 4 Argon. Нова модель вдосконалює ідеї попередньої, пропонуючи покращення у програмуванні, логічному виведенні, кібербезпеці та автономному виконанні завдань. 

На відміну від традиційних ШІ-асистентів, які реагують на звичайні запити, Gemini 4 Carbon створена для тривалих робочих процесів, що включають велику кількість кроків, інструментів та рішень. Стверджується, що команди Google спостерігали за роботою моделі протягом кількох днів під час вирішення складних інженерних завдань, включно з виявленням причин програмних помилок та розробкою виправлень для великих масивів коду. 

Можливості Carbon у сфері кібербезпеки охоплюють виявлення вразливостей, визначення їхньої реальної загрози та розробку рішень для їх усунення. У бенчмарку SEC-bench Pro модель досягла показника 88,2%, тоді як її результат 54,8% у ExploitGym відображає здатність підтверджувати вразливості безпеки за допомогою контрольованих тестів на експлуатацію. Результат 71% у тесті CWE-bench відображає ефективність у створенні робочих виправлень, які усувають глибинні вразливості програмного забезпечення.

В Google підкреслюють, що Carbon більш ніж у двічі перевищила показник продуктивності генерації безпечного коду порівняно з Argon за результатами внутрішнього тестування. Команда фахівців Chrome також встановила, що Carbon продемонструвала у 10 разів кращі результати за конкурентну модель у створенні високоякісних оновлень безпеки. 

Вона також покращила свій результат у WebDev Arena на 89 пунктів Ело, досягнувши 1768 пунктів і посівши четверте місце в таблиці лідерів. В Google заявляють, що покращення поширюються на наукові завдання, мультимодальне розуміння та повнофункціональну вебобробку. 

Google також запровадила додаткові заходи з безпеки для зниження ймовірності неналежної поведінки з боку моделі під час тривалих робочих сесій. Результати внутрішнього тестування продемонстрували, що Carbon скоротила кількість необґрунтованих тверджень приблизно вдвічі порівняно з Argon. 

У реальних умовах написання коду, де працювали команди Google, кількість критичних сповіщень про невідповідність зменшилася майже на 80%. Компанія також повідомила про 0% успішність атак у межах тесту Gray Swan, тоді як для Argon цей показник становить 0,7%.

Початково Google обмежуватиме доступ до Carbon обраною групою фахівців з кібербезпеки, а додаткові партнери отримають доступ через програму Fairwind. На Carbon діятимуть ті ж вступні ціни, що й на Argon — $2 за мільйон вхідних токенів і $10 за мільйон вихідних токенів. На кешовані вхідні токени діятиме знижка 95%.

Джерело: Google; Interesting Engineering