IEEE Access: Ученые улучшили модели автоматической обрезки изображений

Обрезка изображений — важная задача в разных областях: от социальных сетей и электронной коммерции до компьютерного зрения.

Обрезка помогает сохранить качество изображения, не меняя его размер и не расходуя вычислительные ресурсы. Она также полезна, когда изображение должно соответствовать определённому соотношению сторон (например, в миниатюрах).

За последние десять лет инженеры разработали различные модели машинного обучения для автоматической обрезки изображений. Эти модели сохраняют наиболее важные части входного изображения.

Модели машинного обучения могут ошибаться и быть необъективными, что иногда приводит пользователей к юридическим проблемам. Например, в 2020 году компания X (бывший Twitter) получила иск из-за того, что её функция автоматического кадрирования скрыла информацию об авторских правах на изображении. Чтобы избежать подобных проблем, нужно понять, почему модели машинного обучения для обрезки изображений работают неудачно.

Исследователи из Университета Дошиша (Япония) разработали новые методы создания сложных примеров для задачи обрезки изображений. Они вносят незаметные искажения в изображение, чтобы обмануть модель и заставить её обрезать нужные области, даже если изначально она этого не планировала.

Докторант Масатомо Йошида, ведущий исследователь, объясняет мотивацию работы так:

Нужно доработать модели обрезки изображений, чтобы они учитывали намерения пользователей и были беспристрастными.

В исследовании участвовали Масатомо Йошида и Харуто Намура из Высшей школы науки и техники Университета Дошиша (Киото, Япония), а также Масахиро Окуда с факультета науки и техники того же университета.

Исследователи разработали два подхода для создания негативных примеров: «белый ящик» и „чёрный ящик“.

  • Метод «белого ящика» требует доступа к внутренним механизмам целевой модели. Он предполагает итеративный расчёт возмущений входных изображений на основе градиентов модели. Этот подход использует модель предсказания взгляда, чтобы определить ключевые точки на изображении и затем манипулирует ими. В результате размер возмущений уменьшается на 62,5% по сравнению с базовыми методами на экспериментальном наборе данных изображений.
  • Подход «чёрного ящика» использует байесовскую оптимизацию, чтобы эффективно сузить пространство поиска и сосредоточиться на определённых областях изображения. Как и подход „белого ящика“, он включает повторяющиеся процедуры, основанные на картах салиентности взгляда. Вместо внутренних градиентов используется древовидный оценщик Парзена для выбора и оптимизации координат пикселей, влияющих на солёность взгляда. Это позволяет получить нужные изображения.

Методы «чёрного ящика» более применимы в реальных ситуациях и важны для кибербезопасности.

Аспирант Харуто Намура, один из участников исследования, рассказал, что оба подхода дают хорошие результаты.

Наши методы лучше существующих и могут эффективно применяться на практике, например, в Twitter.

Это исследование — шаг вперёд в создании надёжных систем искусственного интеллекта. Оно важно для доверия общества к таким системам.

Повышение эффективности генерации состязательных примеров для обрезки изображений поможет исследованиям в области ИИ и решению насущных проблем.

По словам профессора Масахиро Окуда, исследование выявляет уязвимые места в моделях ИИ и способствует созданию более справедливых систем.

Результаты опубликованы в издании IEEE Access.

01.08.2024


Подписаться в Telegram



Net&IT

Студенты ТИСБИ разработали проект онлайн-платформы для геймеров
Студенты ТИСБИ разработали проект онлайн-платформы для геймеров

Студенты Университета управления ТИСБИ в ...

Nature: Созданные ИИ тексты будут размечаться водяными знаками
Nature: Созданные ИИ тексты будут размечаться водяными знаками

Исследователи из лондонской лаборатории G...

Российская игра о наполеоновских войнах станет бесплатной
Российская игра о наполеоновских войнах станет бесплатной

У российской аудитории растет интерес к в

В НГУ запустили пилотный кластер суперкомпьютерного центра «Лаврентьев»
В НГУ запустили пилотный кластер суперкомпьютерного центра «Лаврентьев»

В Новосибирском государственном университете з...

Эксперты МИФИ объяснили решение Microsoft и Google о мирном атоме
Эксперты МИФИ объяснили решение Microsoft и Google о мирном атоме

Технологические корпорации всё чаще обращ...

HB&ET: Пожилые чаще молодых относятся к ИИ как к кому-то живому
HB&ET: Пожилые чаще молодых относятся к ИИ как к кому-то живому

В исследовании Имперского колледжа Лондона люд...

В МФТИ создали ПО для нефтяников и золотодобытчиков
В МФТИ создали ПО для нефтяников и золотодобытчиков

Сотрудники МФТИ предложили цифровое решение, к...

Студенты КНИТУ создали двуязычного ИИ-бота для туристов
Студенты КНИТУ создали двуязычного ИИ-бота для туристов

Студенты КНИТУ создали туристического бота с&n...

ACS Photonics: Разработаны улучшенные очки дополненной реальности
ACS Photonics: Разработаны улучшенные очки дополненной реальности

Дополненная реальность накладывает цифровые из...

Поиск на сайте

Знатоки клуба инноваций


ТОП - Новости мира, инновации

Российские ученые предложили использовать вирус растений для лечения саркомы
Российские ученые предложили использовать вирус растений для лечения саркомы
Menopause: Ученые заподозрили роль эстрогена в развитии астмы
Menopause: Ученые заподозрили роль эстрогена в развитии астмы
AEM: Гибридный полупроводник позволит лучше понять спинтронику
AEM: Гибридный полупроводник позволит лучше понять спинтронику
FCoSc: Гигантские крысы поборются с незаконной торговлей дикими животными
FCoSc: Гигантские крысы поборются с незаконной торговлей дикими животными
В России разработали искусственные кости и новые методы лечения позвоночника
В России разработали искусственные кости и новые методы лечения позвоночника
TE&E: Животные потребляют алкоголь чаще, чем мы думаем
TE&E: Животные потребляют алкоголь чаще, чем мы думаем
Волнообразные упражнения со штангой: польза или вред
Волнообразные упражнения со штангой: польза или вред
JA&FC: Сорго обогащает рацион питания биоактивными соединениями
JA&FC: Сорго обогащает рацион питания биоактивными соединениями
Nature Communications: Жизнь все-таки можно повернуть назад
Nature Communications: Жизнь все-таки можно повернуть назад
МАИ: Дроны-дефектоскописты уступают человеку в точности, зато берут скоростью
МАИ: Дроны-дефектоскописты уступают человеку в точности, зато берут скоростью
EBioMedicine: Создан инструмент для выявления сепсиса у новорожденных
EBioMedicine: Создан инструмент для выявления сепсиса у новорожденных
Численное моделирование повысит эффективность 3D-печати из стали 316LSi
Численное моделирование повысит эффективность 3D-печати из стали 316LSi
Создан особо пластичный алюминиевый сплав для высокотехнологичных отраслей
Создан особо пластичный алюминиевый сплав для высокотехнологичных отраслей
Влияние цвета в архитектуре на самоконтроль человека: мнение эксперта МХПИ
Влияние цвета в архитектуре на самоконтроль человека: мнение эксперта МХПИ
Томские ученые представили цифровое решение для оптимизации НПЗ
Томские ученые представили цифровое решение для оптимизации НПЗ

Новости компаний, релизы

Международные эксперты оценили разработанную для нижегородского завода технологию
Регистрация сми на IV конгресс молодых ученых продлевается до 6 ноября
Фестиваль научных театров «Наука всем!» прошёл в Санкт-Петербурге
На старт! Внимание! MITEX!
Пироговская олимпиада для школьников по химии и биологии