Вчені з МДУ дали професійним художникам і нейросетям одне завдання — відновити відсутні деталі картини. І люди, і машини впоралися з цією проблемою досить оригінально.
Василь Макаров
Співробітники факультету обчислювальної математики і кібернетики порівняли успіхи професійних художників і комп’ютерних алгоритмів відновлення зіпсованих зображень. Виявилося, що художники з цим завданням справляються набагато краще штучного інтелекту. Результати експерименту допоможуть у розвитку програм для редагування фото і відео. Тест проводився в рамках великого проекту розробки алгоритмів обробки відео.
Image inpainting — процес відновлення відсутньої частини зображення, тобто заповнення областей зображення, вміст яких невідоме. При відновленні важливо «домалювати» фотографію так, щоб не було помітно відреставрованої частини. Метод image inpainting часто використовується при видаленні зайвих об’єктів з зображення або при відновленні старих фотознімків.
Дмитро Ватолін, старший науковий співробітник лабораторії комп’ютерної графіки і мультимедіа факультету обчислювальної математики і кібернетики МГУ, пояснює: «Існує маса випадків, коли об’єкт потрібно видалити на картинці. Найбільш відомий випадок — це ретушування. Приклад сучасної модної теми — «Селфи без диваків» — коли робиш селфи, хтось обов’язково намагається хоча б в край кадру потрапити. Поточне розвиток алгоритмів скоро призведе до того, що такі фото можна буде непогано ретушувати повністю автоматично, навіть при досить складному тлі».
Михайло Єрофєєв
Вихідний набір зображень для ретуші
Раніше image inpainting вимагав великих тимчасових і фізичних витрат. Відновленням і реставрацією зображень займалися художники вручну. Проте зараз існують різні автоматичні методи малювання.
Вчені МДУ отримали результати реконструкції зображень дев’яти технологічних методів малювання і трьох професійних художників. Були взяті кілька зображень різної складності в залежності від кількості деталей на фотографії. В центрі кожного зображення був намальований чорний квадрат, який і належало замалювати штучного інтелекту і художникам. Люди і машини повинні були відновити первісний вигляд спотвореного зображення. В експерименті були використані шість методів малювання на основі нейромереж і три методи, розроблені ще до глобального тренда на штучний інтелект.
Зображення, відретушовані нейромережевими методами і класичними, порівняли між собою і з зображеннями, отретушированными художниками. Для порівняння використовувалася платформа Subjectify. us, на якій 215 осіб обирали, хто впорався з ретушуванням зображення краще, — нейромережа, класичний метод або людина. Користувачі платформи не знали автора ретуші і не бачили до цього оригінальних зображень.
Виявилося, що здібності художників перевершили результати машинного інтелекту з великим відривом. Лише в одному випадку реставрація алгоритму перевершила роботу людини. Цікаво, що зображення художників виявилися на одному рівні з оригінальними фотографіями, а іноді виглядали навіть краще.
Михайло Єрофєєв
Зображення, відновлені художником (ліворуч), класичним алгоритмом (в центрі) і штучним інтелектом (праворуч)
Перше місце серед автоматичних підходів дісталося нейросетевому методом Generative Image Inpainting. Але в деяких випадках класичні методи перевершили результати нейромережевих. Так, нейромережевої метод Generative Image Inpainting, який був запропонований в 2018 році, відновив фотографію морських хвиль гірше, ніж класичний метод Exemplar-Based Image Inpainting, запропонований 14 років тому.
Михайло Єрофєєв, молодший науковий співробітник лабораторії комп’ютерної графіки і мультимедіа, де проводили експеримент, пояснює підсумки дослідження: «У результаті можна говорити, що в більшості випадків люди справляються з відновленням зображень краще, ніж автоматичні методи, повстання машин поки не передбачається. Класичні підходи складають гідну конкуренцію новітнім нейромережевих методів. Наприклад, нейромережевої метод Generative Image Inpainting хоч і зайняв перше місце серед автоматичних методів в середньому, на окремих зображеннях поступився першістю іншим підходам, включаючи класичні. Слідом за ним йде не нейромережевої метод Content-Aware Fill з Adobe Photoshop CS5, розроблений в 2010 році, задовго до початку повсюдного застосування нейронних мереж».
Матеріал надано прес-службою МДУ їм. М. В. Ломоносова
Thanks!
Our editors are notified.