Как видно из названия, авторы, которые опоздали. Лаврушкин С. 10 Международная конференция Ломоносов 2015, 1317 апреля. Москва, Россия. 11 Международная конференция Super resolution in different. Чистый доход TSMC в третьем квартале 2017 года составил почти 3 млрд долларов. По данным TrendForce, цены на литийионные. Msu Super-Resolution Filter Rapidshare' title='Msu Super-Resolution Filter Rapidshare' />Фильтр MSU SuperResolution. Фильтр для высококачественного увеличения разрешения видео. Наверняка вы заметили, что тема стилизации фотографий под различные художественные стили активно обсуждается в этих ваших интернетах. Читая все эти популярные статьи, вы можете подумать, что под капотом этих приложений творится магия, и нейронная сеть действительно фантазирует и перерисовывает изображение с нуля. Так уж получилось, что наша команда столкнулась с подобной задачей в рамках внутрикорпоративного хакатона мы сделали стилизацию видео, т. В этом посте мы с вами разберемся, как это сеть. Рекомендую ознакомиться с прошлым постом перед прочтением этого материала и вообще с основами сверточных нейронных сетей. Вас ждет немного формул, немного кода примеры я буду приводить на Theano и Lasagne, а также много картинок. Этот пост построен в хронологическом порядке появления статей и, соответственно, самих идей. Иногда я буду его разбавлять нашим недавним опытом. Вот вам мальчик из ада для привлечения внимания. Первым делом стоит упомянуть статью, в которой авторы смогли показать, что нейронная сеть это не черный ящик, а вполне даже интерпретируемая вещь кстати, сегодня это можно сказать не только о сверточных сетях для компьютерного зрения. Авторы решили научиться интерпретировать активации нейронов скрытых слоев, для этого они использовали деконволюционную нейронную сеть deconvnet, предложенную несколькими годами ранее кстати, теми же Зейлером и Фергусом, которые являются авторами и этой публикации. Деконволюционная сеть это на самом деле такая же сеть со свертками и пулингами, но примененными в обратном порядке. В оригинальной работе по deconvnet сеть использовалась в режиме обучения без учителя для генерации изображений. В этот раз авторы применили ее просто для обратного прохода от признаков, полученных после прямого прохода по сети, до исходного изображения. В итоге получается изображение, которое можно интерпретировать как сигнал, вызвавший данную активацию на нейронах. Естественно, возникает вопрос а как сделать обратный проход через свертку и нелинейность А тем более через max пулинг, это уж точно не инвертируемая операция. Рассмотрим все три компонента. Обратный Re. Lu. В сверточных сетях в качестве функции активации часто используется Re. Lux max0, x, который делает все активации на слое не отрицательными. Соответственно, при обратном проходе через нелинейность необходимо получить также не отрицательные результаты. Для этого авторы предлагают использовать этот же Re. Lu. С точки зрения архитектуры Theano необходимо переопределить функцию градиента операции бесконечно ценный ноутбук находится в рецептах лазаньи, оттуда вы почерпнете детали того, что за класс Modified. Backprop. class Zeiler. BackpropModified. Backprop. def gradself, inputs, out. Но боюсь, что на словах это не так очевидно, посмотрим на визуализацию этой процедуры тут вы найдете еще больше визуализаций сверток. Обратный пулинг. Вот эта операция в отличие от предыдущих вообще говоря не инвертируема. Но нам все же хотелось бы при обратном проходе каким то способом пройти через максимум. Для этого авторы предлагают использовать карту того, где был максимум при прямом проходе max location switches. При обратном проходе входной сигнал в анпулинг преобразуется так, чтобы приближенно сохранить структуру исходного сигнала, тут действительно проще увидеть, чем описать. Результат. Алгоритм визуализации крайне прост Сделать прямой проход. Выбрать интересующий нас слой. Зафиксировать активации одного или нескольких нейронов и обнулить остальные. Сделать обратный вывод. Каждый серый квадрат на изображении ниже соответствует визуализации фильтра который применяется для свертки или весов одного нейрона, а каждая цветная картинка это та часть оригинального изображения, которая активирует соответствующий нейрон. Для наглядности нейроны внутри одного слоя сгруппированы в тематические группы. В общем внезапно оказалось, что нейронная сеть выучивает ровно то, о чем писали Хьюбел и Вейзел в работе про структуру зрительной системы, за что и были удостоены Нобелевской премии в 1. Вручение Пенсионного Удостоверения Прикольно На Юбилее. Благодаря этой статье мы получили наглядное представление того, что выучивает сверточная нейронная сеть на каждом слое. Именно эти знания позволят позже манипулировать содержимым генерируемого изображения, но до этого еще далеко, следующие несколько лет ушли на совершенствование способов. Помимо этого, авторы статьи предложили способ анализа, как лучше выстраивать архитектуру сверточной нейронной сети для достижения лучших результатов правда, Image. Net 2. 01. 3 они так и не выиграли, но попали в топ UPD таки оказывается выиграли, Clarifai это они и есть. Вот пример визуализации активаций, используя deconvnet, сегодня этот результат смотрится уже так себе, но тогда это был прорыв. Данная статья посвящена исследованию методов визуализации знаний, заключенных в сверточной нейронной сети. Авторы предлагают два способа визуализации, основанных на градиентном спуске. Class Model Visualisation. Итак, представьте, что у нас есть обученная нейронная сеть для решения задачи классификации на какое то количество классов. Обозначим за значение активации выходного нейрона, который соответствует классу c. Тогда следующая задача оптимизации дает нам ровно то изображение, которое максимизирует выбранный класс Такую задачу легко решить, используя Theano. Обычно мы просим фреймворк взять производную по параметрам модели, но в этот раз мы считаем, что параметры фиксированы, а производная берется по входному изображению. Следующая функция выбирает максимальное значение выходного слоя и возвращает функцию, которая вычисляет производную по входному изображению. В оригинальной статье авторы используют следующий процесс для генерации изображений, которые максимизируют выбранный класс Инициализировать начальное изображение нулями. Вычислить значение производной по этому изображению. Изменить изображение, прибавив к нему полученное изображение от производной. Вернуться к пункту 2 или выйти из цикла. Получаются такие вот изображения А если инициализировать первое изображение реальной фотографией и запустить этот же процессНо на каждой итерации будем выбирать случайный класс, обнулять остальные и вычислять значение производной, то получится вот такой вот deep dream. Почему же столько морд собак и глаз Все просто в имаджнете из 1. А также много классов, где просто есть люди. Class Saliency Extraction. Если этот процесс инициализировать реальной фотографией, остановить после первой итерации и отрисовать значение производной, то мы получим такое изображение, прибавив которое к исходному, мы увеличим значение активации выбранного класса. Опять результат. Важно отметить, что это новый способ визуализации активаций ничто же не мешает нам фиксировать значения активаций не на последнем слое, а вообще на любом слое сети и брать производную по входному изображению. Следующая статья объединит оба предыдущих подхода и даст нам инструмент к тому, как настраивать трансфер стиля, который будет описан позже. Данная статья вообще говоря не о визуализации, а о том, что замена пулинга сверткой с большим страйдом не приводит к потере качества. Но как побочный продукт своих изысканий авторы предложили новый способ визуализации фич, который они применили для более точного анализа того, что выучивает модель. Их идея в следующем если мы просто берем производную, то при деконволюции обратно не проходят те фичи, которые были на входном изображении меньше нуля применение Re. Lu для входного изображения. И это приводит к тому, что на пропагируемом обратно изображении появляются отрицательные значения. С другой стороны, если использовать deconvnet, то от производной Re. Lu берется еще один Re. Lu это позволяет не пропускать обратно отрицательные значения, но как вы видели результат получается. Но что если объединить эти два метода Guided. BackpropModified. Backprop. def gradself, inputs, out.