Нихиль Будума - Основы глубокого обучения
Название: | Основы глубокого обучения | |
Автор: | Нихиль Будума | |
Жанр: | Детская образовательная литература, Околокомпьютерная литература, Управление, подбор персонала | |
Изадано в серии: | МИФ Бизнес | |
Издательство: | Манн, Иванов и Фербер | |
Год издания: | 2020 | |
ISBN: | 978-5-00146-472-3 | |
Отзывы: | Комментировать | |
Рейтинг: | ||
Поделись книгой с друзьями! Помощь сайту: донат на оплату сервера |
Краткое содержание книги "Основы глубокого обучения"
Глубокое обучение – это раздел машинного обучения, изучающий глубокие нейронные сети и выстраивающий процесс получения знаний на основе примеров. Такие крупные компании, как Google, Microsoft и Facebook* (Запрещенная организация в РФ), уделяют большое внимание глубокому обучению и расширяют свои подразделения в этой сфере. Для всех прочих глубокое обучение пока остается сложным, многогранным и малопонятным предметом.
Цель этой книги – заполнить этот пробел. Авторы разбирают основные принципы решения задач в глубоком обучении, исторический контекст современных подходов к нему и способы внедрения его алгоритмов. Для всех, кто интересуется или занимается глубоким обучением. На русском языке публикуется впервые.К этой книге применимы такие ключевые слова (теги) как: нейронные сети
Читаем онлайн "Основы глубокого обучения" (ознакомительный отрывок). [Страница - 6]
3. Необязательно, чтобы выход каждого нейрона был связан с входами всех нейронов следующего уровня. Выбор связей здесь – искусство, которое приходит с опытом. Этот вопрос мы обсудим детально при изучении примеров нейросетей.
4. Входные и выходные данные – векторные представления. Например, можно изобразить нейросеть, в которой входные данные и конкретные пиксельные значения картинки в режиме RGB представлены в виде вектора (см. рис. 1.3). Последний слой может иметь два нейрона, которые соотносятся с ответом на задачу: [1, 0], если на картинке собака; [0, 1], если кошка; [1, 1], если есть оба животных; [0, 0], если нет ни одного из них.
Заметим, что, как и нейрон, можно математически выразить нейросеть как серию операций с векторами и матрицами. Пусть входные значение i-го слоя сети – вектор x = [x1 x2 … xn]. Нам надо найти вектор y = [y1 y2 … ym], образованный распространением входных данных по нейронам. Мы можем выразить это как простое умножение матрицы, создав матрицу весов размера n × m и вектор смещения размера m. Каждый столбец будет соответствовать нейрону, причем j-й элемент сопоставлен весу соединения с j-м входящим элементом. Иными словами, y = ƒ(WTx + b), где функция активации применяется к вектору поэлементно. Эта новая формулировка очень пригодится, когда мы начнем реализовывать эти сети в программах.
(обратно)
Линейные нейроны и их ограничения
Большинство типов нейронов определяются функцией активации f, примененной к логиту logit z. Сначала рассмотрим слои нейронов, которые используют линейную функцию f(z) = az + b. Например, нейрон, который пытается подсчитать стоимость блюда в кафе быстрого обслуживания, будет линейным, a = 1 и b = 0. Используя f(z) = z и веса, эквивалентные стоимости каждого блюда, программа присвоит линейному нейрону на рис. 1.10 определенную тройку из бургеров, картошки и газировки, и он выдаст цену их сочетания.
Рис. 1.10. Пример линейного нейрона
Вычисления с линейными нейронами просты, но имеют серьезные ограничения. Несложно доказать, что любая нейросеть с прямым распространением сигнала, состоящая только из таких нейронов, может быть представлена как сеть без скрытых слоев. Это проблема: как мы уже говорили, именно скрытые слои позволяют узнавать важные свойства входных данных. Чтобы научиться понимать сложные отношения, нужно использовать нейроны с определенного рода нелинейностью.
(обратно)
Нейроны с сигмоидой, гиперболическим тангенсом и усеченные линейные
На практике для вычислений применяются три типа нелинейных нейронов. Первый называется сигмоидным и использует функцию:
Интуитивно это означает, что, если логит очень мал, выходные данные логистического нейрона близки к 0. Если логит очень велик – то к 1. Между этими двумя экстремумами нейрон принимает форму буквы S, как на рис. 1.11.
Рис. 1.11. Выходные данные сигмоидного нейрона с переменной z
Нейроны гиперболического тангенса (tanh-нейроны) используют похожую S-образную нелинейность, но исходящие значения варьируют не от 0 до 1, а от −1 до 1. Формула для них предсказуемая: f(z) = tanh(z). Отношения между входным значением y и логитом z показаны на рис. 1.12. Когда используются S-образные нелинейности, часто предпочитают tanh-нейроны, а не сигмоидные, поскольку у tanh-нейронов центр находится в 0.
Рис. 1.12. Выходные данные tanh-нейрона с переменной z
Еще один тип нелинейности используется нейроном с усеченным линейным преобразованием (ReLU). Здесь задействована функция f(z) = max(0, z), и ее график имеет форму хоккейной клюшки (рис. 1.13).
Рис. 1.13. Выходные данные --">
Книги схожие с «Основы глубокого обучения» по жанру, серии, автору или названию:
Шри Ауробиндо - Шри Ауробиндо. Основы индийской культуры Жанр: Детская образовательная литература Год издания: 1998 Серия: Шри Ауробиндо. Собрание сочинений |
Владимир Владимирович Лукашевич - Основы управления персоналом Жанр: Детская образовательная литература Год издания: 2015 |
Другие книги из серии «МИФ Бизнес»:
Елена Резанова - Работа, которая заряжает. Как не выгореть, занимаясь любимым делом Жанр: Самосовершенствование Год издания: 2022 Серия: МИФ Бизнес |
Максим Валерьевич Батырев (Комбат), Николай Лазарев - Воодушевление отделов продаж... Инструменты нематериальной мотивации Жанр: Маркетинг, PR, реклама Год издания: 2022 Серия: МИФ Бизнес |
Азим Ажар - Экспонента Жанр: Экономика Год издания: 2023 Серия: МИФ Бизнес |
Линдер Кани - Тим Кук. Гений, который вывел Apple на новый уровень Жанр: Биографии и Мемуары Год издания: 2020 Серия: МИФ Бизнес |