도서 소개

에이콘 데이터과학 시리즈. 이 책은 인공지능 기술에서 가장 중심에 해당하는 딥러닝 알고리즘의 핵심인 'Deep Belief Network'를 'CUDA'와 함께 다루면서 딥러닝의 구조와 원리를 이해하고, 이러한 알고리즘이 GPGPU에서 동작하기 위해 어떠한 개념과 기법들이 적용되고 있는지 확인해볼 수 있는 책이다.

1장, '소개'에서는 다중 레이어 피드포워드 신경망에 대해 알아보고 Deep Belief Nets란 무엇인지 알아보고, 2장, '감독 피드포워드 신경망'에서는 오차 역전파에 대해 알아보고 멀티스레드를 지원하는 CUDA 기반의 기울이 연산 코드에 대해 알아본다.


3장, '제한된 볼츠만 머신'에서는 RBM(Restricted Boltzmann Machine)의 특이점을 알아보고, 최대 발생 가능 훈련에 대해 알아보고, 4장, '탐욕적인 훈련'은 훈련 알고리즘에 대해 알아 본 후, 생성적 샘플링에 대해 다루며, 5장, 'DEEP 사용 매뉴얼'에서는 개략적인 DEEP 1.0 프로그램의 사용 매뉴얼을 소개한다.

  출판사 리뷰

★ 요약 ★

이 책은 인공지능 기술에서 가장 중심에 해당하는 딥러닝 알고리즘의 핵심인 'Deep Belief Network'를 'CUDA'와 함께 다루면서 딥러닝의 구조와 원리를 이해하고, 이러한 알고리즘이 GPGPU에서 동작하기 위해 어떠한 개념과 기법들이 적용되고 있는지 확인해볼 수 있는 책이다.

★ 이 책에서 다루는 내용 ★

■ Deep Belief Nets 패러다임에 대한 학습 동기를 제공한다.
■ 대부분의 일반적인 Deep Belief Nets의 구성 요소들을 위한 중요한 함수와 수식들을 제시하고, 정당성에 대해 연구한다.
■ 일반적인 Deep Belief Nets 패러다임을 위한 훈련, 실행, 분석 알고리즘들을 언어 독립적인 형태로 제공한다.
■ 이 책에 수록돼 있는 DEEP 프로그램의 상세한 사용자 매뉴얼은 홈페이지(TimothyMasters.info)에서 무료로 다운로드할 수 있다. 이 책에서는 이 프로그램의 내부적인 동작 원리를 상세하게 다룬다.
■ 여러 가지 필수적인 Deep Belief Nets 알고리즘을 구현한 C++ 코드를 제공한다. 윈도우상에서 실행되는 멀티스레드 버전의 구현물과 더불어 nVidia 비디오카드의 슈퍼 컴퓨팅 성능을 활용할 수 있도록 CUDA C 기반으로 구현한 코드도 제공한다.

★ 이 책의 대상 독자 ★

이 책은 신경망에 대해 이미 기본적인 지식이 있으며, Deep Belief Nets에 대해 학습하고 실험해보면서 DEEP 프로그램도 구현해보고자 하는 독자를 대상으로 한다.

★ 이 책의 구성 ★

1장, '소개'에서는 다중 레이어 피드포워드 신경망에 대해 알아보고 Deep Belief Nets란 무엇인지 알아본다.

2장, '감독 피드포워드 신경망'에서는 오차 역전파에 대해 알아보고 멀티스레드를 지원하는 CUDA 기반의 기울기 연산 코드에 대해 알아본다.

3장, '제한된 볼츠만 머신'에서는 RBM(Restricted Boltzmann Machine)의 특이점을 알아보고, 최대 발생 가능 훈련에 대해 알아본다.

4장, '탐욕적인 훈련'은 훈련 알고리즘에 대해 알아 본 후, 생성적 샘플링에 대해 다룬다.

5장, 'DEEP 사용 매뉴얼'에서는 개략적인 DEEP 1.0 프로그램의 사용 매뉴얼을 소개한다.

  작가 소개

저자 : 티모시 마스터즈
수리 통계학 분야에서 수치 계산(numerical computing) 전공으로 박사 학위를 받았다. 그 이후 독립적인 컨설턴트로서 정부와 산업 기관에서 지속적인 경력을 쌓았다. 초기 연구 분야는 고고도(high-altitude) 촬영 사진에서 자동 특징(feature) 추출과 관련된 것들이며, 홍수와 가뭄 예측 숨겨진 미사일 저장탑 탐지 위협적인 군사용 차량 확인 등의 다양한 애플리케이션을 개발했다. 그 후에는 침생검(needle biopsies)상에서 유익한 세포와 유해한 세포를 구별해내는 알고리즘 개발을 위해 의료 연구원으로 근무했다. 이후 20년 동안은 주로 자동화된 경제 마켓 트레이딩 시스템을 평가하기 위한 알고리즘을 개발했다. 지금까지 예측 모델을 실무에 적용하는 방법에 대한 주제로, 『Practical Neural NetworkRecipes in C++』(Academic Press, 1993), 『Signal and Image Processing with Neural Networks』 (Wiley, 1994), 『Advanced Algorithmsfor Neural Networks』 (Wiley, 1995), 『Neural, Novel, and Hybrid Algorithmsfor Time Series Prediction』 (Wiley, 1995), 『Assessing and Improving Predictionand Classification』 (CreateSpace, 2013) 등을 저술했다. 이 책에서 활용하는 코드는 그의 홈페이지에서 다운로드할 수 있다.

  목차

1 소개
__이 책의 대상 독자
__다중 레이어 피드포워드 신경망 개요
__Deep Belief Nets란 무엇이며, 왜 이 모델이 좋은 것인가?

2 감독 피드포워드 신경망
__오차 역전파
____SoftMax 출력 계산 기법을 이용한 분류 작업
__기울기 계산 수행 소스코드
__가중치 패널티
__멀티스레드를 지원하는 기울기 연산
__CUDA 기반의 기울기 연산 코드
____기본 아키텍처
____간단한 예
____초기화
____은닉층 뉴런 활성화
____출력 뉴런 활성화
____oftMax 출력
____출력 델타
____출력 기울기
____첫 번째 은닉층의 기울기
____중간 은닉층들의 기울기
____기울기 가져오기
____평균 제곱 오차 연산의 효율을 향상 시켜주는 절감 알고리즘
____로그 발생 확률 연산의 효율을 향상시켜주는 절감 알고리즘
____총정리
__기본적인 훈련 알고리즘
____첫 가중치를 구하기 위한 담금질 모사 알고리즘
____최적의 출력 가중치 계산을 위한 특이값 분해
____통계적 기울기 하강
____기울기 최적화의 켤레 개념

3 제한된 볼츠만 머신
__제한된 볼츠만 머신이란?
____재구조화 오차
__최대 발생 가능 훈련
____대조적 발산
____가중치 패널티
____희소성 유도
____초기 가중치 찾기
____은닉 뉴런 바이어스
____가시 뉴런 바이어스
____재구조화 오차 구현 코드
____멀티스레드 기반의 초기 가중치 선택
____통계적 기울기 하강 알고리즘의 기본 원리
____핵심 알고리즘
____배치 단위로 에포크 분할
____에포크 뒤섞기
____학습률과 모멘텀 업데이트

  회원리뷰