밑바닥부터 시작하는 딥러닝 4

 

개발자로 20년을 보내고 있지만 큰 파도로 다가온 AI의 물결에 개발자로 살아가기에는 시간이 지날수록 힘들어지는 것 같습니다. 특히나 춘추전국시대처럼 거대 기업의 각축장이 된 지금,   Open AI를 선두로 마이크로 소프트, 구글등 많은 기업들이 플랫폼을 발표하고 있습니다. 이런 흐름에 맞추어서 몇 년 전부터 딥러닝, 머신러닝에 대해서 학습을 하고 있지만 수학이라는 벽에 멈추어서 고등 수학부터 차근히 학습하는 중에 만난 도서입니다. 

이 도서는 "밑바닥부터 시작하는 딥러닝"이라는 부제 처럼 기본적인 문제에 대한 설명과 해석을 다양한 이미지와 수학 공식으로 풀고 Python으로 코드를 통해 확인할 수 있게 구성하고 있으며, 행동이 어떤 환경에 놓여져 있을 때 행동을 취한 결과로 환경의 상태라 변하고 보상을 받음과 동시애 변화된 새로운 상태를 관찰은 보상의 극대화하는 강화학습에 대해서 다음과 같이 설명하고 있습니다.

• 여러 후보 가운데 가장 좋은 것을 순차적으로 찾는 '밴디트 문제' 풀어보기(1장)
• 일반적인 강화 학습 문제를 ‘마르코프 결정 과정’으로 정의하기(2장)
• 마르코프 결정 과정에서 최적의 답을 찾는 데 핵심이 되는 ‘벨만 방정식’ 도출하기(3장)
• 벨만 방정식을 풀기 위한 방법: 동적 프로그래밍(4장), 몬테카를로법(5장), TD 법(6장)
• 딥러닝에 대해 알아보고 딥러닝을 강화 학습 알고리즘에 적용하기(7장)
• DQN을 구현하고 DQN을 확장한 방법 알아보기(8장)
• DQN과는 다른 접근법: ‘정책 경사법’ 알고리즘(9장)
• A3C/DDPG/TRPO/레인보우 알고리즘과 심층 강화 학습(10장)

가장 간단한 문제에 속하는 밴티드 문제를 슬롯머신으로 설명하고 수식으로 전개되는 시키고 알고리즘화 하여 Python코드로 풀어가는 과정 속에서 어렵게 느껴지던 수학이 책 속의 내용으로 정리되는 것을 느끼게 됩니다. 모든 장이 하나하나 문제에 대한 해답을 수식으로 풀어 가면서 코드를 통해 확인하는 과정은 읽은 독자에게 새로운 맛을 느끼게 합니다.

특히 7장의  딥러닝 프레임워크인 DeZero를 사용한 신경망을 6장에서 설명한 Q러닝을 신경망을 사용하여 구현하는 과정에서 DeZero에 대한 기본적인 사용법과 기능을 설명하고 있어서 Python을 알고 있는 저에게는 밑바닥부터 시작하는 딥러닝 3을 읽지 않아도 이 도서를 학습하는 데는 문제가 없어서 좋았습니다.

최근 각광받고 있는 LLM(Large Language Model) 모델인 ChatCPT의 프롬프트를 어떻게 작성하면 좋은 답변을 받을 수 있는지에 대해서 강화 학습을 조그나마 이해하면서 알게 되어 도움이 되었으며 앞으로 AI 시대에 개발자로 살아가기 위해 막연했던 부분이 풀린 것 같습니다. 

이 도서는 데이터 과학자, 데이터 엔지니어 뿐만 아니라 AI 시대를 살아가는 개발자에게 어떻게 AI를 활용하는데 기초를 만들려고 하는 분들에게 추천합니다.

자바 진영에서 많이 사용하는 Spring Framework에서도 Spring AI Project를 진행하고 있으며 v0.8.0(2024.02) 발표하고 있습니다. 

 "한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."