感想文：深層学習の原理に迫る ―数学の挑戦―
読んだのはちょっと前なのですがメモ程度に残します。
最初に言っておくと、この本を読んだからといって別に NN の学習をめっちゃうまく出来るようになるわけではないですし、実務ですぐに役立つとも限りません。しかしながら、読んでワクワクする本だと思います。
概要
第三次人工知能（AI）ブームの中核的役割を果たす深層学習（ディープ・ラーニング）は、その高い信頼性と汎用性ゆえに様々な領域に応用されていく一方で、「なぜうまくいくのか」すなわち「なぜ優れた性能を発揮するのか」ということは分かっていない。深層学習の原理を数学的に解明するという難題に、気鋭の研究者が挑む。
おおよその内容としては、1. 昨今の深層学習の隆盛(1章)、2. 深層学習の初歩的知識(2章)、3. 数学的な解明が不十分なトピックをいくつか紹介(3,4,5章) と来て、最後に 4. 原理を解明することの意義(6章) で締めくくります。
内容は非常に平易で*1、日進月歩な深層学習のかなり新しめ*2な数学的トピックについてわかりやすく説明してくれています。実験的に確認されている、既存の数学理論では説明できない現象が何なのか、それらに対してどのような新しい理論で説明を試みているのか、といった点が非常に見どころだと思います。
感想
最近はひたすら道具として機械学習・深層学習を使う日々だったので*3、久しぶりに数学的な理論の話に触れられて新鮮な気持ちになりました。理論系の論文は読もうとするとどうしても数式との戦いになって挫折してしまうため、このような誰にでも直観的にわかる形でまとめて頂けるのは非常にありがたかったです。
「まあ学習させれば何か知らんけどうまくいくしな」で自宅のマシンで学習させる日々を過ごしていますが、改めて既存の数学理論との矛盾を説明されると本当に不思議で面白いですよね。これまで信じられてきた既存の理論と矛盾する結果が出てきて、それに追いつくために理論が再構築されていくってとてもロマンがあります。
最後の章で触れられている通り、別に原理がわからなくても現状 NN は学習できちゃうんですが、理論面の発展は工学的な動作の保証であったり、新しい展開を与えたりするものです。僕自身はあくまで使うだけの人間にすぎませんが多くの場合知らないところでお世話になっているので、理論研究は発展して行って欲しいし応援したいと思っています。
おわりに
この本は一般向けに書かれた本ですが、著者曰く
なお書籍の内容は非技術的です。技術的な方の本はまたいずれ別に出ます（締切〜
— いんそうさん (@insou) 2021年3月22日
らしいので、発売されたらそちらも読みたいですね。おそらくこの本に比べて数学的な難易度が跳ね上がるとは思いますが、バラバラと論文を追うよりは遥かに整理された形で学ぶことが出来ると思うので期待大です！
