【画像処理 & 機械学習】論文LT会！ #4 @ LPIXEl に参加しました。
LPIXElさんで 2019/7/4 に行われた論文LT会に参加してついでに論文紹介LTしてきました。実は #2 から連続で参加してるのでこれが3回目の参加になります。
こちらのイベントは基本的に論文を読んでLT発表することが主目的なので(聴講枠の方が少ない)、総じて参加者のモチベーションが高い気がします (やっぱり自分も準備してきた分他の人のやつをより一層しっかり聞きたくなるんでしょうか。少なくとも僕はそうです)。あと少人数なのでLTしやすいというのも良いところ。
毎回とても勉強になるのですが、今回はいつにも増して(といってもまだ3回目の参加ですが) 面白い会だったので参加メモ的なのを書くことにしました。
ちなみに前回(#3)は id:mocobt さんがまとめを書いてくださってるので是非ご覧ください。
以下が紹介論文の一覧なります。勿論、僕が誤って理解している場合もあるのでご注意を。
- LTメモ
- Exploring the Limits of Weakly Supervised Pretraining (ECCV2018)
- Bounding Box Regression with Uncertainty for Accurate Object Detection (CVPR 2019)
- AlphaX: eXploring Neural Architectures with Deep Neural Networks and Monte Carlo Tree Search (arXiv:1805.07440)
- MINA: Multilevel Knowledge-Guided Attention for Modeling Electrocardiography Signals (IJCAI2019)
- Deep learning can predict microsatellite instability directly from histology in gastrointestinal cancer (nature medicine, June 3, 2019)
- Why ReLU Networks Yield High-Confidence Predictions Far Away From the Training Data and How to Mitigate the Problem (CVPR2019)
- Understanding and Improving Transformer From a Multi-Particle Dynamic System Point of View ( arXiv:1906.02762)
- Manifold Mixup: Better Representations by Interpolating Hidden States (ICML2019)
- おわりに
- 余談
振り返って：ポエム、あるいは自己紹介的な何か
※この記事に技術的要素はありません。Twitter で垂れ流そうとしたら長くなりそうだったためにブログに書いたネガティブポエムなので暇つぶし程度にご覧下さい。
はじめに
最近、でもないか、転職の話が Twitter では毎日のように流れてきます。
直近の僕の観測範囲で印象に残っている例だと、某🐸るるさんが転職決めて沢山の kaggler から祝福を受けていたり、ACL の論文のまとめを上げまくってる激つよな方が転職決めたり、退職カウントダウンカレンダーを始める方がいたり、正体不明の画家に名前が似ている人が転職したり...
現職に新卒で入ってもうすぐ3年経つし、何となくキャリアって考えないといけいないのかなって思って雑に書きました。大したものではなく、気の迷いで公開したくなっただけ。
続きを読むNeurIPS2018読み会@PFN 聴講メモ(テーマ発表)
先日 1/26に NeurIPS2018読み会@PFN に聴講参加してきました. この投稿はそのメモ(+振り返りでの補完)にります.
実はブログに公開するつもりはなかったのですが, 用事で参加できなくなった会社の先輩に「後でメモを共有して欲しい」と言われてメモの整理のために振り返ってたらやたら時間がかかったので「これだけ労力かかったしブログにも載せとくか」というのが背景です.
あくまで「こんな発表があったよ！」という雰囲気が伝わればいいかなというものなので, リンクを張っている資料などと一緒に見る前提です. できるだけ論文のリンクも張りました.
イベントの内容としては
- NeurIPS2018 全体の概要についての発表
- 特定のテーマに関する発表: 5件
- 個別論文に関する発表: 9件(ただし1件は発表者が体調不良(インフル?)によりスライドのみ上がっている)
です.テーマ発表に関しては少し長めに, 個別論文に関しては一口メモ程度... という予定だったのですが, テーマ発表振り返るだけで力尽きたので個別論文紹介に関してはまとめるにしても別の記事にしようと思います. (そうしないといつまで経っても公開できないので... )
※僕の興味の程度(& 集中力)によって詳細度が大きく異なります(特にテーマ1: disentangled representations は「めっちゃ興味があった+一番最初のテーマ発表で集中力があった」ので後から見返すとメモが異常に詳しい)。詳細を知りたい場合はスライドを参照。
- NeurIPS全体概要
- 今年のトピック：名前が変わった
- 統計情報
- 資料など
- その他
- テーマ発表1: Generative Adversarial Networks and Disentangled Representations @ NeurIPS2018
- はじめに
- GANs と Disentagled Representations の関係
- NeurIPS2018 での GANs and disentagled representations(論文紹介)
- FD-GAN: Pose-guided Feature Distilling GAN for Robust Person Re-identification
- Unsupervised learning of Object Landmark
- A Unified Feature Disentangler for Multi-Domain Image Translation and Manipulation
- Image-to-image translation for cross-domain disentanglement
- Unsupervised Adversarial Invariance
- 宣伝
- Q&A
- テーマ発表2: Automatic Machine Learning @ NeurIPS2018
- what is AutoML?
- AutoML@NeurIPS2018
- HPO@NeuriPS2018
- NAS@NeurIPS2018
- Meta Learning@NeurIPS2018
- Conpetition Track: AutoML3
- 論文紹介(2本)
- Massively Parallel Hypaerparameter Tuning
- Neural Architecture Optimaization
- テーマ発表3: Neural Networks for Graph Data @ NeurIPS2018
- Graph のおさらい
- GNN @ NeurIPS2018
- 論文紹介
- Hierarchical Graph Representation Learning with Differentiable Pooling
- Link Prediction Based on Graph Neural Networks
- Graph Convolutional Policy Network for Goal-Directed Molecular Graph Generation
- まとめ
- テーマ発表4: Reinforcement Learning @ NeurIPS2018
- RL @ NeurIPS2018
- 論文などの紹介
- Go-Explore: A new type of algorithm for hard-exploration problems
- Data-Efficient Hierarchical Reinforcement Learning
- Non-delusional Q-learning and value-iteration
- 話者によるまとめ
- テーマ発表5: Modeling the Physical World @ NeurIPS2018
- 感想
kaggle で初めてメダル(silver) を取ったものの、お詫びせざるを得ない件
チーム(AgroDesign) で参加していた Human Protein Atlas Image Classification で22位になり、silver medal を獲得しました！
前参加した台風コンペ(@SIGNATE)では被災して 最下位に落ちたため、この結果は本当に嬉しかったです。正直言うと gold 取りたかったですが 「全部やる」努力が足りませんでした...。
kaggle 自体はずいぶん前に登録していたものの、過去に何度かやろうとしては放置するを繰り返していたので、ちゃんと諦めずに完走できたのは本当に良かったです。そしてそれが最後二日での「脳汁ドバア」(Public で 100位、Private では150位 程の更新) に繋がりました。
というわけで何をやったかと、今回は計算資源的にかなり支援を受けてたのでそこら辺の経緯を書こうと思います。毎度ながらダラダラ書いてしまったので適当に読んで頂ければと思います。
- ことの始まり
- chomeの誘い
- チーム 「AgroDesign」 の誕生
- タスク設定
- 手短に言うと
- 因みに生命科学的にはどういう意義があるの？
- 最終提出までの道のり
- 0. ベース
- 使用モデル
- 学習方法
- 使用するデータの扱い
- 推論時の処理
- 1. 画像サイズの変更
- 2. external data の追加
- 3. over & under sampling っぽいこと
- 4. 閾値の調整
- 5. data augmentation の変更
- 6. external data の 処理方法の修正
- 7. snapshot ensemble(4cycle) × 4 fold ensemble
- 8. 最終提出
- 9. shake up
- 0. ベース
- まとめ
- 主に印象に残っているやったこと
- やったけどいまいちうまくいかなかった(効果がわからなかった)こと
- 得られたこと
- 反省点
- 終わりに
- おまけ
- 1: チーム名の遷移
- 2: AWS の代償
