俵言

しがない社会人が書く、勉強とかのこと

振り返って:ポエム、あるいは自己紹介的な何か

※この記事に技術的要素はありません。Twitter で垂れ流そうとしたら長くなりそうだったためにブログに書いたネガティブポエムなので暇つぶし程度にご覧下さい。

はじめに

最近、でもないか、転職の話が Twitter では毎日のように流れてきます。

直近の僕の観測範囲で印象に残っている例だと、某🐸るるさんが転職決めて沢山の kaggler から祝福を受けていたり、ACL の論文のまとめを上げまくってる激つよな方が転職決めたり、退職カウントダウンカレンダーを始める方がいたり、正体不明の画家に名前が似ている人が転職したり...

現職に新卒で入ってもうすぐ3年経つし、何となくキャリアって考えないといけいないのかなって思って雑に書きました。大したものではなく、気の迷いで公開したくなっただけ。

  • はじめに
  • バックグラウンド
  • python との出会い
  • 競技プログラミングとの出会い
  • 機械学習との出会い
  • 経験してきたこと
  • 何に楽しみを見出す?
  • 今後どうする?
  • 結局何が言いたいの?
続きを読む

NeurIPS2018読み会@PFN 聴講メモ(テーマ発表)

先日 1/26に NeurIPS2018読み会@PFN に聴講参加してきました. この投稿はそのメモ(+振り返りでの補完)にります.

connpass.com

実はブログに公開するつもりはなかったのですが, 用事で参加できなくなった会社の先輩に「後でメモを共有して欲しい」と言われてメモの整理のために振り返ってたらやたら時間がかかったので「これだけ労力かかったしブログにも載せとくか」というのが背景です.

あくまで「こんな発表があったよ!」という雰囲気が伝わればいいかなというものなので, リンクを張っている資料などと一緒に見る前提です. できるだけ論文のリンクも張りました.


イベントの内容としては

  • NeurIPS2018 全体の概要についての発表
  • 特定のテーマに関する発表: 5件
  • 個別論文に関する発表: 9件(ただし1件は発表者が体調不良(インフル?)によりスライドのみ上がっている)

です.テーマ発表に関しては少し長めに, 個別論文に関しては一口メモ程度... という予定だったのですが, テーマ発表振り返るだけで力尽きたので個別論文紹介に関してはまとめるにしても別の記事にしようと思います. (そうしないといつまで経っても公開できないので... )

※僕の興味の程度(& 集中力)によって詳細度が大きく異なります(特にテーマ1: disentangled representations は「めっちゃ興味があった+一番最初のテーマ発表で集中力があった」ので後から見返すとメモが異常に詳しい)。詳細を知りたい場合はスライドを参照。

  • NeurIPS全体概要
    • 今年のトピック:名前が変わった
    • 統計情報
    • 資料など
    • その他
  • テーマ発表1: Generative Adversarial Networks and Disentangled Representations @ NeurIPS2018
    • はじめに
    • GANs と Disentagled Representations の関係
    • NeurIPS2018 での GANs and disentagled representations(論文紹介)
      • FD-GAN: Pose-guided Feature Distilling GAN for Robust Person Re-identification
      • Unsupervised learning of Object Landmark
      • A Unified Feature Disentangler for Multi-Domain Image Translation and Manipulation
      • Image-to-image translation for cross-domain disentanglement
      • Unsupervised Adversarial Invariance
    • 宣伝
    • Q&A
  • テーマ発表2: Automatic Machine Learning @ NeurIPS2018
    • what is AutoML?
    • AutoML@NeurIPS2018
      • HPO@NeuriPS2018
      • NAS@NeurIPS2018
      • Meta Learning@NeurIPS2018
      • Conpetition Track: AutoML3
    • 論文紹介(2本)
      • Massively Parallel Hypaerparameter Tuning
      • Neural Architecture Optimaization
  • テーマ発表3: Neural Networks for Graph Data @ NeurIPS2018
    • Graph のおさらい
    • GNN @ NeurIPS2018
    • 論文紹介
      • Hierarchical Graph Representation Learning with Differentiable Pooling
      • Link Prediction Based on Graph Neural Networks
      • Graph Convolutional Policy Network for Goal-Directed Molecular Graph Generation
    • まとめ
  • テーマ発表4: Reinforcement Learning @ NeurIPS2018
    • RL @ NeurIPS2018
    • 論文などの紹介
      • Go-Explore: A new type of algorithm for hard-exploration problems
      • Data-Efficient Hierarchical Reinforcement Learning
      • Non-delusional Q-learning and value-iteration
    • 話者によるまとめ
  • テーマ発表5: Modeling the Physical World @ NeurIPS2018
    • 概要
    • talk
      • Zico さんの talk
      • chelsea さんの talk
      • janette さん の talk
      • pannel discussion
  • 感想
続きを読む

kaggle で初めてメダル(silver) を取ったものの、お詫びせざるを得ない件

チーム(AgroDesign) で参加していた Human Protein Atlas Image Classification で22位になり、silver medal を獲得しました!

f:id:Tawara:20190112235803p:plain
Private Leaderboard

前参加した台風コンペ(@SIGNATE)では被災して 最下位に落ちたため、この結果は本当に嬉しかったです。正直言うと gold 取りたかったですが 「全部やる」努力が足りませんでした...。
kaggle 自体はずいぶん前に登録していたものの、過去に何度かやろうとしては放置するを繰り返していたので、ちゃんと諦めずに完走できたのは本当に良かったです。そしてそれが最後二日での「脳汁ドバア」(Public で 100位、Private では150位 程の更新) に繋がりました。

というわけで何をやったかと、今回は計算資源的にかなり支援を受けてたのでそこら辺の経緯を書こうと思います。毎度ながらダラダラ書いてしまったので適当に読んで頂ければと思います。

  • ことの始まり
    • chomeの誘い
    • チーム 「AgroDesign」 の誕生
  • タスク設定
    • 手短に言うと
    • 因みに生命科学的にはどういう意義があるの?
  • 最終提出までの道のり
    • 0. ベース
      • 使用モデル
      • 学習方法
      • 使用するデータの扱い
      • 推論時の処理
    • 1. 画像サイズの変更
    • 2. external data の追加
    • 3. over & under sampling っぽいこと
    • 4. 閾値の調整
    • 5. data augmentation の変更
    • 6. external data の 処理方法の修正
    • 7. snapshot ensemble(4cycle) × 4 fold ensemble
    • 8. 最終提出
    • 9. shake up
  • まとめ
    • 主に印象に残っているやったこと
    • やったけどいまいちうまくいかなかった(効果がわからなかった)こと
    • 得られたこと
    • 反省点
    • 終わりに
  • おまけ
    • 1: チーム名の遷移
    • 2: AWS の代償
続きを読む

初めての画像分類コンペでめっちゃ頑張って上位まで行ったが、閾値を攻め過ぎて大爆死した

9/11 - 10/26 (おおよそ1ヶ月半) にかけて、以下の 「熱帯低気圧(台風等)検出アルゴリズム作成」コンペ に参加しました。

signate.jp

得るものは本当に沢山(DNNの実装や学習の経験・ノウハウなど)あったのですが、結果として最終提出の順位は 5位(public) => 207位(private) に転落しました。

覚悟の上での行動ではありましたがやっぱり1月半の努力が全部無に帰ったのはとてもつらくて(しかも一人で全力で完走した初めての分析コンペだった)、少しでも自分がやったことを形として残そうと思ってめちゃくちゃ久しぶりにブログを書いています。

きちんと書こうとするといつまで経っても公開できない気がするので(過去何度も繰り返したケース)、大雑把な内容にはなりますがご容赦ください。

  • はじめに:参加動機
  • 実装したモデル: 改変版 WideResNet
  • データの分割(train, validation)に関して
  • 学習のさせ方
  • 前処理, Data Augmentation, TTA
  • アンサンブル
  • おわりに:得られたものとか今後とか
  • 参考にさせて頂いた文献、スライド、web ページなど
  • おまけ: 雑なコンペ取り組み日記
    • データだけダウンロードする (8/27)
    • 「」(8/28 - 9/10)
    • データを見たり、前処理などを書いて学習の準備を進める (9/11 - 9/15)
    • とりあえず ResNet50 で学習開始 (9/16)
    • 初めての提出(9/17)
    • schedule learning 等の検討 (9/18 - 22)
    • 手法の調査、検討 (9/11-9/22)
    • WideResNet の実装完了・導入(9/23 - 9/25)
    • 2週間の迷子 (9/26 - 10/9)
    • 実装ミスの発覚、一筋の光明が差す (10/10 - 10/14)
    • 5 位まで駆け上がる (10/15 - 10/20)
    • 悪あがきと 駆け引き (10/21 - 10/26)
    • 大爆死 (10/27)
続きを読む