2017-01-01から1年間の記事一覧
kaggle recruit challenge code 今までsklearnのGridSearchCV関数などを利用して 自動パラメータチューニングを行ってきたが、時間がかかる割に 性能が改善されない。 Trainデータ内でcross validationにより作るvalidationセットが実際の テストデータと整…
自動パラメータチューニングの良し悪し kaggleなどでxgboostなどのチューニングを行うことを考えたとき、 何も考えずに広いパラメータグリッド内で最適化しようとすると 当然ながら非常に時間がかかる。 しかもそうしてやって得られた結果が割と大した改善に…
kaggle recruit Recruit Restaurant Visitor Forcasting Challengeをスタート. コード レストランの将来訪問者数を予測するタスク. 分析はすでにやられていて参考になる ーhttps://www.kaggle.com/headsortails/be-my-guest-recruit-restaurant-eda ひとま…
capsule net 最近急に話題になり始めたcapsule networkに関するHintonの講義を見た. この新しいモデルの一つの動機として従来のconvnetはpooling処理があるせいで,同じ物体に関する様々な観点の特徴を捨てて代表値で代替してしまう事かある. Capsule net…
kaggle seguro code objectiveを’reg:linear’に元に戻す. 少なくともパラメータ選択で性能向上する事を確認したい. パラメータ選択の範囲が狭く局所解へ陥っているのかもしれない. 代わりにもう少し広い範囲でパラメータ検索を行ってみる. また並行して…
###kaggle seguro code このサイトを参考に,xgboostのパラメータチューニングを引き続き行う. 一部修正を加えつつ,一通り通しでやってみたが, 結果LB0.269 -> 0.236へ下がってまう. どこかでチューニングのやり方が間違っているように思える. ひとまず…
kaggle seguro code まず基本のコンポーネントを実装する. モデルは動作確認のためシンプルに xgboostを利用. 結果:LB0.269.ベースラインとしては妥当? この後はハイパーパラメータチューニングを トライしてみる. 特に,パラメータ毎の感度解析的の事…
kaggle zillow code zillowは今週末で提出期限. Kernelに公開されている手法で二種類のxgboostとlightgbmを組み合わせる事 で好成績を叩き出している手法が存在しているので, これらを取り入れる事にする. kernelで公開されている手法とパラメータをその…
kaggle zillow アンサンブルとresnet regressionを組み合わせるも結果は対して変わらず. 根本的のアプローチが間違っていると思われる. kernelで公開されている手法では,割りと単純なregression tree系の手法を 組み合わせるだけで,ただ組み合わせる時の…
kaggle Resnet regressionモデルを stackingを含めたアンサンブルモデルの中へ 組み込んで見る. 現在学習中(結構時間がかかる) projective spaceを利用した線分及び面の表現 (x, y)2次元ユークリッド空間における線分は ax + by + c = (x, y, 1)(a, b, c…
kaggle zillow challenge 前回出したresnetの結果をアンサンブル予測のなかに組み込んで 予測を行ってみる. ー結果,0.0657365で改善ならず. resnetはアンサンブルしない方が良い事になってしまった. もう少しresnetの学習を続けてみて,再トライする.結…
kaggle Zillow challenge 前回まででresent based regressionが動くようになったので 今回はモデルのセーブとテストデータに対する予測を行えるようにする. 結果無事resnetベースの推論モデルによる予測ができるようになってきた ので早速ある程度学習して…
git commitの頻度とタイミング 現状の機能を損なわない範囲で新機能を部位を最小単位でインクリメントし、 その度にローカルでコミットしておく。コミットの数は多くて良い。 そうする事で、予期せぬバグが発生した際、直近の正常動作する 状態へ戻す事がで…
kaggle zillow challenge pytorchによるCNNベースのregressionモデルの構築を開始する。 モデルのベースはresnetを利用する。 torchvisionのライブラリ内にresnetのモデルがあるためそれを利用したい。 このモデルはそのまま利用するとclassificationの出力…
kaggle zillow challenge 今回解くべきタスクは各月に対するlogerrorであったが、 現在までは簡単のため月の区別はせずに予測を行っていた。 これは明らかな性能のボトルネックであるので、次に 月毎の予測を行うようモデルを切り替えていきたい。 ただ予測…
kaggle zillow challenge 現在のコード 前回までは複数のモデルを学習して得たモデルの予測値の平均(アンサンブル?)を用いていた。 今回はそのアンサンブルするモデルを追加する事にする。 Gaussian Process Regression:メモリエラー、見送り KNearest Re…
kaggle zillow challenge ーtruncation logerrorに対してtruncation、1, 99 percentileでの切り捨てを行う。 結果0.0762954。 続いて他の変数にもtruncationを追加。 追加したのは(finishedsquarefeet12、calculatedfinishedsquarefeet、taxamount) 精度は…