<p>kaggleコンペ終了日。別記事に書いたので一言、いやー楽しかったな。</p>
<hr>
<p>夜は久しぶりに、さかなバルRENGE。ほそぼそながら法人を作ったのでその祝いの席でもある。RENGEは夜も何食べてもうまいなぁ。</p>
<div class="photos photos-columns"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20220623_RX000224.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20220623_RX000224.webp" class="photo" itemprop="image" /></a></span><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20220623_RX000229.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20220623_RX000229.webp" class="photo" itemprop="image" /></a></span></div>

kaggleコンペ終了日。別記事に書いたので一言、いやー楽しかったな。夜は久しぶりに、さかなバルRENGE。ほそぼそながら法人を作ったのでその祝いの席でもある。RENGEは夜も何食べてもうまいなぁ。

2022年6月21日

<p>部屋につんで飾っていた蛇イチゴが熟して落ちてしまったので食べてみる。最初のひとかじりは、甘みが少ないイチゴのようだが、噛み続けるとたくさんあるタネを噛んで苦い味になる。軽く噛んで飲み込む、が一番美味しく食べれそうだ。</p>
<div class="photos photos-small"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20240620_P6171821.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20240620_P6171821.webp" class="photo" itemprop="image" /></a></span></div>

部屋につんで飾っていた蛇イチゴが熟して落ちてしまったので食べてみる。最初のひとかじりは、甘みが少ないイチゴのようだが、噛み続けるとたくさんあるタネを噛んで苦い味になる。軽く噛んで飲み込む、が一番美味しく食べれそうだ。

2024年6月21日

<p>夏至。夏至が来ると、これから日は短くなっていってしまうのか、と悲しさを覚える。</p>
<div class="photos photos-medium"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20230622_L1005646.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20230622_L1005646.webp" class="photo" itemprop="image" /></a></span></div>
<hr>
<p><a href="https://langchain-jp.connpass.com/event/286690/">LangChainもくもく会に参加</a>。毎度ながら、ワイワイ喋りながらLangChainのChangelogを追うことでLLMの周辺技術・ツールチェインの変化もキャッチアップできて勉強にもなるし、なにより楽しいしで最高。</p>
<p>そこでコミットログ自動作成君こと、<a href="https://github.com/Nutlope/aicommits">aicommits</a> 便利だよーと教えてもらい、知ってはいたけど使ってなかったなー、と使い出すとなにこれめちゃくちゃ便利じゃん。<code>aicommits --type conventional</code> で<a href="https://www.conventionalcommits.org/en/v1.0.0/">Conventional Commits</a>形式で出力してくれるのも良い。とりわけコミットログをちゃんと書くモチベーションが低い、一人プロダクトではとりあえずコイツを使う感じになりそうだ。</p>

夏至。夏至が来ると、これから日は短くなっていってしまうのか、と悲しさを覚える。LangChainもくもく会に参加。毎度ながら、ワイワイ喋りながらLangChainのChangelogを追うことでLLMの周辺技術・ツールチェインの変化もキャッチアップできて勉強にもなるし、なにより楽しいしで最高。そこでコミットログ自動作成君こと、aicommits 便利だよーと教えてもらい、知ってはいたけど使ってなかったなー、と使い出すとなにこれめちゃくちゃ便利じゃん。aicommits --type conventional でConventional Commits形式で出力してくれるのも良い。とりわけコミットログをちゃんと書くモチベーションが低い、一人プロダクトではとりあえずコイツを使う感じになりそうだ。

夏至 / 2023年6月21日

<p>若気の至りで作成してしまったメインで使っている年会費が高いクレジットカード、カード番号変更による様々な変更諸手続きのめんどくささにかまけて高い年会費を払い続けていたのだけど、今月末で年更新が発生するため重い腰を上げて解約することにした。</p>
<p>そのクレカによって受けたメリットはプライオリティ・パスが家族分も利用できることとポイント還元が高いケースがあるぐらいで、クレカ上限限度額が4桁万円(そんな使わない…)、コンシュルジュ(使ったこと無い)、その他諸々の特典も全く利用しておらず、普通に考えると非常にもったいない。</p>
<p>ただ、クレカサポートの電話番号はいつでもすぐにつながって丁寧な応対ばかりだったので、こういうところにコストが掛かってるのだなーと感心した。</p>
<hr>
<p>昼は近くの中華料理屋で四川麻婆豆腐。唐辛子の辛さと山椒のピリッとした辛さがめちゃくちゃきいていてこれぞ麻辣な激辛さ。うまいのだけ妻と二人がかりでも半分ほどしか食べれず、持ち帰り用に包んでもらう。</p>
<div class="photos photos-large"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20210621194943.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20210621194943.webp" class="photo" itemprop="image" /></a></span></div>
<hr>
<p>先日、日記写真を <a href="https://cloud.google.com/vision/docs/labels">Cloud Vision AI の Label 判定</a>に5000枚ほどかけたので結果を見る。ラベルはスコア順に10ラベル出され、50000ラベルのユニークは1800ほど。onehot 化して KMeans でクラスタリング。20クラスタじゃ少なく、50クラスタじゃバラけすぎるので30クラスタほどに分類してみた。Jupyter Notebook は <a href="https://ipython.readthedocs.io/en/stable/api/generated/IPython.display.html?highlight=HTML#IPython.display.HTML">HTML も表示できる</a> ので適当に <code>&#x3C;img /></code> タグなども使えて楽だなぁ。</p>
<p>カメラ本体・レンズ画像は思いっきり特徴的なラベルなので枚数は少ないにもかかわらず、クラスタが出来ていた。</p>
<p><img src="https://i.imgur.com/F2HOIRN.png" alt="2021-06-21 18_42_54-image-labels.ipynb - notebooks - Visual Studio Code"></p>
<p>賑やかな風景(主に外国)</p>
<p><img src="https://i.imgur.com/EvDNfQz.png" alt="2021-06-21 18_43_55-image-labels.ipynb - notebooks - Visual Studio Code"></p>
<p>夜写真と日の出や夕日。</p>
<p><img src="https://i.imgur.com/ej5Ve8y.png" alt="2021-06-21 18_44_31-image-labels.ipynb - notebooks - Visual Studio Code"></p>
<p>動物写真と鉄道関連写真。</p>
<p><img src="https://i.imgur.com/KJgo6Dl.png" alt="2021-06-21 18_45_00-image-labels.ipynb - notebooks - Visual Studio Code"></p>
<p>花写真</p>
<p><img src="https://i.imgur.com/k8tNRcd.png" alt="2021-06-21 18_45_19-image-labels.ipynb - notebooks - Visual Studio Code"></p>
<p>料理写真はだいたい同じなのだけど別クラスタ。ちゃんと見てないけど、たぶん距離的には隣りあってるんじゃないかなー。</p>
<p><img src="https://i.imgur.com/wxkztg8.png" alt="2021-06-21 18_45_59-image-labels.ipynb - notebooks - Visual Studio Code"></p>
<p><img src="https://i.imgur.com/4VQIi7N.png" alt="スクリーンショット 2021-06-21 184216"></p>
<p>1800ラベルのonehotをPCAで100次元に圧縮したら、まぁまぁ似た結果なのだけど、カメラや鉄道といった特徴的なものは平坦化されてしまったのか別クラスタに吸収されてしまった。</p>

若気の至りで作成してしまったメインで使っている年会費が高いクレジットカード、カード番号変更による様々な変更諸手続きのめんどくささにかまけて高い年会費を払い続けていたのだけど、今月末で年更新が発生するため重い腰を上げて解約することにした。そのクレカによって受けたメリットはプライオリティ・パスが家族分も利用できることとポイント還元が高いケースがあるぐらいで、クレカ上限限度額が4桁万円(そんな使わない…)、コンシュルジュ(使ったこと無い)、その他諸々の特典も全く利用しておらず、普通に考えると非常にもったいない。ただ、クレカサポートの電話番号はいつでもすぐにつながって丁寧な応対ばかりだったので、こういうところにコストが掛かってるのだなーと感心した。昼は近くの中華料理屋で四川麻婆豆腐。唐辛子の辛さと山椒のピリッとした辛さがめちゃくちゃきいていてこれぞ麻辣な激辛さ。うまいのだけ妻と二人がかりでも半分ほ

若気の至りで作成してしまったメインで使っている年会費が高いクレジットカード、カード番号変更による様々な変更諸手続きのめんどくささにかまけて高い年会費を払い続けていたのだけど、今月末で年更新が発生するため重い腰を上げて解約することにした。そのクレカによって受けたメリットはプライオリティ・パスが家族分も利用できることとポイント還元が高いケースがあるぐらいで、クレカ上限限度額が4桁万円(そんな使わない…)、コンシュルジュ(使ったこと無い)、その他諸々の特典も全く利用しておらず、普通に考えると非常にもったいない。ただ、クレカサポートの電話番号はいつでもすぐにつながって丁寧な応対ばかりだったので、こういうところにコストが掛かってるのだなーと感心した。昼は近くの中華料理屋で四川麻婆豆腐。唐辛子の辛さと山椒のピリッとした辛さがめちゃくちゃきいていてこれぞ麻辣な激辛さ。うまいのだけ妻と二人がかりでも半分ほどしか食べれず、持ち帰り用に包んでもらう。先日、日記写真を Cloud Vision AI の Label 判定に5000枚ほどかけたので結果を見る。ラベルはスコア順に10ラベル出され、50000ラベルのユニークは1800ほど。onehot 化して KMeans でクラスタリング。20クラスタじゃ少なく、50クラスタじゃバラけすぎるので30クラスタほどに分類してみた。Jupyter Notebook は HTML も表示できる ので適当に  タグなども使えて楽だなぁ。カメラ本体・レンズ画像は思いっきり特徴的なラベルなので枚数は少ないにもかかわらず、クラスタが出来ていた。2021-06-21 18_42_54-image-labels.ipynb - notebooks - Visual Studio Code賑やかな風景(主に外国)2021-06-21 18_43_55-image-labels.ipynb - notebooks - Visual Studio Code夜写真と日の出や夕日。2021-06-21 18_44_31-image-labels.ipynb - notebooks - Visual Studio Code動物写真と鉄道関連写真。2021-06-21 18_45_00-image-labels.ipynb - notebooks - Visual Studio Code花写真2021-06-21 18_45_19-image-labels.ipynb - notebooks - Visual Studio Code料理写真はだいたい同じなのだけど別クラスタ。ちゃんと見てないけど、たぶん距離的には隣りあってるんじゃないかなー。2021-06-21 18_45_59-image-labels.ipynb - notebooks - Visual Studio Codeスクリーンショット 2021-06-21 1842161800ラベルのonehotをPCAで100次元に圧縮したら、まぁまぁ似た結果なのだけど、カメラや鉄道といった特徴的なものは平坦化されてしまったのか別クラスタに吸収されてしまった。

クレカ解約・激辛四川麻婆豆腐・写真クラスタ分類 / 2021年6月21日

<p>会社の郊外ミーティングで。古民家リノベーションで貸し出していて、会議室のみだと、割とお安く借りれた。</p>
<ul>
<li><a href="https://kamakura-mirai-lab.com/">旧村上邸 – 鎌倉みらいラボ –</a></li>
</ul>
<div class="photos photos-medium photos-hatena"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20200730104145.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20200730104145.webp" class="photo" itemprop="image"></a></span></div>
<div class="photos photos-medium photos-hatena"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20200730104127.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20200730104127.webp" class="photo" itemprop="image"></a></span></div>
<div class="photos photos-medium photos-hatena"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20200730104232.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20200730104232.webp" class="photo" itemprop="image"></a></span></div>
<h2>旧村上邸の周辺</h2>
<div class="photos photos-medium photos-hatena"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20200730104217.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20200730104217.webp" class="photo" itemprop="image"></a></span></div>
<div class="photos photos-medium photos-hatena"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20200730104202.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20200730104202.webp" class="photo" itemprop="image"></a></span></div>
<div class="photos photos-medium photos-hatena"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20200730104111.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20200730104111.webp" class="photo" itemprop="image"></a></span></div>

会社の郊外ミーティングで。古民家リノベーションで貸し出していて、会議室のみだと、割とお安く借りれた。旧村上邸 – 鎌倉みらいラボ –旧村上邸の周辺

鎌倉の旧村上邸

<p>今日(2022/06/21)の朝9時がKaggleのコンペ終了の時間。結果は即座に表示されるので、チームメンバーと見守る。結果はPublic LB(サンプルで抽出されたスコア)順位と変わらずの1975チーム中8位で金メダル。Kaggleコンペ初参加でチームに恵まれた幸運の結果であった。</p>
<p><img src="https://i.imgur.com/3Cbwh4z.png" alt="8位記念"></p>
<p><a href="https://www.kaggle.com/competitions/us-patent-phrase-to-phrase-matching/discussion/332492">チームの解法は英語では公開されていて</a>、日本語でも別途公開されると思うので、ここでは解法ではなく主に初参加の感想を。40日ぐらい前に特許と自然言語処理処理コンペである<a href="https://www.kaggle.com/competitions/us-patent-phrase-to-phrase-matching/overview">U.S. Patent Phrase to Phrase Matching</a>をやらない？と<a href="https://www.kaggle.com/masakiaota">Aota氏</a>に誘ってもらい始める。Kaggleは<a href="https://amzn.to/3Oute6U">初学者用の本を読んで練習用タイタニックコンペをやった</a>程度の知識だったので、より具体的な進め方やチームで大切にする時の考え方を教えてもらう。</p>
<p>ツールとしては情報共有にNotion(主にboardでkanban)を使い、作った実装はgithubで共有する。スコアはスプレッドシートにて実装連番ファイルと一緒に記載してく。実装はベタにcpして実装を分岐させていく。はじめはcolabのようなnotebook+保存時差分管理のほうが良いのでは、と思ったのだけど実際やってみるとこちらのほうがファイル単体として比較がしやすく、たくさんの亜種がうまれるので(最終的に100個以上の学習用実装ができた)のでコピペ実装の使い勝手が良い。diffもファイル単位で取れるしね。</p>
<p><img src="https://i.imgur.com/w799Vta.png" alt="スコア管理表"></p>
<p>非同期なフロー情報共有はチャットで、同期的なディスカッションは週一の定例ミーティングで行い、その時コンセンサスがとれた手法でベースラインの実装をアップデートしていく。ベースラインは基本Aota氏が良いものを成長させてくれた。最初の方に最良のCVのsplit方法考え確定できたこともデータが積み重なれば積み重なるほどきいてくる。またベースラインを実行すると、スコアだけでなく、そのスコアを算出されるのに必要なメタデータ(例えば前処理後のデータなど)も一緒に保存され、なぜそのスコアが導出されたのかのデータ調査がし易い。</p>
<p>そんな感じでコンペへの取り組みが開始し、それからは今まではゲームなどに費やしていた時間をほぼKaggleに費やす。Kaggleも取り組んでみるとゲームのような中毒性が有り、高得点をとるために何度も何度もあの手この手を試したくなる。初めて取り組んだということもあり、その過程で得る知識も多大で知的好奇心が満ちていく感じで楽しかった。</p>
<p>ただ、初心者が<a href="https://www.kaggle.com/competitions/us-patent-phrase-to-phrase-matching/code">Code</a>や<a href="https://www.kaggle.com/competitions/us-patent-phrase-to-phrase-matching/discussion">Discussion</a>で読んで得た知識の真似事で高得点を出せるほど甘い世界ではなく、手元のCVが改善したなとLBで評価するとむしろ逆相関、みたいな状態が中盤発生し少々モチベーションが下がる中、チームでやっているとみんなで進めてる感があるので最低限のモチベーションは発生し、コンペ途中離脱にならずにすんでよかった。少なくとも私の場合、自分ひとりでやってたら途中から取り組まなくなっていただろうなぁ。以下は、完全に逆相関時代のスコア。</p>
<p><img src="https://i.imgur.com/iTF9LCZ.png" alt="逆相関"></p>
<p>コンペ締め切り10日前、別のチームでコンペに参加していた<a href="https://www.kaggle.com/skraiii">Raiii氏</a>と<a href="https://www.kaggle.com/taromasuda">Masuda氏</a>と合流し、お互いの手法やアイディアを共有し、その時の最良である無難な形の学習モデルを作り最終提出に向けてアンサンブルを作り始める。その時Raiii氏がもしかしたらうまくいくかもと、締め切り3日前に実装した天才的なアイディアの学習手法で単体モデルスコアでもいきなり30位台に入り込み、それでアンサンブルを作ったらその時点で一気にLB4位へと登り上がる。なおこのアイディアは最初はグラフネットワークでの解法を検討したが、そもそももっと単純な1:Nな問題として考えられるのでシーケンスに突っ込めば良い感じに学習できるんじゃない？とのことで、確かに言われてみれば行けるのかもしれないが、そもそも発想が思いつかない＆非常に短時間で実装していたスキルに脱帽である。</p>
<p><img src="https://i.imgur.com/1pZFDmp.png" alt="LB4位記念"></p>
<p>この辺から面白くなりすぎて締め切り間際の土日はほぼずっとKaggleコンペへの取り組みを行い、新しい学習手法で様々なアンサンブルを作ったり、<a href="https://secon.dev/entry/2022/06/21/093000/">加重アンサンブルの最適結合比率の重みを自動で出す</a>（線形結合なので一意な最適解が求めらられる）ものを取り入れたり(私が貢献したわずかながらの箇所はこれぐらいであろう)、出たスコアのデータ分析をしまくる、という感じでお祭り騒ぎで怒涛の3日感を過ごす。最終的にはCVとLBはほぼ相関するようなスコアが出るようになってきて、最高のCVを信じて提出するデータを決める。締切日の朝はみんなでKPT＋雑談しながら結果を見守る、という感じでチームでの連帯感と達成感も得ることが出来た。</p>
<p><img src="https://i.imgur.com/IBwxIY0.png" alt="最後の方のスコア"></p>
<p>最終結果としては冒頭の通り8位で金メダル取得が出来たのだけど、いやー面白かった。良いチームメンバーに恵まれ、様々な知識を増やすことが出来、エキサイティングな状況にも出会えて幸運だった、としか言いようがない。今回は自然言語処理コンペで、使った<a href="https://huggingface.co/docs/transformers/index">Transformers</a>はチュートリアル～初学者向けコースも一通りさらえて、ざっくりとした理解が出来たことも実務で使える実用知識がだいぶ上がったと感じる。他にも様々なジャンルのコンペがあり、未知のジャンルではどれもが新鮮で学べるものしか無い、という感じがする。</p>
<p>Kaggleコンペ初参加はチームに恵まれたこともあって、本当に良かったな～チームメンバーに感謝。ただ真面目に取り組むと1コンペに付き50時間ぐらいの消費は最低でも見込まれるので、時間を捻出出来ない場合コンペ参加は厳しいかもしれない。今回は40日合計80~100時間ぐらいの時間は使ったと思う。逆に時間があれば、取り組んで得られるものは前述の通り多いと感じた。ふつうにゲームと考えても楽しいしね。次も興味がある議題のコンペに参加したいが、個人的にはソロだと途中で挫折してしまいそうなので、継続性とモチベーションのためにもペア以上のチームを組んで参加できたらなーと思う。</p>

今日(2022/06/21)の朝9時がKaggleのコンペ終了の時間。結果は即座に表示されるので、チームメンバーと見守る。結果はPublic LB(サンプルで抽出されたスコア)順位と変わらずの1975チーム中8位で金メダル。Kaggleコンペ初参加でチームに恵まれた幸運の結果であった。8位記念チームの解法は英語では公開されていて、日本語でも別途公開されると思うので、ここでは解法ではなく主に初参加の感想を。40日ぐらい前に特許と自然言語処理処理コンペであるU.S. Patent Phrase to Phrase Matchingをやらない？とAota氏に誘ってもらい始める。Kaggleは初学者用の本を読んで練習用タイタニックコンペをやった程度の知識だったので、より具体的な進め方やチームで大切にする時の考え方を教えてもらう。ツールとしては情報共有にNotion(主にboardでkanban)を

今日(2022/06/21)の朝9時がKaggleのコンペ終了の時間。結果は即座に表示されるので、チームメンバーと見守る。結果はPublic LB(サンプルで抽出されたスコア)順位と変わらずの1975チーム中8位で金メダル。Kaggleコンペ初参加でチームに恵まれた幸運の結果であった。8位記念チームの解法は英語では公開されていて、日本語でも別途公開されると思うので、ここでは解法ではなく主に初参加の感想を。40日ぐらい前に特許と自然言語処理処理コンペであるU.S. Patent Phrase to Phrase Matchingをやらない？とAota氏に誘ってもらい始める。Kaggleは初学者用の本を読んで練習用タイタニックコンペをやった程度の知識だったので、より具体的な進め方やチームで大切にする時の考え方を教えてもらう。ツールとしては情報共有にNotion(主にboardでkanban)を使い、作った実装はgithubで共有する。スコアはスプレッドシートにて実装連番ファイルと一緒に記載してく。実装はベタにcpして実装を分岐させていく。はじめはcolabのようなnotebook+保存時差分管理のほうが良いのでは、と思ったのだけど実際やってみるとこちらのほうがファイル単体として比較がしやすく、たくさんの亜種がうまれるので(最終的に100個以上の学習用実装ができた)のでコピペ実装の使い勝手が良い。diffもファイル単位で取れるしね。スコア管理表非同期なフロー情報共有はチャットで、同期的なディスカッションは週一の定例ミーティングで行い、その時コンセンサスがとれた手法でベースラインの実装をアップデートしていく。ベースラインは基本Aota氏が良いものを成長させてくれた。最初の方に最良のCVのsplit方法考え確定できたこともデータが積み重なれば積み重なるほどきいてくる。またベースラインを実行すると、スコアだけでなく、そのスコアを算出されるのに必要なメタデータ(例えば前処理後のデータなど)も一緒に保存され、なぜそのスコアが導出されたのかのデータ調査がし易い。そんな感じでコンペへの取り組みが開始し、それからは今まではゲームなどに費やしていた時間をほぼKaggleに費やす。Kaggleも取り組んでみるとゲームのような中毒性が有り、高得点をとるために何度も何度もあの手この手を試したくなる。初めて取り組んだということもあり、その過程で得る知識も多大で知的好奇心が満ちていく感じで楽しかった。ただ、初心者がCodeやDiscussionで読んで得た知識の真似事で高得点を出せるほど甘い世界ではなく、手元のCVが改善したなとLBで評価するとむしろ逆相関、みたいな状態が中盤発生し少々モチベーションが下がる中、チームでやっているとみんなで進めてる感があるので最低限のモチベーションは発生し、コンペ途中離脱にならずにすんでよかった。少なくとも私の場合、自分ひとりでやってたら途中から取り組まなくなっていただろうなぁ。以下は、完全に逆相関時代のスコア。逆相関コンペ締め切り10日前、別のチームでコンペに参加していたRaiii氏とMasuda氏と合流し、お互いの手法やアイディアを共有し、その時の最良である無難な形の学習モデルを作り最終提出に向けてアンサンブルを作り始める。その時Raiii氏がもしかしたらうまくいくかもと、締め切り3日前に実装した天才的なアイディアの学習手法で単体モデルスコアでもいきなり30位台に入り込み、それでアンサンブルを作ったらその時点で一気にLB4位へと登り上がる。なおこのアイディアは最初はグラフネットワークでの解法を検討したが、そもそももっと単純な1:Nな問題として考えられるのでシーケンスに突っ込めば良い感じに学習できるんじゃない？とのことで、確かに言われてみれば行けるのかもしれないが、そもそも発想が思いつかない＆非常に短時間で実装していたスキルに脱帽である。LB4位記念この辺から面白くなりすぎて締め切り間際の土日はほぼずっとKaggleコンペへの取り組みを行い、新しい学習手法で様々なアンサンブルを作ったり、加重アンサンブルの最適結合比率の重みを自動で出す（線形結合なので一意な最適解が求めらられる）ものを取り入れたり(私が貢献したわずかながらの箇所はこれぐらいであろう)、出たスコアのデータ分析をしまくる、という感じでお祭り騒ぎで怒涛の3日感を過ごす。最終的にはCVとLBはほぼ相関するようなスコアが出るようになってきて、最高のCVを信じて提出するデータを決める。締切日の朝はみんなでKPT＋雑談しながら結果を見守る、という感じでチームでの連帯感と達成感も得ることが出来た。最後の方のスコア最終結果としては冒頭の通り8位で金メダル取得が出来たのだけど、いやー面白かった。良いチームメンバーに恵まれ、様々な知識を増やすことが出来、エキサイティングな状況にも出会えて幸運だった、としか言いようがない。今回は自然言語処理コンペで、使ったTransformersはチュートリアル～初学者向けコースも一通りさらえて、ざっくりとした理解が出来たことも実務で使える実用知識がだいぶ上がったと感じる。他にも様々なジャンルのコンペがあり、未知のジャンルではどれもが新鮮で学べるものしか無い、という感じがする。Kaggleコンペ初参加はチームに恵まれたこともあって、本当に良かったな～チームメンバーに感謝。ただ真面目に取り組むと1コンペに付き50時間ぐらいの消費は最低でも見込まれるので、時間を捻出出来ない場合コンペ参加は厳しいかもしれない。今回は40日合計80~100時間ぐらいの時間は使ったと思う。逆に時間があれば、取り組んで得られるものは前述の通り多いと感じた。ふつうにゲームと考えても楽しいしね。次も興味がある議題のコンペに参加したいが、個人的にはソロだと途中で挫折してしまいそうなので、継続性とモチベーションのためにもペア以上のチームを組んで参加できたらなーと思う。

Kaggleコンペ初参加でチームに恵まれ金メダル(8位)だった

<p>6月のパスタを食べるべく、garden AUX PARADISへ。コロナ対策アクリルプレートが無くなっていて開放感が溢れる店内。こっちのほうが断然良いなあぁ。細々としたところがオペレーションしやすいように変わっていて、従業員負荷を下げている感があり良いことだ。</p>
<div class="photos photos-medium"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20220623_L1002040.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20220623_L1002040.webp" class="photo" itemprop="image" /></a></span></div>
<div class="photos photos-medium"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20220623_L1002043.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20220623_L1002043.webp" class="photo" itemprop="image" /></a></span></div>
<div class="photos photos-medium"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20220623_L1002053.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20220623_L1002053.webp" class="photo" itemprop="image" /></a></span></div>

6月のパスタを食べるべく、garden AUX PARADISへ。コロナ対策アクリルプレートが無くなっていて開放感が溢れる店内。こっちのほうが断然良いなあぁ。細々としたところがオペレーションしやすいように変わっていて、従業員負荷を下げている感があり良いことだ。

A Day in the Life

2022年6月21日

似ている画像がある記事

同じ日付の日記

書いている人

おたよりを送る