<p>妻の両親が遊びに来てくださったので、高原の展望台に行ったり夕食をご一緒したり。那須高原の上の方はこないだ降った雪がちょっと残っていて、車の外に出るとだいぶ寒い。1-3月になるとほぼ雪な場所になってしまうのだろうなぁ。</p>
<div class="photos photos-medium"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20221213_RX001530.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20221213_RX001530.webp" class="photo" itemprop="image" /></a></span></div>

妻の両親が遊びに来てくださったので、高原の展望台に行ったり夕食をご一緒したり。那須高原の上の方はこないだ降った雪がちょっと残っていて、車の外に出るとだいぶ寒い。1-3月になるとほぼ雪な場所になってしまうのだろうなぁ。

妻の両親が遊びに / 2022年12月12日

<p>半年ほど前、セレクトショップでポーランド食器(ポーリッシュポタリー)を見て、いつか買いたいなーと思っていたのだけど引っ越してしまって東京近郊の店に行けず、一点物なので現物見て買いたいけど買えない感じになってしまっていた。しかし那須町に<a href="https://www.instagram.com/kamill_nasu/">ポーランド食器専門店のお店 kamill</a>があるということを知り、行ってみる。</p>
<p>ポーランド食器沼にハマって、趣味が転じて店を開いたというポーランド食器愛あふれる親切な店主が様々なことを教えてくれ、柄が違うから迷ってしまう皿は一枚一枚並べてくれ、どれもこれも欲しくなてしまう。今回はとりあえず6点ほど購入する。</p>
<hr>
<p>帰り道、お店そばのチーズケーキ工房MANIWAFARMで、ベイクドチーズケーキと洋梨のチーズケーキを購入し、夕食後のデザートにポーリッシュポタリーに並べて食べる。かわいい。</p>
<div class="photos photos-large"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20211213125626.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20211213125626.webp" class="photo" itemprop="image" /></a></span></div>

半年ほど前、セレクトショップでポーランド食器(ポーリッシュポタリー)を見て、いつか買いたいなーと思っていたのだけど引っ越してしまって東京近郊の店に行けず、一点物なので現物見て買いたいけど買えない感じになってしまっていた。しかし那須町にポーランド食器専門店のお店 kamillがあるということを知り、行ってみる。ポーランド食器沼にハマって、趣味が転じて店を開いたというポーランド食器愛あふれる親切な店主が様々なことを教えてくれ、柄が違うから迷ってしまう皿は一枚一枚並べてくれ、どれもこれも欲しくなてしまう。今回はとりあえず6点ほど購入する。帰り道、お店そばのチーズケーキ工房MANIWAFARMで、ベイクドチーズケーキと洋梨のチーズケーキを購入し、夕食後のデザートにポーリッシュポタリーに並べて食べる。かわいい。

ポーランド食器 / 2021年12月12日

<div class="photos photos-medium"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20201212184124.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20201212184124.webp" class="photo" itemprop="image" /></a></span></div>
<p>朝ジョギング15分。有酸素運動で疲れる、というよりは脚が先に疲れてしまい、あんまり運動している感が少ない。ジョギング初めて最初二週間は線形に減っていた体重が、その後はとりわけ変化は起きず、残念な感じ。Fit Boxing のほうが有酸素運動量は多いと思うのだけど、ジョギングは景色が良いから走りたいのだよなぁ。</p>
<p>今日は一日ゲームでもしてダラダラと過ごすぞ～、と楽しみにしていたサイバーパンク2077をプレイするも、2時間ほどでゲームをする力がなくなる。このところ、ゲームに対してのやる気が少なく、ちょっとプレイするだけで疲れてしまうし、そのためやりたいというモチベーションも湧いてこない。今までも時々発生して、ほおってくとそのうちゲーム気力が回復するのだから良いのだけど。</p>
<hr>
<div class="photos photos-small"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20201212184151.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20201212184151.webp" class="photo" itemprop="image" /></a></span></div>
<p>昼はK夫妻とRHC CAFEで昼食。ハンバーガーは肉、という感じでワイルドな味。コブサラダがおいしそうだったので、次はコブサラダを食べたい。</p>
<p>おやつにはプリングルスを食べ(ゲームやりながらポテトチップスを食べ、コーラを飲むというダラダラ休日感を出したかったのだ)、ジャンクな味ばかり食べていたためか、舌が久しぶりにヒリヒリする。こんなことを時たまするから、体重が減らないのでは、という話はもっともである…。</p>
<hr>
<p>夜は毎週恒例の花火。今回は 明るい50mmで撮るとどんな感じなんだろうと 7artisans 50mm F1.1。</p>
<div class="photos photos-medium"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20201212202911.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20201212202911.webp" class="photo" itemprop="image" /></a></span></div>

朝ジョギング15分。有酸素運動で疲れる、というよりは脚が先に疲れてしまい、あんまり運動している感が少ない。ジョギング初めて最初二週間は線形に減っていた体重が、その後はとりわけ変化は起きず、残念な感じ。Fit Boxing のほうが有酸素運動量は多いと思うのだけど、ジョギングは景色が良いから走りたいのだよなぁ。今日は一日ゲームでもしてダラダラと過ごすぞ～、と楽しみにしていたサイバーパンク2077をプレイするも、2時間ほどでゲームをする力がなくなる。このところ、ゲームに対してのやる気が少なく、ちょっとプレイするだけで疲れてしまうし、そのためやりたいというモチベーションも湧いてこない。今までも時々発生して、ほおってくとそのうちゲーム気力が回復するのだから良いのだけど。昼はK夫妻とRHC CAFEで昼食。ハンバーガーは肉、という感じでワイルドな味。コブサラダがおいしそうだったので、次はコブサラダを

朝ジョギング15分。有酸素運動で疲れる、というよりは脚が先に疲れてしまい、あんまり運動している感が少ない。ジョギング初めて最初二週間は線形に減っていた体重が、その後はとりわけ変化は起きず、残念な感じ。Fit Boxing のほうが有酸素運動量は多いと思うのだけど、ジョギングは景色が良いから走りたいのだよなぁ。今日は一日ゲームでもしてダラダラと過ごすぞ～、と楽しみにしていたサイバーパンク2077をプレイするも、2時間ほどでゲームをする力がなくなる。このところ、ゲームに対してのやる気が少なく、ちょっとプレイするだけで疲れてしまうし、そのためやりたいというモチベーションも湧いてこない。今までも時々発生して、ほおってくとそのうちゲーム気力が回復するのだから良いのだけど。昼はK夫妻とRHC CAFEで昼食。ハンバーガーは肉、という感じでワイルドな味。コブサラダがおいしそうだったので、次はコブサラダを食べたい。おやつにはプリングルスを食べ(ゲームやりながらポテトチップスを食べ、コーラを飲むというダラダラ休日感を出したかったのだ)、ジャンクな味ばかり食べていたためか、舌が久しぶりにヒリヒリする。こんなことを時たまするから、体重が減らないのでは、という話はもっともである…。夜は毎週恒例の花火。今回は 明るい50mmで撮るとどんな感じなんだろうと 7artisans 50mm F1.1。

ゲーム気力の低下 / 2020年12月12日

<p>今日はヤンゴン8:30発のフライトでネパールのカトマンズへ。といっても直通便はなく、経由便はどれもそれなりの値段だったのだが、バンコク経由のライオンエアの便は一人2万円弱と他と比較すると結構なお安さだった。しかしながらこのライオンエアSL201とSL220の乗り継ぎ便、バンコクの乗り継ぎ時間が1時間40分でTrip.comによるとスルーバゲージ対象外なため、タイで入国審査後に荷物を受け取って再度預け入れしていて間に合うかどうか疑問な時間設定だったのだが、ライオンエアのWebサイトには乗り継ぎ保証、と書いてあるので多分大丈夫じゃないかなぁと購入したのであった。</p>
<p>本当にバンコクでうまく乗り継ぎできるか結構不安だったのだけど、ヤンゴン国際空港のカウンターに行くとスルーバゲージ対象で問題無く乗り継ぎできるよ、とのことで心配は杞憂に終わった。なおヤンゴン国際空港はかなり綺麗で、プライオリティパスのラウンジも豪華だった。</p>
<p>バンコクですんなり乗り継ぎネパールの首都カトマンズへ14時すぎに到着。今回の旅行では八カ国目で、初・東南アジア以外の国となる。カトマンズの時差はUTC+05:45というなんとも中途半端な時差だ…。15日間のアライバルビザを取得しようとビザ代金支払いに行くと、「日本人は日本円で3500円だ、USDはダメ」と言われ、いやUSDしか持ってないし…と何度かやり取りすると結局USD30$でビザを発行してもらえた。なおガイドブックにはビザ代金支払いにクレジットカードも使えると書いてあったが、実際は使えなかった。</p>
<p>カトマンズの第一印象は見事な大気汚染。大気汚染指数AQIは毎日150を超えているのはハノイと一緒なのだが、目に見えて空気が黄色い。標高1300mの高原の街なので、高い場所＝空気が綺麗、というイメージが覆された。また歩道がない狭い道を、車とバイクが普通に人を轢く感じでバンバン通っていくので、排気ガスはもちろん酷いし、普通に轢かれそうになるなかなかの素敵タウンだ。</p>
<p>ゲストハウスでチェックインをすまし、後ほど行くトレッキングのツアー会社で支払いをした後に晩ご飯にターリーを食べる。ちょっとずつ混ぜながら食べれて好みの味にできて美味しいのだが、おかずや米が無くなると次々と補充されて大満腹になった。夜は標高が高いため流石に寒く、追加の衣類を検討せねば。</p>
<div class="photos photos-medium photos-hatena"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20200730112206.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20200730112206.webp" class="photo" itemprop="image"></a></span></div>
<div class="photos photos-medium photos-hatena"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20200801130540.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20200801130540.webp" class="photo" itemprop="image"></a></span></div>
<div class="photos photos-medium photos-hatena"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20200730111108.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20200730111108.webp" class="photo" itemprop="image"></a></span></div>
<div class="photos photos-medium photos-hatena"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20200801141120.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20200801141120.webp" class="photo" itemprop="image"></a></span></div>
<div class="photos photos-medium photos-hatena"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20200731063426.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20200731063426.webp" class="photo" itemprop="image"></a></span></div>
<div class="photos photos-medium photos-hatena"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20200801140338.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20200801140338.webp" class="photo" itemprop="image"></a></span></div>
<div class="photos photos-medium photos-hatena"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20200730071616.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20200730071616.webp" class="photo" itemprop="image"></a></span></div>
<div class="photos photos-medium photos-hatena"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20200801134413.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20200801134413.webp" class="photo" itemprop="image"></a></span></div>
<div class="photos photos-medium photos-hatena"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20200801140414.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20200801140414.webp" class="photo" itemprop="image"></a></span></div>
<div class="photos photos-medium photos-hatena"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20200801150022.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20200801150022.webp" class="photo" itemprop="image"></a></span></div>

今日はヤンゴン8:30発のフライトでネパールのカトマンズへ。といっても直通便はなく、経由便はどれもそれなりの値段だったのだが、バンコク経由のライオンエアの便は一人2万円弱と他と比較すると結構なお安さだった。しかしながらこのライオンエアSL201とSL220の乗り継ぎ便、バンコクの乗り継ぎ時間が1時間40分でTrip.comによるとスルーバゲージ対象外なため、タイで入国審査後に荷物を受け取って再度預け入れしていて間に合うかどうか疑問な時間設定だったのだが、ライオンエアのWebサイトには乗り継ぎ保証、と書いてあるので多分大丈夫じゃないかなぁと購入したのであった。本当にバンコクでうまく乗り継ぎできるか結構不安だったのだけど、ヤンゴン国際空港のカウンターに行くとスルーバゲージ対象で問題無く乗り継ぎできるよ、とのことで心配は杞憂に終わった。なおヤンゴン国際空港はかなり綺麗で、プライオリティパスのラウ

今日はヤンゴン8:30発のフライトでネパールのカトマンズへ。といっても直通便はなく、経由便はどれもそれなりの値段だったのだが、バンコク経由のライオンエアの便は一人2万円弱と他と比較すると結構なお安さだった。しかしながらこのライオンエアSL201とSL220の乗り継ぎ便、バンコクの乗り継ぎ時間が1時間40分でTrip.comによるとスルーバゲージ対象外なため、タイで入国審査後に荷物を受け取って再度預け入れしていて間に合うかどうか疑問な時間設定だったのだが、ライオンエアのWebサイトには乗り継ぎ保証、と書いてあるので多分大丈夫じゃないかなぁと購入したのであった。本当にバンコクでうまく乗り継ぎできるか結構不安だったのだけど、ヤンゴン国際空港のカウンターに行くとスルーバゲージ対象で問題無く乗り継ぎできるよ、とのことで心配は杞憂に終わった。なおヤンゴン国際空港はかなり綺麗で、プライオリティパスのラウンジも豪華だった。バンコクですんなり乗り継ぎネパールの首都カトマンズへ14時すぎに到着。今回の旅行では八カ国目で、初・東南アジア以外の国となる。カトマンズの時差はUTC+05:45というなんとも中途半端な時差だ…。15日間のアライバルビザを取得しようとビザ代金支払いに行くと、「日本人は日本円で3500円だ、USDはダメ」と言われ、いやUSDしか持ってないし…と何度かやり取りすると結局USD30$でビザを発行してもらえた。なおガイドブックにはビザ代金支払いにクレジットカードも使えると書いてあったが、実際は使えなかった。カトマンズの第一印象は見事な大気汚染。大気汚染指数AQIは毎日150を超えているのはハノイと一緒なのだが、目に見えて空気が黄色い。標高1300mの高原の街なので、高い場所＝空気が綺麗、というイメージが覆された。また歩道がない狭い道を、車とバイクが普通に人を轢く感じでバンバン通っていくので、排気ガスはもちろん酷いし、普通に轢かれそうになるなかなかの素敵タウンだ。ゲストハウスでチェックインをすまし、後ほど行くトレッキングのツアー会社で支払いをした後に晩ご飯にターリーを食べる。ちょっとずつ混ぜながら食べれて好みの味にできて美味しいのだが、おかずや米が無くなると次々と補充されて大満腹になった。夜は標高が高いため流石に寒く、追加の衣類を検討せねば。

ヤンゴンからカトマンズへ / 世界一周74日目

<p>ノイズ軽減といえば、シャープさがかなり失われのっぺりとする、というイメージだったのだけど、技術の進化か、久しぶりに使ってみたら(Lightroom Classic CC) シャープさはなかなか残しつつもノイズが軽減される。これは ISO 感度高い写真にはかなり良いのでは～～。とか思ったりした。</p>
<p>写真は久しぶりにマクロレンズ( FE 90mm F2.8 Macro G OSS / SEL90M28G )で。90mmで外でのスナップも楽しいね。</p>
<p><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20181212220015.webp" alt="カメラのレンズの羽みたい"><em>カメラのレンズの羽みたい</em></p>
<p><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20181212220014.webp" alt="枯れたダリア"><em>枯れたダリア</em></p>
<p><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20181212220011.webp" alt="家の近くのその辺"><em>家の近くのその辺</em></p>
<p><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20181212220012.webp" alt="ほぼ夜に行くので子供が遊んでいることを見たことが無い"><em>ほぼ夜に行くので子供が遊んでいることを見たことが無い</em></p>
<p><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20181212220013.webp" alt="東京タワーボケ"><em>東京タワーボケ</em></p>

ノイズ軽減といえば、シャープさがかなり失われのっぺりとする、というイメージだったのだけど、技術の進化か、久しぶりに使ってみたら(Lightroom Classic CC) シャープさはなかなか残しつつもノイズが軽減される。これは ISO 感度高い写真にはかなり良いのでは～～。とか思ったりした。写真は久しぶりにマクロレンズ( FE 90mm F2.8 Macro G OSS / SEL90M28G )で。90mmで外でのスナップも楽しいね。カメラのレンズの羽みたいカメラのレンズの羽みたい枯れたダリア枯れたダリア家の近くのその辺家の近くのその辺ほぼ夜に行くので子供が遊んでいることを見たことが無いほぼ夜に行くので子供が遊んでいることを見たことが無い東京タワーボケ東京タワーボケ

ノイズ軽減

<p>プロ野球、珍プレー好プレーを見る。昔と今を比べると選手の行動がだいぶ紳士的になっていって、文化の移り変わりも感じられて面白い。</p>
<hr>
<p>H氏の記事、<a href="https://hiboma.hatenadiary.jp/entry/2022/12/10/231327">那須塩原に移り住んで 2年</a>が那須塩原ってどんな所？の紹介記事としてとても良い。こんなところだよ、と伝えるのに大変わかりやすいなぁ。</p>
<hr>
<p>ふるさと納税で返礼品にもらった、室内用エアロバイクを組み立てる。二人がかりで組み立てだけで90分ぐらいかかってヘトヘト。元値は安いものなので、ワッシャーが間違っていたものが入っていたり、説明書に書いていないパーツがあって組み立て後に解ったり(Web上で追記という形になっていた、その説明のビラ一枚入っていたら良かったのに)と、安価に作った際の品質管理の難しさが感じられる。エアロバイクはちゃんと運動に使われて有効活用されると良いのだけど。</p>
<div class="photos photos-small"><span itemscope="" itemtype="http://schema.org/Photograph"><a href="https://storage.googleapis.com/secons-site-images/photo/large/20221213_RX001517.webp"><img src="https://storage.googleapis.com/secons-site-images/photo/medium/20221213_RX001517.webp" class="photo" itemprop="image" /></a></span></div>

プロ野球、珍プレー好プレーを見る。昔と今を比べると選手の行動がだいぶ紳士的になっていって、文化の移り変わりも感じられて面白い。H氏の記事、那須塩原に移り住んで 2年が那須塩原ってどんな所？の紹介記事としてとても良い。こんなところだよ、と伝えるのに大変わかりやすいなぁ。ふるさと納税で返礼品にもらった、室内用エアロバイクを組み立てる。二人がかりで組み立てだけで90分ぐらいかかってヘトヘト。元値は安いものなので、ワッシャーが間違っていたものが入っていたり、説明書に書いていないパーツがあって組み立て後に解ったり(Web上で追記という形になっていた、その説明のビラ一枚入っていたら良かったのに)と、安価に作った際の品質管理の難しさが感じられる。エアロバイクはちゃんと運動に使われて有効活用されると良いのだけど。

2022年12月11日

先日参加した Kaggle コンペFeedback Prize - English Language Learningで知った手法、RAPIDS SVR (SVC) が高速に学習でき、回帰や分類タスクでは有益な手法の一つと感じたので、どのようなものかを紹介する。実際にこのコンペの上位解法では、RAPIDS SVR の手法が使われていた。また RAPIDS SVC を使って日本語評価データセットのJGLUEのクラス分類データセットの MARC-ja を評価する。評価につかった実装はGitHub 上で公開している。なおこの記事は、Kaggle Advent Calendar 2022の13日目の記事だ。SVR (SVC) とは?SVR はサポートベクタ回帰(Support Vector Regression)で、SVC はサポートベクタ分類(Support Vector Classificat

先日参加した Kaggle コンペFeedback Prize - English Language Learningで知った手法、RAPIDS SVR (SVC) が高速に学習でき、回帰や分類タスクでは有益な手法の一つと感じたので、どのようなものかを紹介する。実際にこのコンペの上位解法では、RAPIDS SVR の手法が使われていた。また RAPIDS SVC を使って日本語評価データセットのJGLUEのクラス分類データセットの MARC-ja を評価する。評価につかった実装はGitHub 上で公開している。なおこの記事は、Kaggle Advent Calendar 2022の13日目の記事だ。SVR (SVC) とは?SVR はサポートベクタ回帰(Support Vector Regression)で、SVC はサポートベクタ分類(Support Vector Classification)である。これらに使われているアルゴリズムのSVM(Support Vector Machine)は精度が高いといわれ、一時期は一世を風靡していたと聞いている。sklearn にも実装があるので実際に使った事がある方も多いだろう。ただ、sklearn のドキュメントに記述されているようにThe implementation is based on libsvm. The fit time complexity is more than quadratic with the number of samples which makes it hard to scale to datasets with more than a couple of 10000 samples.と、1万サンプルを超えると現実的にスケールさせることは sklearn の実装(libsvmベース)では困難のようだ。RAPIDS SVR (SVC) とはRAPIDS SVR (SVC) とは RAPIDS という NVIDIA が GPU でデータサイエンスを推進するプロジェクトの一つ、cuMLで実装されているSVMだ。cuML は雑に解説すると、sklearn 等で実装されている汎用的な機械学習アルゴリズムを sklearn の estimator API (fit() や transform() など)に合わせ CUDA 上で動くように最適化して実装したものである。ベンチマークによると、sklearn の10~50倍は速いとか。そのため、sklearn では速度的に動かすのが困難なアルゴリズムも、cuML を使うことで高速に動かすことが可能になる。なお RAPIDS プロジェクトは他にも DataFrame を高速に扱えるcuDF等、CUDA 上で高速にあれこれできるツールがいくつもあるので、興味がある方はそちらも見るとよいだろう。では SVR を高速に動かすことができると何が嬉しいのだろうか？その一つの答えがニューラルネットワークの出力層の埋め込み表現を特徴量として使い学習することが現実的な速度で行えることだ。つまり、既存の公開済みモデルをファインチューンせずに特徴量抽出のみに利用し、それをSVRで学習できる。また、複数のモデルの特徴量を組み合わせて学習なども簡単にできる。なおファインチューンせずに利用できるが、ファインチューンしたモデルの利用も可能である。RAPIDS SVR
--RAPIDS SVR starter kitより引用ニューラルネットワークからの特徴量抽出方法ではニューラルネットワークからどのように特徴量を抽出すればよいのか？例として、HuggingFace Transformers の Encoder モデルについて解説する。といっても、ほとんどの Encoder モデルでは出力層の last_hidden_state の CLS を見るか Mean Pooling すればよい。また、それらの結果は normalize して利用する。class MeanPooling(nn.Module):
    def __init__(self, eps=1e-6):
        super(MeanPooling, self).__init__()
        self.eps = eps

    def forward(
        self, outputs: torch.Tensor, attention_mask: torch.Tensor
    ) -> torch.Tensor:
        last_hidden_state = outputs[0]
        input_mask_expanded = (
            attention_mask.unsqueeze(-1).expand(last_hidden_state.size()).float()
        )
        sum_embeddings = torch.sum(last_hidden_state * input_mask_expanded, 1)
        sum_mask = input_mask_expanded.sum(1)
        sum_mask = torch.clamp(sum_mask, min=self.eps)
        mean_embeddings = sum_embeddings / sum_mask
        return mean_embeddings


class ClsPooling(nn.Module):
    # 実際は Pooling ではなくただの CLS を取り出しているだけなので、このクラス名は良くない…
    def __init__(self):
        super(ClsPooling, self).__init__()

    def forward(
        self, outputs: torch.Tensor, attention_mask: torch.Tensor
    ) -> torch.Tensor:
        last_hidden_state = outputs[0]
        return last_hidden_state[:, 0, :]


POOLING_CLASSES = {
    "mean": MeanPooling,
    "cls": ClsPooling,
}

class TransformerEmbsModel(torch.nn.Module):
    def __init__(self, model_name: str, pooling: str = "mean"):
        super().__init__()
        self.model = AutoModel.from_pretrained(model_name)
        self.pool = POOLING_CLASSES[pooling]()

    def feature(self, inputs: dict[str, torch.Tensor]) -> torch.Tensor:
        outputs = self.model(**inputs)
        sentence_embeddings = self.pool(outputs, inputs["attention_mask"])
        # Normalize the embeddings
        sentence_embeddings = F.normalize(sentence_embeddings, p=2, dim=1)
        sentence_embeddings = sentence_embeddings.squeeze(0)
        return sentence_embeddings

    def forward(self, inputs: dict[str, torch.Tensor]) -> torch.Tensor:
        embs = self.feature(inputs)
        return embsこんな感じで特徴量を取り出すことができる。Rapids SVC での学習あとは SVC で学習するだけ。SVRでもほぼ同じコードで動く。from cuml.svm import SVC
import numpy as np

DEFAULT_SVC_PARAMS = {
    "C": 3.0,  # Penalty parameter C of the error term.
    "kernel": "rbf",  # Possible options: ‘linear’, ‘poly’, ‘rbf’, ‘sigmoid’.
    "degree": 3,
    "gamma": "scale",  # auto or scale
    "coef0": 0.0,
    "tol": 0.001,  # 0.001 = 1e-3
}

def train_svc(
    X: np.ndarray,
    y: np.ndarray,
    svc_params: dict[str, object] = DEFAULT_SVC_PARAMS,
    probability: bool = True,
) -> SVC:
    svc = SVC(**svc_params)
    svc.probability = probability
    svc.fit(X, y)
    return svcコアの部分はほぼこれだけである。MARC-ja を使いスコアを測るでは実際に日本語評価データセットのJGLUEのクラス分類データセットのMARC-jaを評価してみる。MARC-ja は Amazon の日本語レビューをネガポジのラベル付けした二値のクラス分類データセットで、Trainラベルが187,528サンプル、Dev(valid)ラベルが5,654サンプルある。そこそこの大きさのデータである。なおTestのデータは現在はPublicでは公開されていないようだ。JGLUEのGitHub上には、Dev の正解率(acc)が並んでいて、例えばcl-tohoku/bert-base-japanese-v2の結果は 4epochs を回して 0.958。最高はXLM RoBERTa largeの0.964とのこと。なお学習時間も気になるので、Colab(GPUはT4)で適当に学習を回した所、bert-base-japanese-v2の1epochを学習するのに約100分(accは1epoch目で 0.9573)、手元のRTX4090で1epochに約30分ほどかかった。特徴量抽出～SVC で学習するhttps://github.com/hotchpotch/rapids-svr-svc-marc_ja上記レポジトリで、MARC-ja のデータでNNの特徴量抽出～Rapids SVCで学習する実装を作った。では早速 cl-tohoku/bert-base-japanese-v2 でファインチューンせずにSVCで学習、評価してみよう。なお、以下の実行時間は手元のRTX4090での速度である。$ python lib/runner.py bert-base-ja-v2-cls
[create cache] tmp/embs_cache/bert-base-ja-v2-cls.pkl.gz
100%|███████████████████████████████████████████████████████████████████████| 5861/5861 [06:04<00:00, 16.09it/s]
100%|█████████████████████████████████████████████████████████████████████████| 177/177 [00:10<00:00, 16.45it/s]
exec time: 394.05 sec
shape: (187528, 768) (5654, 768)
concat embs: (187528, 768) (5654, 768)
[train svc]
svc exec time: 17.83 sec
==================================================
bert-base-ja-v2-cls
valid acc score: 0.927661832331093
==================================================
              precision    recall  f1-score   support

    positive    0.89788   0.56691   0.69500       822
    negative    0.93067   0.98903   0.95896      4832

    accuracy                        0.92766      5654
   macro avg    0.91428   0.77797   0.82698      5654
weighted avg    0.92590   0.92766   0.92059      5654特徴量抽出に 394秒、SVCの学習に約18秒、正解率は 0.92766 となった。なお、一度特徴量を抽出すると、その特徴量はキャッシュとして再利用される実装にしてあるので、二度目はほぼSVCの学習時間だけしか実行コストがかからない。では続いて同じモデルの特徴量抽出を CLS でなく Mean Pooling で行った結果を見てみよう。$ python lib/runner.py bert-base-ja-v2-mean
[load cache] tmp/embs_cache/bert-base-ja-v2-mean.pkl.gz
shape: (187528, 768) (5654, 768)
concat embs: (187528, 768) (5654, 768)
[train svc]
svc exec time: 18.44 sec
==================================================
bert-base-ja-v2-mean
valid acc score: 0.9324372125928546
==================================================
              precision    recall  f1-score   support

    positive    0.91667   0.58881   0.71704       822
    negative    0.93406   0.99089   0.96164      4832

    accuracy                        0.93244      5654
   macro avg    0.92536   0.78985   0.83934      5654
weighted avg    0.93153   0.93244   0.92608      5654こちらは過去にすでに実行してあったので、特徴量はキャッシュが使われ、SVCだけの学習ですんでいる。正解率は 0.93244 で、CLS よりも Mean Pooling のほうが良い結果となった。ではこの2つの特徴量を使って学習するとどうなるだろうか？$ python lib/runner.py bert-base-ja-v2-cls bert-base-ja-v2-mean
[load cache] tmp/embs_cache/bert-base-ja-v2-cls.pkl.gz
shape: (187528, 768) (5654, 768)
[load cache] tmp/embs_cache/bert-base-ja-v2-mean.pkl.gz
shape: (187528, 768) (5654, 768)
concat embs: (187528, 1536) (5654, 1536)
[train svc]
svc exec time: 30.04 sec
==================================================
bert-base-ja-v2-cls + bert-base-ja-v2-mean
valid acc score: 0.9334984082065794
==================================================
              precision    recall  f1-score   support

    positive    0.90545   0.60584   0.72595       822
    negative    0.93652   0.98924   0.96216      4832

    accuracy                        0.93350      5654
   macro avg    0.92099   0.79754   0.84405      5654
weighted avg    0.93200   0.93350   0.92782      5654特徴量はすでにキャッシュがあるので、ほぼ一瞬で読み込まれ、SVC学習時間は30秒ほど。結果は 0.93350 となった。同じNNモデルだが、CLS と Mean Pooling で分けて特徴量を出し、一緒にSVCで学習するだけで 0.001 のスコア向上である。古典的なTF-IDFはどうだろうか。TF-IDFで作った特徴量はさすがに次元が多すぎるので、SVDで次元圧縮して1000次元にしてSVCで学習・評価してみる。$ python lib/runner.py tfidf
[load cache] tmp/embs_cache/tfidf.pkl.gz
shape: (187528, 1000) (5654, 1000)
concat embs: (187528, 1000) (5654, 1000)
[train svc]
svc exec time: 55.78 sec
==================================================
tfidf
valid acc score: 0.8924655111425539
==================================================
              precision    recall  f1-score   support

    positive    0.81657   0.33577   0.47586       822
    negative    0.89729   0.98717   0.94009      4832

    accuracy                        0.89247      5654
   macro avg    0.85693   0.66147   0.70797      5654
weighted avg    0.88556   0.89247   0.87260      5654正解率は 0.89247 でそんなに良くない。未知語が多い文章では正解は期待できないのでこんなものだろう。ではbertの特徴量にtfidfを組み合わせるとどうか？$ python lib/runner.py bert-base-ja-v2-cls bert-base-ja-v2-mean tfidf
[load cache] tmp/embs_cache/bert-base-ja-v2-cls.pkl.gz
shape: (187528, 768) (5654, 768)
[load cache] tmp/embs_cache/bert-base-ja-v2-mean.pkl.gz
shape: (187528, 768) (5654, 768)
[load cache] tmp/embs_cache/tfidf.pkl.gz
shape: (187528, 1000) (5654, 1000)
concat embs: (187528, 2536) (5654, 2536)
[train svc]
svc exec time: 53.41 sec
==================================================
bert-base-ja-v2-cls + bert-base-ja-v2-mean + tfidf
valid acc score: 0.9379200565970994
==================================================
              precision    recall  f1-score   support

    positive    0.92280   0.62530   0.74547       822
    negative    0.93957   0.99110   0.96465      4832

    accuracy                        0.93792      5654
   macro avg    0.93119   0.80820   0.85506      5654
weighted avg    0.93713   0.93792   0.93278      5654結果は 0.93792 と bert 単体よりだいぶ高くなった。特徴量の方向性が違うtfidfが組み合わさり多様性が生じスコア向上と思われる。またSVCの学習時間も、収束が良いためかtfidf単体よりも若干早くなっていて興味深い。こんな感じで、他にもいくつか HuggingFace に公開済み日本語モデルの特徴量を組みわせてスコアを求めてみる。$ python lib/runner.py bert-base-ja-v2-cls bert-base-ja-v2-mean rinna-ja-roberta-base-cls rinna-ja-roberta-base-mean tfidf bert-base-ja-sentiment-cls bert-base-ja-sentiment-mean
[load cache] tmp/embs_cache/bert-base-ja-v2-cls.pkl.gz
shape: (187528, 768) (5654, 768)
...中略
[load cache] tmp/embs_cache/bert-base-ja-sentiment-mean.pkl.gz
shape: (187528, 768) (5654, 768)
concat embs: (187528, 5608) (5654, 5608)
[train svc]
svc exec time: 89.47 sec
==================================================
bert-base-ja-v2-cls + bert-base-ja-v2-mean + rinna-ja-roberta-base-cls + rinna-ja-roberta-base-mean + tfidf + bert-base-ja-sentiment-cls + bert-base-ja-sentiment-mean
valid acc score: 0.9432260346657234
==================================================
              precision    recall  f1-score   support

    positive    0.93717   0.65328   0.76989       822
    negative    0.94391   0.99255   0.96762      4832

    accuracy                        0.94323      5654
   macro avg    0.94054   0.82292   0.86876      5654
weighted avg    0.94293   0.94323   0.93887      5654187528x5608 の特徴量をSVCで学習させると90秒。結果は正解率が 0.94323 と最高になった。ちゃんとファインチューンして学習させた bert の 0.958 と比べると、スコア的にはまだ物足りない。ただ、アンサンブルに使うモデルの一つとしては検討できそうなスコアだし、まだまだ他の特徴量を追加することでスコアが向上する可能性は充分ある。学習速度も高速で、一番時間がNNの特徴量を一度取り出してしまえば、あとは好きに特徴量を組み合わて結果を観測できる。とすると例えば Fold 数を巨大にしても現実的な時間で処理できるであろう。実際の Kaggle コンペでの活用先日私が参加したコンペ、Feedback Prize - English Language Learning(テキストのスコア推論)の1位～8位の解法まとめによると、1位・3位・4位解法では Rapids SVR のモデルをアンサンブルで利用したようだ。私もSVRを試していたが、アンサンブルに組み込んだ時にPublic LBのスコア向上しなかったため、最終 sub には入れなかったが、少なくとも初期に公開されていた deverta-v3-base のfinetuneモデルよりはPublic/Private LB 共に高スコアをの結果であった。実際にアンサンブルに組み込んだコンペ終了後に確認できる Private LB ではスコアの向上が確認されたので、結果を知った今ならアンサンブルに入れるべきであった。またPetFinder.my - Pawpularity Contestの画像コンペの1位解法でもSVRを利用していたのことだ。他にも、例えばコンペ終了間際にアンサンブルに使う別モデルを採択する際に、とりあえずSVRを通してスコアの高いモデルから学習させるというのも良いと思っている。Pretrained Embeddings are all you need (sort of ...)では、特徴量をSVRにかけた結果をリストアップしているが、実際にファインチューンして学習させてもこの結果と相関あるスコアになると思う。おわりに本記事では、ファインチューンせずに特徴量をそのまま学習に使える RAPIDS SVR, SVC について紹介した。ファインチューンする場合、データ量にもよるが数十分～数時間学習に時間がかかることは多々ある(現実世界のデータには更に巨大なデータもたくさんあるであろう)が、特徴量抽出で数分、学習で数秒～数十秒と「RAPID」に処理が行える SVR, SVC は Kaggle においても、それの一般的な業務や研究などにも利用しやすく思える。今までは回帰・分類課題でニューラルネットワークで学習しない際、私の場合はたいてい勾配ブースティング決定木だけ試すに留まっていたが、高速にSVMで処理が行えるRAPIDS SVR, SVC は試すべき手法の一つとして活用していけそうだ。

A Day in the Life

妻の両親が遊びに / 2022年12月12日

似ている画像がある記事

同じ日付の日記

おたよりを送る