ChatGPT の Noteable + WebPilot プラグインで、OpenCALM の14Bモデルが登場したらの性能予測を notebook を作成しながら、予想モデル作成・グラフ描画をする
ChatGPT 上で対話しながら notebook 作成ができる Noteable Plugin すごい、というのを見かけたので ChatGPT (GPT4) で使ってみたら、思っていた以上にすごかったので✍。ちょっとした分析は notebook 自体をAIに書いてもらいつつ、notebook 開かなくても ChatGPT 上で確認もできるという便利な時代が到来していた。
例えばOpenCALMのパラメータ数とPPLをHFのページからデータを取ってきて、グラフ描画してもらうと以下な感じ。
1Params あたりの PPL 性能グラフは以下。
線形回帰で表現できそうな、1b以降のパラメータでモデルを作り(これも指示すれば作ってくれる) OpenCLAM-14B が出現した場合の予想グラフは以下。なおパラメータ 1b, 3b, 7b は線形減少してるので、巨大モデルが出れば出るほど性能が上がっていきそうな気配だ。
先ほど作成した線形回帰モデルの切片と係数は以下の通りです：
切片（Intercept）: 10.7928
係数（Coefficient）: -0.000383
これは、モデルが以下の形式で表されることを意味します：
Dev ppl = 10.7928 - 0.000383 * Params
つまり、Paramsが1増えると、Dev pplは約0.000383減少すると予測されます。
ChatGPT でのやりとりはこんな感じ。このチャットやり取りには書いてないけど、別に線形回帰だけじゃなくて、非線形（例えばSVMとか）やニューラルネットワークや多項式で作ってと指定すればそれで表現してくれるし、めちゃくちゃ便利そう。
- https://chat.openai.com/share/e3f754bb-0a9f-4bc9-a04e-399296f55884
- 先日からChatGPTで share URL ができた。なおNoteable画像は、対話中の数十分のキャッシュのようで、しばらくすると表示されなくなってしまうようだ。
Noteable で作られた notebook はこんな感じ。WebPilot がスクレイピングしてきたデータが、先頭のセルに入っている。
今までは、Webページのデータを整形しながら csv や python のコード表現に落として、それをnotebookでお決まりの作法で分析していく、みたいな流れが自然言語で書くだけでシュッっとできるようになったのはめちゃ便利。複雑なことをやりたかったら、そもそもの notebook が出来上がっているので、自分でちょっと追加すれば引き続きデータ分析ができる、というのもだいたいAIにやってもらい、最後に人間が微調整、というのがいつもの notebook でできてしまうのもポイント高し。
どんどん面倒な仕事がなくなって行って、良い感じだなぁ。
