gzipを言語モデルにしてみたら何が見えたのか
https://papoo.work/doc/a32b115a9337084f
#圧縮 #言語モデル #gzip #情報理論 #生成ai

7z.batch - Command line utility for 7-Zip Link in video descriptions

youtu.be/RqxBoKyD_HY

#Microsoft #msdos #7zip #ZIP #archives #winrar #winzip #batch #bat #script #compress #decompress #lha #lhz #rar #tar #gz #bzip2 #zlib #z #jar #pkzip #gzip #7z

gzipを言語モデルにしてみたら何が見えたのか
https://papoo.work/doc/a32b115a9337084f
#圧縮 #言語モデル #gzip #情報理論 #生成ai

gzipを言語モデルにしてみたら何が見えたのか
https://papoo.work/doc/a32b115a9337084f
#圧縮 #言語モデル #gzip #情報理論 #生成ai

gzipを言語モデルにしてみたら何が見えたのか
https://papoo.work/doc/a32b115a9337084f
#圧縮 #言語モデル #gzip #情報理論 #生成ai

gzipを言語モデルにしてみたら何が見えたのか
https://papoo.work/doc/a32b115a9337084f
#圧縮 #言語モデル #gzip #情報理論 #生成ai

「テキスト分類にLLMは不要」の極端な例がこれ。gzipで圧縮率を比べるだけで文書の類似度が出る。モデルも学習もAPIもいらない。精度は限定的だけど、オフラインで「これはカテゴリAっぽい」とだけ判定したい用途なら十分。LLMに投げる前の下振れフィルタ、これで間に合う案件は正直結構ある気がする。#gzip

absolutely brilliant!

"Can gzip be a language model?"

https://nathan.rs/posts/gzip-lm

#programming #computerscience #gzip #llm