なんJLLM部 ★7 (751ﾚｽ)
上下前次1-新
1(2): LLM (ﾜｯﾁｮｲ 736d-D2DL) 03/16(土)12:50 ID:MHa9NR2/0(1/25) AAS
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
なんJLLM部 ★6
2chｽﾚ:liveuranus
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
732: (ﾜｯﾁｮｲ 035c-R2fc) 06/14(金)12:00 ID:401Vl6Uw0(1) AAS
CPUでやるならメモリの帯域幅がボトルネックでスレッド数はそこまで影響しない
GPUとの比較は性能次第でピンキリだけどモデルがVRAMに全て収まるなら5倍から100倍ぐらい違う
14BモデルまでならCPUでやれなくはないが
大型の70BモデルとかCPUで動かすと毎秒1文字みたいな感じ
733: (ﾜｯﾁｮｲ 6337-Ld5K) 06/14(金)12:49 ID:XUolObv40(1) AAS
CPUで動かしてる動画見たけど、普段チャットみたいに使ってる身からすると遅すぎて無理
734: (ﾜｯﾁｮｲ 6fba-AGQf) 06/14(金)13:18 ID:SG3mLJnv0(1) AAS
>>729
時価総額40兆円企業の大盤振る舞い
735(1): (ｽﾌﾟｰﾌﾟ Sdba-gJOZ) 06/17(月)06:20 ID:J0B/LIfTd(1) AAS
無規制環境のなりきりボット作るならどうしたらええんや？
736: (ﾜｯﾁｮｲ 5755-lcAc) 06/17(月)06:40 ID:NYdwvbXM0(1) AAS
>>735
>>723
737(1): (ﾜｯﾁｮｲ aaee-cl2B) 06/19(水)22:28 ID:Cbzm9Mkw0(1) AAS
直接LLMの話でなくて恐縮なんやけど
Audacityっていう無料の音声編集ソフトに、OpenAIのWhisperっていう
AI書き起こし機能をつけられるようになったんや
DLsiteの音声作品で台本がないのがあるから書き起こしさせたけど
日本語ガバガバなんで、その音声作品の紹介文とともに
Command-r plusにぶち込んで「エロ音声の書き起こしなんやけど精度が低い、
自然な日本語に修正して」ってやったらけっこう読める文章になった
(ただしうまく修正できないところは勝手にカットされた)
なにかに使えるかもしれへんな
738: (ﾜｯﾁｮｲ 3b7b-48Ya) 06/20(木)00:08 ID:bm6Gco/+0(1) AAS
RVCの素材作り的には有り難いかも…？
739: (ﾜｯﾁｮｲ 1b11-JKwZ) 06/20(木)14:39 ID:UPjg//rY0(1) AAS
>>737
かしこやな。ワイは以前「エロアニメから男の声だけ消して字幕化する」ってのに挑戦した事あるんやけど
男の声を分離するのはDemucsで上手くいったけど肝心の文字起しが上手くいかなくて諦めてたんや。LLMで補完すればよかったんやね
740: (ﾜｯﾁｮｲ b638-JTKV) 06/22(土)02:28 ID:/KGlo7AV0(1) AAS
今ってどのLLMが人気なん？
741: (ﾜｯﾁｮｲ aa02-1Uxc) 06/22(土)07:00 ID:93K/0WZJ0(1) AAS
あいかわらずOpusが人気だけど3.5になったSonnetが今はホット
742: (ﾜﾝﾄﾝｷﾝ MM8a-3gc3) 06/22(土)21:33 ID:a6RSJCNOM(1) AAS
3.5のSonnetの性能は3のOpus既に超えてるね
3.5のOpusも年末には出る予定らしい
まあエロフィルターも強化されちゃったんだけど
743: (ﾜｯﾁｮｲ ff29-fYEb) 06/27(木)14:33 ID:1f/R3y6Z0(1/3) AAS
GPT3.5 turbo超えらしいLlama-3-ELYZA-JP-8B 試してみたいけどWSL2環境作らなきゃ動かない感じ？
744: (ﾜｯﾁｮｲ ff09-uW6V) 06/27(木)14:51 ID:9LKh5PIU0(1/2) AAS
一番簡単なのはkoboldcppってソフトを使ってggufに変換されたモデルファイルを読み込む方法かな
elyzaは自前の日本語テスト使って性能高いってインチキしてるから信用ならん
そのテストに他のモデルの苦手な問題を仕込めば周りの得点下げれるし
自分達はテストの答案を学習させれば得点高くなって当然だし
745(1): (ﾜｯﾁｮｲ ff29-fYEb) 06/27(木)15:16 ID:1f/R3y6Z0(2/3) AAS
ありがとう
Llama 2のLLMをggufに変換してるnoteがあったのでやってみる
まともに日本語でチャットできる性能があればいいかな
746: (ﾜｯﾁｮｲ ff09-uW6V) 06/27(木)15:35 ID:9LKh5PIU0(2/2) AAS
>>745
外部ﾘﾝｸ:huggingface.co
この人が日本語系のモデルを変換してくれてるからDLすればいいよ
どのサイズが良いかはPCの性能によるからなんとも言えないけどQ4_K_Mぐらいから試せば良いのでは
747: (ﾜｯﾁｮｲ ff29-fYEb) 06/27(木)15:49 ID:1f/R3y6Z0(3/3) AAS
本当だリリースしたばかりなのに12時間前に
20種類以上もアップロードしてくれてる
メモリ64GB、3090でQ4_K_M試して他のもやってみます
教えてくれた人も変換してくれる人にも感謝
748(1): (ﾍﾞｰｲﾓ MM8f-MhSQ) 06/27(木)17:59 ID:izvqH0+HM(1) AAS
性能求めてるやつに量子化勧めるオモロいな
749: (ﾜｯﾁｮｲ 4f7b-m7nf) 06/28(金)01:40 ID:bl7sWnHP0(1) AAS
量子化はモデルの全体的な精度が低下するのであって性能とは別問題だろとマジレス
750: (ｽﾌﾟﾌﾟ Sd5f-foKH) 06/28(金)09:44 ID:tpvjD/jUd(1) AAS
>>748
むしろモデルとしての性能を求めるなら量子化して上のモデルを使うのが一般的だと思うが
程度にもよるけど一般論として量子化した70Bモデルが動くなら量子化してない7Bモデルに勝るから量子化が使われてるのであって
751: (ﾜｯﾁｮｲ 3ff7-FBr5) 06/28(金)13:36 ID:UkngTigg0(1) AAS
googleが出したgemma2 27b、chat arenaの成績みる限り少なくとも英語の性能はllama3 70bに匹敵してるかも
Q5くらいなら24GBで動かせそうだ
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 1.357s*