文章生成AIでオナニー★102 (970ﾚｽ)
上下前次1-新
抽出解除 必死ﾁｪｯｶｰ(本家) (べ) 自ID ﾚｽ栞 あぼーん
ﾘﾛｰﾄﾞ規制です｡10分ほどで解除するので､他のﾌﾞﾗｳｻﾞへ避難してください｡
346: (ﾜｯﾁｮｲ ffdf-ZghJ) 09/01(月)17:44 ID:mH7zqi+P0(1/9) AAS
10万どころか5万トークンでかなり出力の品質は低下するから
現行のgemini使うなら入力トークンは絞った方がいいと思うよ
351(1): (ﾜｯﾁｮｲ ffdf-ZghJ) 09/01(月)17:59 ID:mH7zqi+P0(2/9) AAS
>>347
思考や出力で数万トークン出力される使い方は中々ないだろ馬鹿か
356(1): (ﾜｯﾁｮｲ ffdf-ZghJ) 09/01(月)18:15 ID:mH7zqi+P0(3/9) AAS
>>355
長編になればトークンが多くなるのはその分入力トークンが増えるからでしょ
いまいち理解してないみたいね
359(1): (ﾜｯﾁｮｲ ffdf-ZghJ) 09/01(月)18:20 ID:mH7zqi+P0(4/9) AAS
>>358
いや逆に聞くけど数万トークンの出力を一気に出してるの？
361: (ﾜｯﾁｮｲ ffdf-ZghJ) 09/01(月)18:28 ID:mH7zqi+P0(5/9) AAS
>>360
いやだから、入力・出力含めて使われるトークンの大部分は入力トークンになるんだよ普通
チャット履歴が含まれるから
なのにお前は出力も含まれるから入力トークン絞るのは無意味って言ってるから突っ込まれてるの
だから俺は性能落としたくないなら入力トークン絞れてつってんの
369(2): (ﾜｯﾁｮｲ ffdf-ZghJ) 09/01(月)18:49 ID:mH7zqi+P0(6/9) AAS
あんまり理解してないみたいだけど簡単に言うと
geminiというかLLMが品質維持したまま扱えるトークン量はコンテキスト最大量に比べてかなり小さい
だから性能を落としたくないなら入力トークンを減らす＝ある程度のトークン量になったらセッションを変えるか、STのコンテキストスライダー弄って入力するトークンを減らすしか方法はない
ってこと
トークン量増えたら性能落ちちゃうねーとか喚かれてもどうしようもないよLLMの仕様だし
LLM使う人間なら周知の事実だから
10万トークン超えるだろと言われてもそれで品質に文句言うなら使い方が悪いとしか言えんのよ
373: (ﾜｯﾁｮｲ ffdf-ZghJ) 09/01(月)18:59 ID:mH7zqi+P0(7/9) AAS
>>371
性能上無理の意味がわからん
やっぱり入力トークンの意味わかってなくない？
376: (ﾜｯﾁｮｲ ffdf-ZghJ) 09/01(月)19:04 ID:mH7zqi+P0(8/9) AAS
>>372
それだけの話やね
入力トークンが一回のチャットで入力するプロンプトのトークン（＝チャットウィンドウに入力する文字）だと勘違いして齟齬が起きてるだけの気がする
386: (ﾜｯﾁｮｲ ffdf-ZghJ) 09/01(月)19:27 ID:mH7zqi+P0(9/9) AAS
>>379
そういうことで、俺の場合は5万入力トークンあたりで出力の品質が落ちると感じるなあという話
一回のチャットウインドウへの入力を簡素にしようとかいう話ではなく
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.035s