[過去ﾛｸﾞ] 技術的特異点/シンギュラリティ【総合】244 (1002ﾚｽ)
上下前次1-新
抽出解除 必死ﾁｪｯｶｰ(本家) (べ) 自ID ﾚｽ栞 あぼーん
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
810: 2023/07/07(金)21:26 ID:Cs2/T7P8(1/4) AAS
@ImAI_Eruel
LLMのトークン制限は頻繁に議論になりますが,とんでもない手法が出てきました
"LongNet"
外部ﾘﾝｸ:arxiv.org
トークン長が10億(!)と主張する手法で,ChatGPT/GPT-4が3万,最近の研究のMAXが100万なので凄いインフレです(冒頭の図が強すぎる)
実質的にはほぼ無限入力長と記憶力で,書籍どころか,普通の人が見るWeb領域の全体,社内文書,コードベースなどを丸ごと読み込んでもお釣りが来るレベルです．
手法としては,指数関数的に注意領域を増やすDilated Attetionというものを提案しており,実験的にも大小のシーケンスで性能を落としてない模様．
さすがに手法が強すぎて界隈では議論が起きていますが，実装も公開されています．
外部ﾘﾝｸ:aka.ms
画像ﾘﾝｸ[jpg]:pbs.twimg.com
811: 2023/07/07(金)21:27 ID:Cs2/T7P8(2/4) AAS
@OpenAI
Code Interpreter will be available to all ChatGPT Plus users over the next week.
It lets ChatGPT run code, optionally with access to files you've uploaded. You can ask ChatGPT to analyze data, create charts, edit files, perform math, etc.
Plus users can opt in via settings.
812: 2023/07/07(金)21:27 ID:Cs2/T7P8(3/4) AAS
Code interpreter is now rolling out in beta on web (July 6)
外部ﾘﾝｸ:help.openai.com
Code interpreter
外部ﾘﾝｸ:openai.com
GPT-4 API general availability and deprecation of older models in the Completions API
外部ﾘﾝｸ:openai.com
813: 2023/07/07(金)21:29 ID:Cs2/T7P8(4/4) AAS
@ImAI_Eruel
トークン長の長さは話題になるところですが,実際にLLMに入力する長いプロンプト(コンテキスト)では,先頭か最後の方に重要な情報が含めたほうがいいという研究
外部ﾘﾝｸ:arxiv.org
実験でも,位置の違いで相当な精度差
使い慣れた人は直感的に把握してそうな知見が改めて研究でしっかり示された感
画像ﾘﾝｸ[png]:pbs.twimg.com
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.029s