ワイ氏、AIアルゴリズムTransformer理解できない (12ﾚｽ)
上下前次1-新
1: 2024/08/16(金)03:04 ID:mQScfB5o(1/4) AAS
CNNとかRNNとか理解できて組めるけど、こいつだけ理解できんし組めん
2: 2024/08/16(金)03:09 ID:mQScfB5o(2/4) AAS
他人の組んだやつを少しいじったりはできるけど、パラメータ数とかのいじったりできんわ。誰かに聞きたいんやけどこんなやつ結構多いと思うんよ
3(1): 2024/08/16(金)03:14 ID:Rc0NIZPv(1) AAS
何が理解できないの？
4(1): 2024/08/16(金)14:23 ID:ckm1V/4U(1/2) AAS
ところで開発環境はどうしてるの？
でっかいモデル学習させるのに必要なGPUって高いやろ？
ちっこいモデルで我慢するのかな？
5(1): 2024/08/16(金)15:00 ID:mQScfB5o(3/4) AAS
>>3
いろいろ理解できてないから分からないとすごく言いたい。
前提として今まで趣味でCNNとかをkerasで組んでます。
Transformerはtorchになるからそこで少しつまずいているのもあります。
__init__とforwardとかも__init__が定義でforwardが処理みたいなことぐらいしか理解できない。
self-attentionのqkvとかもよくわかってない。ネットで調べても数式の解説とかが多くて、私には分からんかった。高卒なので線形代数とか分からない。
漢検5級の人が1級の勉強をしている感覚です。ところどころわかるけど、全体通すと分からないです。
6(1): 2024/08/16(金)15:09 ID:mQScfB5o(4/4) AAS
>>4
Python開発環境は、Python 3.9.0を使用しています。Visual Studio Codeを仮想環境はvenvで管理しています。OSはWindows 10です。
CPUはryzen9 5900x
メモリ 96GB
グラボ RTX 3090
今は個人向けグラボで学習できる範囲でしています。
1bぐらいのモデル学習させてみたいです
7(1): 2024/08/16(金)19:58 ID:ckm1V/4U(2/2) AAS
>>6
ちっこいモデルでだよね
さくらのサーバとか契約してる人はいないのかな？
8: 2024/08/16(金)22:07 ID:YMpAdowz(1) AAS
>>7
ちっこいモデルを作れないので考えてないです。
さくらインターネット系のレンタルグラボの契約してる人いないです。
9: 2024/08/17(土)19:18 ID:jNc9Eb8A(1) AAS
>>5
ちょっとその程度だとアドバイスのしようがない
頑張って勉強してくれ
10: 2024/08/18(日)16:04 ID:PPBUqN/p(1) AAS
興味で数年前に理解したがすぐ忘れてしまったが生活に支障はないよ
qkvとか確かにあったね。それが成り立つように学習するってだけでしょ
11: 2024/08/18(日)16:57 ID:aC53Nw8u(1) AAS
>すぐ忘れてしまったが
>生活に支障はないよ
ほんと最近これ
12: 2024/08/26(月)21:45 ID:Zj/yRZqN(1) AAS
Transformerの資料はNLPを想定して書かれてるから余計に混乱する
GPTなら解るが、Transformerは汎用性が高いのに
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.178s*