[過去ﾛｸﾞ] 純粋・応用数学・数学隣接分野（含むガロア理論）19 (1002ﾚｽ)
上下前次1-新
抽出解除 必死ﾁｪｯｶｰ(本家) (べ) 自ID ﾚｽ栞 あぼーん
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
ﾘﾛｰﾄﾞ規制です｡10分ほどで解除するので､他のﾌﾞﾗｳｻﾞへ避難してください｡
258: １３２人目の素数さん [] 2024/11/04(月)16:02 ID:lqiQeLpq(1/3)
これ面白い
xuzijian629.はてなブログ.com/
はてなブログ
joeの日記
2024-11-01
Metaに転職して感じたPFNとの違い
Metaに転職して1か月近くが経ちました。カナダのトロントオフィス勤務で、今月は渡航に始まり、社会保険番号取得、口座開設、家探し（インターネット等の契約も）、州の健康保険、会社の福利厚生に含まれる保険や積み立て口座の開設、など手続き関連でかなり疲れましたが、アメリカメンローパークでの本社のオンボーディングも終了していよいよ業務が開始した、といったところです。
なんせ前職とは仕事の内容も会社の人数的な規模も場所も違うところなので新しいことだらけなのですが、記憶に新しいうちにPFNとMetaで感じた違いを書いていこうかなと思います。
念のため初めに注意事項を述べておきます。
PFNでも、Metaでも、自分が所属するチーム目線での感想です。チームによってカルチャーも雰囲気も異なると思うので、これを見て「{PFN/Meta}は〇〇な会社なのか〜」と早とちりするのはよくないです。本当に気になる方はぜひ会社公式の情報を調べたりほかの社員の意見も聞いてみてください。
Learn or Dieカルチャーについて
言わずと知れたPFN Valuesの一つです。和訳は「死ぬ気で学べ」になっているかと思います。これはなんならMetaのほうがLearn or "Die"という気がします。 PFNもLearnすることはたくさんあったのですが、自分の場合それは何か新しいものを実装するときにリファレンスを読んだり関連研究をサーベイしたりするというのがほとんどで、自分が主体で自分のペースでLearnができました*1。それに対してMetaは日々の一つ一つのプロジェクトが、自分があまりそれに詳しくない他チームとの共同作業で、自分が頑張ってコンテキストを把握していかないとそもそも業務が不可能、というある種の強制さを感じます。
もう少し具体的に話すと、「Metaの内製深層学習アクセラレータでMetaの重要なモデルを学習、推論する」ことにかかわっている人数は膨大で、この全体像を実装レベルで把握している人なんてたぶんいないです。この人たちは細かいレイヤごとに細分化されており、自分が所属するLLVMチームはそのわずか一部分です。カーネル関係にもいくつかチームがあるのですが、たとえばそのうちの一つとともにある問題を解決する、みたいな動きがたいていの業務の流れのようで、綿密にコミュニケーションを取って問題を把握して考える、ということが要求されているようです。 PFNの場合は、人数がもう少しコンパクトですし、NVIDIA GPUを使っていたりそもそもそのランタイムはオープンソースのATenを使っていたりと、スタートアップなりの戦略をとっているので、まだコンパイラの全体像を把握しやすく、実際あらゆるレイヤにコミットしている天才的なエンジニアもいるのですが、Metaだと都度足りないところをコミュニケーションを通してLearnする、という文化があると感じています。
つづく
259: １３２人目の素数さん [] 2024/11/04(月)16:03 ID:lqiQeLpq(2/3)
つづき
PFNのLearn or Dieカルチャーのここがよかったと思うところは、Learnの幅が広いことです。たとえば、たぶんPFNに所属しているエンジニアは自分のタスクと直接関係なかったとしてもLLMのpretraining, alignment, finetuning, retrieval augmented generationなどの概念は会社のAll handsやfulltimeブログ、岡野原さんのランチ会などを通して簡単には知っていると思いますが、Metaのエンジニアの場合比較的知識が自分の所属プロジェクトのみに偏る傾向があると感じています。
社内コミュニケーションのスムーズさについて
これはPFNのほうがスムーズだったと思います。
必要とされる能力について
実は、これが結構違うように感じます。2つの目線について話したいです。
1つ目は競プロ的な能力についてで、これは自分が携わった分野については、PFNではかなり武器になるように思えます。
Metaの場合、何人かの社員に聞いてみましたが、競技プログラミングの能力が必要とされるシーンは非常に限られそうです。
2つ目は、扱うレイヤについてです。このトピックについてはタイトルから逸脱するのですが、日本のIT企業との比較して感じたことして、とにかくMetaはレイヤが低い！！というのがあります。日本でエンジニアのアルバイト、インターンをしてきて、あまり大学で学んだコンピュータサイエンスの低レイヤの知識が生かされると感じた機会は少なかったのですが（別に低レイヤだから偉い、みたいなことはなく、自分はそれが単にかっこいいし、その普遍的な重要性や、年月をかけて洗練されたアルゴリズムや実装が好きなだけです）、Metaには非常にたくさんあります。自分のチームに前職が中国のByteDanceの人がいるのですが、ByteDanceも独自のアクセラレータを作っていてコンパイラチームがおり、似たような低レイヤの仕事をしていると言っていました。
(引用終り)
以上
265(1): 現代数学の系譜 雑談 ◆yH25M02vWFhP [] 2024/11/04(月)20:28 ID:lqiQeLpq(3/3)
>>260-264
>> 時枝正先生が何を言いたかったのか正確に理解できるほど、この話には詳しくないが、
> 正確に理解できない時点で、大学１年レベルの数学もあやしい
・”大学１年レベルの数学もあやしい”のは、あなた自身だろ？ｗ
・某私大ｗ大 数学科のオチコボレさん
・大学 三年生 から 数学がサッパリ
・スレタイ 箱入り無数目を語る部屋26 2chｽﾚ:math
・君は、私に ボコボコにされた
・泣きながら ここに逃げてきたのか？ もっと苛めてやるから 箱入り無数目に返りなｗｗ ；ｐ）
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.043s