  |
はてなキーワード: CUDAとは
そりゃ深層学習の計算を一部CPUにたよらず計算できる機能がちょっとついてるかもしれないよ。
でもそれが動く瞬間っていつさ？いったいどのアプリがそんな機能実際に使ってるのさ？
スマホならまだ写真撮影後とかに動くかもしれんけど特にPCの方な。
本当にCopilotがローカルの演算機つかってんのかー？ちゃんと確かめたかー？
現状だとサーバにお願いだけして結果受け取ってるだけなんじゃねえの。
サーバ側の進歩が落ち着くまでプログラムが変わり続けててローカルの側で計算するところまでできてなくね？
AIPC にお金払うぐらいならゲーミングノート買ってCUDA動くようにした方が良いし、それよりもPC買い替えないでそのお金ChatGPTとかに払った方が幸せになれるんじゃね？
1.58bit版はかろうじて動いてる感じだね。GPUはメモリしか使ってない。GPU使用率が上がらないのはCPUかSSDがボトルネックなのかllama-cppやCUDAカーネルの最適化不足の可能性がありそう。
色々調整してやっと 0.6tok/sec程度だから使い物にならない。上記問題が解決したら1.58bit版でも普通のゲームPCで5tok/secぐらいは出そう。
32B版はサクサク動作(25tok/sec程度)するけど常用したいと思えるような知能ではない。コーディングも任せられない感じ。ざっくりと使うなら問題ない感じだし、違法な事でも何でも答えるので面白いのは面白い。
なんかRTX50代が発売する前から謎にRadeon勧める勢力が多くて辟易してるんだよね。
・ハイエンド同士を比べたらRadeonの方が安いのでコスパが高い(RTX4090 vs 7900XTX)
・同じVRAM同士を比べたらRadeonの方が圧倒的に安い
・ベンチも同価格帯と比べたらRadeonのほうが安くて性能が良い
・AI用途でもRadeonで全然いけるからAIするやつもVRAM多い奴買え！
って感じ
んで主観ではあるが自身の両社のなんとなくの印象を書いておくね
・基本的にPCゲーム側の最適化はGeforceが主になっている
・RTX40シリーズは比較的電力効率がいい(いわゆるワッパ)
・レイトレーシングもDLSSも安定
・CUDAのおかげでGPUを演算要素として使うコストが低く、AI等の対応が早いし情報が早い
・ドライバ側でたまに変なバグ出すので安定版で止める必要がある
・RadeonハイエンドがGeforceミドルくらいの性能。つまりRadeonのグレードはGeforceのグレード1段落ちくらいの性能
・同じグレードを同じ価格帯で出すと絶対売れないので安くせざるを得ないので安さはある
・レイトレーシングやDLSS等は搭載していないと思った方がいい。fsrはそこそこあり。
・ドライバ側の対応が壊滅的で最適化不足やゲーム相性で微妙になること多々あり
・CUDAみたいなのがないのでAI対応が遅れている。Geforceより険しい道のり。完成すればGeforceより高い性能っぽいが眉唾
なのでコスパ高いって金ない知識ない学生を煽ってRadeon買わせるよりかはGeforce買わせた方がよいよってことで
未だに「謎の半導体メーカー」程度の認識の方になぜNVIDIAが時価総額世界4位なのかをあれこれ説明する必要があるので短めにメモ。半導体業界のすみっこの人間なので機械学習まわりの説明は適当です
・～1993年 AI冬の時代。エージェントシステムがさほど成果を挙げられなかったり。まだ半導体やメモリの性能は現代とくらべてはるかに劣り、現代のような大規模データを用いた統計的処理など考えられなかった。2006年のディープラーニングの発明まで実質的な停滞は続く。
・1995年 NVIDIAが最初のグラフィックアクセラレータ製品NV1を発売。
・1999年 NVIDIAがGeForce 256発売。GPUという名が初めて使われる。以降、NVIDIAはGPU業界1位の座を守り続ける。
・2006年 GPGPU向け開発基盤CUDAを発表。以降、その並列計算に特化した性能を大規模コンピューティングに活用しようという動きが続く。
・2006年 ディープラーニングの発明。のちのビッグデータブームに乗り、これまでよりはるかに高性能なAIを模索する動きが始まる（第3次AIブームのおこり）
・2006年 CPU業界2位のAMDがGPU業界2位のATIを買収、チップセットにGPUを統合することで事実上自社製品をNVIDIAと切り離す戦略に出る。CPU業界1位のインテルも、同じく自社CPUに自社製GPUを統合する動きを強める。NVIDIAはこれまでの主力だったGPUチップセット製品の販売を終了し、データセンター向けGPGPUのTeslaシリーズ、ゲーム用外付けGPUのGeForceシリーズ、ARM系CPUと自社GPUを統合したTegraシリーズの3製品に整理する。このうちTeslaシリーズが性能向上やマイクロアーキテクチャ変更を経て現代のAIサーバ製品に直接つながる。GeForceシリーズはゲーマー向け需要や暗号通貨マイニング向け需要も取り込み成長。Tegraシリーズは後継品がNintendoSwitchに採用される。
・2012年 ディープラーニングが画像認識コンテストで圧倒的な成績を収め、実質的な第3次AIブームが始まる。
・2017年 Transformerモデル発表。これまでのNN・DLと異なり並列化で性能を上げるのが容易＝デカい計算機を使えばAIの性能が上がる時代に突入。
・2018年 IBMがNVIDIAと開発した「Summit」がスパコン世界ランキング1位の座を5年ぶりに中国から奪還。全計算のうち96%がGPUによって処理され、HPC（ハイパフォーマンスコンピューティング）におけるGPUの地位は決定的になる。NVIDIAの開発したCPU-GPU間の高速リンク「NVLink」が大規模に活用される。「Summit」は2020年に「富岳」にトップを奪われるまで1位を維持。
・2018~2021年 BERTやXLNet、GPT2など大規模言語モデルの幕開け。まだ研究者が使うレベル。
・2019年 NVIDIA CEOジェスン・ファン（革ジャンおぢ）が「ムーアの法則は終わった」と見解を表明。半導体のシングルスレッド性能の向上は限界に達し、チップレットを始めとした並列化・集積化アーキテクチャ勝負の時代に入る。
・2022年 NVIDIAがH100発表。Transformerモデルの学習・推論機能を大幅に強化したサーバ向けGPUで、もはや単体でもスパコンと呼べる性能を発揮する。H100はコアチップGH100をTSMC N4プロセスで製造、SK Hynix製HBMとともにTSMC CoWoSパッケージング技術で集積したパッケージ。※N4プロセスは最新のiPhone向けSoCで採用されたN3プロセスの1つ前の世代だが、サーバ/デスクトップ製品向けプロセスとモバイル製品向けプロセスはクロックや電流量が異なり、HPC向けはN4が最新と言ってよい。
・2022年 画像生成AIブーム。DALL-E2、Midjourney、Stable Diffusionなどが相次いで発表。
・2022年 ChatGPT発表。アクティブユーザ1億人達成に2カ月は史上最速。
・2023年 ChatGPT有料版公開。Microsoft Copilot、Google Bard（Gemini）など商用化への動きが相次ぐ。各企業がNVIDIA H100の大量調達に動く。
・2024年 NVIDIAが時価総額世界4位に到達。半導体メーカー売上ランキング世界1位達成（予定）。
こうして見るとNVIDIAにとっての転換点は「ディープラーニングの発明」「GPGPU向けプログラミング環境CUDAの発表」「チップセットの販売からコンピューティングユニットの販売に転換」という3つが同時に起こった2006年であると言えそう。以降、NVIDIAはゲーマー向け製品やモバイル向け製品を販売する裏で、CUDAによってGPGPUの独占を続け、仮装通貨マイニングやスパコンでの活躍と言ったホップステップを経て今回の大きな飛躍を成し遂げた、と綺麗にまとめられるだろう。
単体の演算器の性能なんてクロック周波数が速くなっている現代だと数クロックの差なんてわからないだろう。
メモリーは社外の汎用品GDDRを使う以上、帯域やレイテンシは変わらない。
違いが出てくるとすると、どうやってメモリ間を隠蔽しているかというのが想像出来る。
データ待っている期間を出来るだけ少なくする、といった感じだ。
演算器を並列に多数動かすと配線抵抗などで電源がドロップする。
チューニングで性能上がっているのなら何処がボトルネックになりそうな所をあげているのか。
