推論シリコン協調設計：モデルとチップの間をつなぐソフトウェアエンジニア

GPU の上でうまく回すことと、チップを形づくることは階層が違う

モデルをGPU上でうまく動かす仕事と、そのモデルだけのためのチップを一から削り出す仕事は、別の層にある。2026年6月、OpenAIはBroadcomと共同で作った初の専用推論チップ「Jalapeño」を公開した。学習ではなく推論だけを狙ったASICで、レチクル一枚を埋め尽くす大きさだ。設計開始からテープアウトまで九カ月しかかからなかったといい、高性能ASICのサイクルとしては最速級だと主張している。興味深いのは、その設計作業そのものをOpenAI自身のモデルが手伝ったという点だ。

この流れはOpenAIだけのものではない。GoogleはずっとTPUを、Amazonは Trainium を自社設計して使ってきた。巨大な推論事業者が汎用GPU一種類に頼らず、自分のワークロードに合わせたシリコンを自ら作るという方向が、もはや明確になったということだ。動機は単純である。推論が収益の中心に入った今、同じ答えをより少ない電力で出すチップはそのまま利益になる。OpenAIはワットあたり性能が「大幅に良い」とだけ述べ、具体的な数値は出さなかったが、2026年末にギガワット級で展開するという計画だけでも、なぜ電力効率が事業の本質なのかが見えてくる。そしてこうしたチップは、ハードウェア設計者とモデル研究者が別々の部屋で働いていては生まれない。両者を直接つなぐ人が要る。それが推論シリコン協調設計エンジニアだ。

メモリ帯域がどこで詰まるかを体で知る必要がある

まずコンピュータアーキテクチャを体で理解する必要がある。メモリ帯域がどこで詰まるのか、演算器とオンチップメモリをどう配置すればデータの移動が減るのか、どのデータフロー構造が行列積を効率よく流すのか、といった感覚だ。日本では半導体メーカーや、Preferred Networksのような専用プロセッサに踏み込む企業、あるいは大手のチーム内でこの仕事が行われる。新卒で入ってもいきなり任される領域ではなく、年次を重ねて土台を固めるのが普通だ。チップを直接書く側に立つなら、HLSやRTLを扱うか、少なくともアクセラレータのデータフローを設計言語で表現できる必要がある。

次がモデルとシリコンをつなぐコンパイラ層である。MLIR・TVM・XLAといったスタックを扱い、MLグラフをアクセラレータ命令へ落とし込むのが核心だ。そこにハードウェアのための数値感覚が加わる。int8やint4のような低精度へモデルを量子化しながら精度をどこまで守るか、どの演算をどのビット幅へ写すかを判断する仕事だ。最後は計測である。ワットあたり性能とスループットを自ら計測してボトルネックを見つけ、カーネルを書き直して効率を引き上げる。道具立てはモデル側のPythonと高性能経路のC++、そしてCUDAかそれに準ずるアクセラレータプログラミングが揃って入ってくる。一つだけ深く掘っても足りず、モデル・コンパイラ・ハードウェアの三つの言語を同時にたどる手が、この職の価値を作る。

カーネルかコンパイラの一部分から始まる

若手はたいていカーネルかコンパイラの一片から始める。特定の演算をアクセラレータ命令へ落とすパスを書き、量子化されたカーネルが精度を壊さないか検証し、ベンチマークを回してワットあたり性能と遅延を読む目をまず養う。モデルがチップ上で実際にどう流れるのか、どこでデータが漏れるのかを指先で覚える段階だ。

シニアに上がると、一つのカーネルを越えてアクセラレータ協調設計へ重心が移る。モデル構造が変われば、どのハードウェア資源が足りなくなるかを先回りして読み、データフローとメモリ階層をモデルに合わせて組み直す。モデルチームとハードウェアチームの間で双方の制約を通訳する人がここで生まれる。さらに上がシリコン-ソフトウェアアーキテクトだ。次世代チップがどのモデルを狙うか、コンパイラとランタイムをどこまで一緒に引っ張るかを設計の初期に決める。Jalapeñoが示したように、九カ月でチップを出す速さは、ハードウェアとソフトウェアが最初から同じ絵を見て動くときにこそ可能になる。その絵を描く席が、この道の終点だ。専用推論シリコンが一、二社の実験を越えて業界標準の戦略になった今、その間を埋める手は真っ先に必要とされる。