TPUv7挑戰CUDA生態!AI算力極限、主權AI與台灣防線

TPUv7挑戰CUDA生態!AI算力極限、主權AI與台灣防線

科技產業洞察 · Episode #60 · · PT27M21S

Host · 蔡珵澤

Summary

本期節目深入剖析當前全球科技脈動的四大核心議題:首先,探討Google TPU對NVIDIA CUDA霸權發起的挑戰,揭示AI晶片市場從通用GPU走向客製化ASIC的競爭態勢;其次,聚焦台灣半導體產業所面臨的地緣政治、水電供應、人才等七大關鍵風險及其應對策略,強調其在全球供應鏈中的韌性與轉型;接著,介紹AI算力突破極限的「黑科技」,如液冷散熱、協同封裝光學(CPO)、HBM4記憶體與800V高壓直流供電,這些技術正為AI資料中心提供關鍵支撐;最後,展望人形機器人即將爆發的商業化潛力,平衡地分析其龐大市場前景與大規模普及所面臨的挑戰。本集旨在啟發聽眾,理解科技發展背後多元力量的交織,以及韌性、創新與策略平衡對於未來的重要性。

Transcript

嗨,各位忠實的聽眾,歡迎再次收聽我們的! 我是你們的輕鬆說書人蔡珵澤。

大家好,我是蔡燿先,很高興與大家一同,再次深入剖析科技最前沿的浪潮與挑戰。

燿先,你這形容太貼切了! 今天我們節目的主題,真的如同史詩般波瀾壯闊。 從全球AI晶片市場的龍爭虎鬥,各巨頭摩拳擦掌爭奪霸權;

到台灣半導體產業在全球變局中,如何面對並化解七大關鍵考驗; 緊接著,我們將探索AI算力極限突破的種種「黑科技」,這些看不見的技術正在默默支撐著AI的飛躍;

最後,還要展望AI的終極物理載體——人形機器人,它即將爆發的商業化潛力。 這簡直是一場科技的,充滿著變革與無限可能!

沒錯,珵澤。 AI正以驚人的速度重塑整個科技產業鏈,催生了前所未有的技術創新與市場變革, 但同時也帶來了新的挑戰與地緣政治的複雜性。

燿先,我們今天就從這場「龍爭虎鬥」開場吧! 說到AI晶片,NVIDIA憑藉其強大的GPU硬體和無可匹敵的CUDA軟體生態, 多年來一直是市場霸主,甚至可以說是獨佔鰲頭。

但現在,科技巨頭Google似乎要打破這片寧靜了,他們最新的TPUv7晶片「Ironwood」已經正式出擊, 直指AI加速器市場,這會不會讓AI晶片霸主NVIDIA感到一絲涼意,

甚至撼動其霸主地位呢?

珵澤,你的嗅覺非常敏銳。 NVIDIA確實構築了堅實的「護城河」,但來自Google的挑戰不容小覷。

我們回顧一下,Google其實在2025年的Google Cloud Next大會上,

就已經推出了代號「Ironwood」的第七代TPU,強調它是首款「專為AI推論工作負載優化」的TPU。

隨後在Hot Chips 2025上,Google更披露了其「超級叢集」的強大細節, 單晶片就具備4614兆次浮點運算能力,並搭載高達192GB的HBM記憶體。

這些數據都明確顯示,Google這次是有備而來,意圖在AI晶片領域佔據一席之地。

哇,這麼強大! 感覺Google這次是鐵了心要在AI晶片市場大展拳腳了。 聽說他們還在美國大舉投資AI基礎設施,目標是讓AI容量在短短幾年內翻千倍, 簡直是科技界的「大躍進」!

這不僅是硬體層面的競爭,更是一場生態系與基礎設施的全面戰。

的確,Google的AI基礎設施投資計畫,例如「Investing in America 2025」就揭示了高達7800億美元的龐大投入。

這些都表明Google希望利用自研TPU,為內部AI訓練及外部雲端客戶提供更高效、 更具成本效益的解決方案。

事實上,知名AI公司Anthropic已經宣布將採用百萬顆TPU來訓練其Claude模型, 這無疑是對Google TPU實力的一大背書。

Anthropic都來了,這真的對NVIDIA是個不小的壓力。 我還聽說,連Meta Platforms也被點名是TPU的大客戶。

更令人玩味的是,Google未來還可能考慮Intel的EMIB先進封裝技術來打造TPU v9, 不再獨押台積電的CoWoS。

這背後的原因,除了供應鏈分散的考量,是不是也因為台積電CoWoS產能太吃緊了呢?

珵澤,你點出了關鍵。 這確實是一個多面向的戰略考量。 首先,由於台積電先進封裝CoWoS產能供應有限,已成為AI晶片生產的瓶頸之一。

其次,多元供應鏈的佈局,也是科技巨頭降低風險、提升彈性的常見策略。 因此,市場傳聞Google可能將在2027年左右發表的TPU v9中,

採用Intel的EMIB封裝技術,以實現更具擴展性和效率的AI加速晶片。 這對Intel的代工服務無疑是一大利好,也預示著未來晶片製造與封裝市場將更加多元化。

這麼看來,NVIDIA的CUDA生態系好像真的面臨前所未有的挑戰了? 畢竟當這些超大規模雲端服務商開始自研晶片,並建立自己的軟硬體棧時, 傳統的晶片供應商就必須思考新的應對策略。

雖然Google TPUv7展現了卓越的性能,特別是在AI推論方面, 但NVIDIA執行長黃仁勳曾表示,Google TPU是「特殊情況」, 暗示其應用場景相對專一。

確實,許多分析師也認為,NVIDIA在資料中心GPU的領先地位, 短期內並未出現實質鬆動,其CUDA軟體生態仍是強大的護城河, 提供開發者無與倫比的靈活性和廣泛支援。

然而,值得注意的是,Cent Capital預測到2026年, AI ASIC晶片的出貨增長速度將可能超越通用型GPU。

這說明客製化、專用型晶片的需求正快速崛起,將為市場帶來新的變革。

所以這是一場性能、彈性與成本效益的綜合戰役,也是通用晶片與專用晶片路線之爭。 而競爭越激烈,對整個AI產業發展越是好事,因為這會加速技術創新與成本優化。

總的來說,Google TPU的崛起,不僅是對NVIDIA霸權的一次挑戰, 更是推動AI晶片市場走向多元化、專業化的重要一步。

這場競爭最終將為AI的普及和應用打開更廣闊的空間。

從全球AI晶片市場的激烈戰場,我們視線轉向科技產業的另一核心——台灣半導體產業。 它被譽為「護國神山」,不僅是全球晶圓代工的龍頭,更是推動世界科技進步不可或缺的基石。

然而,勤業眾信近期卻點出了台灣半導體產業在轉型過程中,面臨的七大關鍵風險。 燿先,你來跟我們詳細說說,這些挑戰究竟為何?

好的,珵澤。 勤業眾信聯合會計師事務所近期舉辦「2025 Deloitte 半導體CxO 領袖交流」高峰會,

指出台灣半導體產業在從「半導體製造小島」轉型為「全球最具信任度的半導體重鎮」的過程中, 面臨七大關鍵風險:包括最令人關注的「地緣政治」緊張局勢、

對外部高度依賴的「材料供應」、日趨嚴峻的「水電供應」穩定性、 全球性「人才」競爭、日益複雜的「資安」威脅、高「客戶集中度」所帶來的風險, 以及提升「技術自主」能力的必要性。

這些風險環環相扣,共同考驗著台灣半導體產業的韌性與應變能力。

七大風險聽起來確實令人警醒,特別是「地緣政治」和「水電供應」, 這些不僅是老生常談,更是每次提及都覺得沉重的話題。

畢竟,再尖端的技術,如果沒有穩定的「基本盤」支撐,也可能受到巨大影響。 尤其是先進製程對水電的需求極為巨大且精確。

確實如此。 以水電為例,國科會去年發布的台灣首份半導體水電報告就明確指出, 台灣雖然短期內無缺電問題,但2奈米廠在2025至2027年投產初期, 供電壓力會比較大。

用水方面,半導體產業聚落未來也可能出現缺口,尤其是在枯水期。 此外,台灣半導體關鍵材料進口依賴度超過90%,這在全球供應鏈不確定性增加的背景下,

也構成了一大隱憂,需要思考如何分散風險或提升在地供應能力。

這讓我想到,之前台積電宣布要導入「藍氨」來實現淨零排放, 這是不是也是為了應對這些挑戰,展現台灣在永續經營上的決心, 從環保和能源效率的角度來強化產業韌性呢?

你觀察得很細緻,珵澤。 是的,台積電導入藍氨,創下台灣半導體業首例,這正是其在永續發展策略中的重要一步, 旨在提升能源效率、減少碳排放,進而也間接強化了水電等資源使用的效率與永續性。

此外,針對「資安風險」,數位發展部數位產業署與SEMI合作, 積極推動SEMI E187半導體設備資安標準及認驗證制度, 從源頭確保「出廠即安全」。

這些都顯示台灣正在多管齊下,從能源、供應鏈到資安等多個面向, 強化產業的韌性與國際信任度。

從這些積極的動作來看,台灣半導體產業雖然面臨多重風險,但也在積極應變和轉型。 勤業眾信的吳佳翰營運長就說了,台灣正從「半導體製造小島」邁向「全球最具信任度的半導體重鎮」。

這種轉型是必要的,也是展現我們實力、提升全球不可取代性的機會。

確實,雖然風險存在,但台灣在垂直分工與緊密聚落上的優勢依然不可取代, 這是經過數十年積累形成的全球獨特生態。

同時,台灣也與美國等夥伴積極洽談貿易協定,試圖透過投資與人才培訓, 換取更友善的貿易環境,這都是強化全球競爭力的戰略佈局。

台灣半導體的發展,不僅是技術的競賽,更是一場關於策略、韌性與全球合作的長跑。 台灣半導體產業的「護國神山」地位,正是在克服這些內外部挑戰中不斷鞏固。

理解這些風險與應對策略,是我們理解台灣在全球科技版圖中扮演角色的關鍵。

好,講完了產業的挑戰與應對,我們來看看AI發展的另一面——算力的極限在哪裡, 以及為了達到這個極限,業界都端出了哪些令人驚嘆的「黑科技」?

特別是散熱問題,聽說NVIDIA的Rubin功耗預計會飆到2300瓦, 這簡直是把晶片當小太陽來養啊!

晶片過熱不僅影響性能,更是縮短壽命的元兇,這對AI資料中心來說是個巨大的物理瓶頸。

珵澤,你形容得非常生動! 這確實是當前AI算力發展中最迫切的問題之一。 隨著NVIDIA B200和B300 GPU的熱設計功耗分別達到1000瓦和1100瓦,

以及未來Rubin雙晶片預計飆升至2300瓦,傳統的氣冷散熱方案已遠遠無法負荷。 這直接促使資料中心轉向更高效的液冷技術。

TrendForce預估,AI資料中心液冷技術滲透率將從2024年的14%大幅提升至2026年的47%, 接近一半的AI資料中心將告別風扇,擁抱液體。

這是一場數據中心冷卻方式的「典範轉移」!

接近一半的AI資料中心都得用液冷了,這真的是一場「冷卻革命」啊! 我還聽說微軟有個超酷的「微流體冷卻」技術,直接在晶片背面刻微通道,

讓冷卻液流進晶片內部,散熱效率提升三倍,GPU最高溫度上升幅度降低65%。 這會不會是未來AI晶片散熱的終極解方?

直接從根源解決熱量問題?

微軟的微流體冷卻技術確實令人驚豔,它代表了散熱技術的極致探索, 直接將冷卻液引入晶片內部,大幅提升散熱效率。

這項技術的潛力無疑巨大。 但業界分析師Sashi Majety也曾表示,這項技術目前仍處於實驗室階段,

距離大規模商業化仍有一段距離,需要克服基礎設施改造、成本與技術穩定性等實用性考驗。 現階段,為了提升AI資料中心內部通訊效率,我們還需關注協同封裝光學和HBM4記憶體等技術的發展,

它們解決的是數據傳輸的「塞車」問題。

CPO和HBM4聽起來也很厲害。 光學取代電學來傳輸資料,這不就是AI資料中心的「光速公路」嗎?

它的重要性在哪裡?

你這個比喻非常精確,珵澤! 在AI高速運算的時代,數據量的爆炸式增長,讓傳統的電訊號傳輸開始遇到瓶頸: 損耗大、速度慢、功耗高。

因此,「光速公路」的概念應運而生。 JEDEC已正式發布HBM4 DRAM標準,將記憶體頻寬和容量推向新高, 單堆疊容量最高可達64GB,總頻寬達到驚人的2TB/s,

極大地緩解了AI晶片對記憶體頻寬的渴求。 同時,台積電在矽光子領域的美國專利申請數量已超越Intel, 並計畫於2026年開始CPO技術晶片的量產,將光學模組與晶片直接封裝在一起,

從根本上解決AI交換機和晶片間高速互連的瓶頸。 這些技術都是為了打破數據傳輸與儲存的物理極限。

光學互連這麼重要,那資料中心的供電系統有沒有什麼新突破? 畢竟AI這麼耗電,如何高效、穩定供電也是個大挑戰。

這正是另一個關鍵環節。 為了滿足AI資料中心日益增長的電力需求和提升能源效率,供電模式正從傳統的48V交流電轉向更高效的800V高壓直流架構。

NVIDIA已與英飛凌、STMicroelectronics等合作, 共同推動800V HVDC電源解決方案的研發。

相較於48V系統,800V HVDC的整體電源效率可提升5倍, 同時也大量採用SiC/GaN等第三代半導體功率元件,預計到2030年,

SiC/GaN在資料中心供電中的滲透率將突破30%。 這不僅能大幅減少電力損耗,還能讓供電系統更緊湊、更可靠。

聽起來很棒,這些新技術簡直是為AI「量身打造」的。 不過,這些革新性的電源架構和散熱系統,是不是也意味著資料中心整個基礎設施都要大升級, 成本也會隨之水漲船高呢?

這對企業來說會是一個巨大的投資負擔。

是的,珵澤,你提出了非常現實的問題。 這些技術的導入確實需要巨額的基礎設施投資和技術轉換成本。 例如從傳統氣冷到液冷,再到未來潛在的微流體冷卻,每一步都代表著龐大的資本支出和技術挑戰。

資料中心需要全新的管線佈局、液體分配單元以及更複雜的監控系統。 然而,儘管短期內成本高昂,但從長遠來看,這對於提升AI運算效率、

降低能耗、減少碳排放,以及確保大規模AI系統的穩定性,是不可避免且極其關鍵的投資。 沒有這些「黑科技」的支撐,AI的下一步飛躍將難以實現。

成本再高,也擋不住AI發展的腳步啊! 這些技術革新,正是在物理極限邊緣,為AI的無限可能打開一扇又一扇窗。

從高效散熱到光學互連,再到高壓供電,這些「黑科技」共同構建了AI算力飆升的基石, 它們是推動AI持續進步的幕後英雄。

好,既然AI的算力已經突破極限,那麼這些超強的智慧最終將如何落地, 改變我們的生活呢? 答案或許就在AI的終極應用——人形機器人。

聽說2026年將是人形機器人邁向商用化的關鍵一年,全球出貨量預估年增七倍、 突破五萬台。 這聽起來簡直是科幻電影要成真了!

燿先,這份預測是基於什麼樣的背景和技術突破呢?

珵澤,你的興奮之情完全可以理解! 這份預測確實令人振奮。 根據TrendForce集邦諮詢的預測,2026年確實是人形機器人商用化的關鍵一年, 出貨量預計將年增七倍。

更令人驚訝的是,摩根士丹利甚至預測,到2050年,全球人形機器人產值有望上看5兆美元。 這背後是AI、感測器、致動器等關鍵技術的成熟,以及勞動力短缺、 自動化需求激增等市場驅動因素。

現在,Figure AI、Boston Dynamics、 Agility Robotics和特斯拉等公司都在積極推動,

例如Figure 2已在BMW工廠測試,Boston Dynamics的Atlas也將在Hyundai工廠試運行。

這些都顯示,人形機器人正從實驗室走向實際應用。

這麼龐大的市場規模,加上特斯拉執行長馬斯克一直對Optimus寄予厚望, 說2026年要大規模量產,年產能達到百萬台,成本降到2萬到2.5萬美元。

這目標會不會太「馬斯克」了? 有點像在太空畫大餅,畢竟這是一個全新的產業,實現大規模量產和成本控制, 難度非同小可。

的確,馬斯克對Optimus的目標非常宏大,甚至可以說是野心勃勃。 他期望將特斯拉自動駕駛車輛的尖端AI技術轉移到Optimus, 形成強大的生態協同效應。

特斯拉AI負責人Julian Ibarz也澄清,明年上線的規模化生產線將與目前的研發產線完全不同, 顯示特斯拉正嚴肅地規劃量產路徑。

最新的Optimus V3預計在2026年實現突破性升級, 包括8英寸OLED臉部顯示器,提供更豐富的人機互動;

增強的靈巧性和對精細操作的適應能力; 以及Grok Voice AI深度整合,讓機器人能更自然地理解與回應人類指令, 推理晶片算力更提升40倍。

這些技術進步都是為了讓Optimus更接近商用化的目標。

聽起來很吸引人! 但目前人形機器人多數還在展示、引導或陪伴等服務型應用,要在工業製造以外的領域大規模商用, 是不是還有很多挑戰?

Brett Adcock這位Figure AI的創辦人就大膽預測, 機器人數量可能在5到7年內超越人類,這會不會只是一廂情願, 或者說,過於樂觀了?

雖然許多公司對人形機器人的未來充滿信心,例如Boston Dynamics CEO Robert Playter預測機器人可能在5到10年內進入家庭, 但我們確實需要理性看待。

現階段人形機器人確實主要應用在高度結構化的工業環境,執行重複性、 可預測的任務。 要進入半結構化或完全非結構化的環境,例如家庭服務或醫療護理,

仍需克服諸如複雜任務理解、安全互動、成本效益,以及最關鍵的通用型AI和即時應變能力等挑戰。 特斯拉過去也曾縮減Optimus的生產目標,這說明即便是頂尖科技公司,

也需要面對現實的技術與生產壁壘。

所以,雖然前景看好,但我們還是要理性看待,不能讓「AI泡沫」的疑慮又浮現。 技術的進步需要時間,市場的接受度也需要逐步培養。

是的,但我們也看到令人振奮的進展。 例如AI自適應技術和神經科學啟發的「自適應神經元分裂」技術, 已經讓機器人思考速度提升數倍,實現「毫秒級決策」,這些都是商用化落地的關鍵動能。

技術瓶頸正在逐一被突破,但大規模部署仍需時間,並且需要建立起完善的法規、 倫理框架以及社會接受度。

人形機器人或許不會在短時間內「超越人類」,但它將逐步融入我們的社會, 成為我們生產與生活的重要夥伴。

人形機器人代表了AI與物理世界的融合,其商業化潛力巨大, 但實現大規模普及仍需在技術、成本、安全與社會接受度等多方面持續努力與突破。

今天的節目真是精彩絕倫,我們一同踏上了一場科技探索之旅! 從全球AI晶片市場的「戰國時代」,各路英雄豪傑的龍爭虎鬥;

到台灣半導體產業在全球變局中的「護國神山」考驗與韌性轉型; 再到AI算力如何突破物理極限,那些推動光學互連、液冷散熱和高壓供電的「黑科技」;

最後,我們更展望了AI的實體化未來——人形機器人即將到來的商業化時代。 燿先,綜觀今天所有的內容,你覺得這場深刻的科技變革,最核心的啟發是什麼?

珵澤,我認為最核心的啟發是:科技發展從來都不是單向的直線前進, 它更像是一場複雜而精密的「多維棋局」。

這其中,技術創新、地緣政治、市場需求、環境永續與資源限制等多重力量, 不斷地交織、制衡,形成動態平衡。

每一次技術的突破都伴隨著新的挑戰,而「韌性」、靈活應變與持續創新, 才是我們個人、企業乃至於國家,能夠在這場科技洪流中穩健前行, 並掌握先機的關鍵。

說得太好了! 這不僅是技術的革新,更是思維的轉變。 無論是企業還是國家,面對這場充滿未知與機遇的科技洪流,我們都需要在積極追求前沿技術的同時,

兼顧供應鏈的韌性、資源的永續性,以及各方利益的平衡。 這是一場充滿挑戰,但也充滿無限轉機的時代。

感謝各位收聽今天的。

感謝大家的收聽。

我們下週同一時間,再會!