Разбор стойки искусственного интеллекта: Почему ИИ-чипы вызывают глобальную нехватку полупроводников & Повышение цен

— 4,500 Чипов на стойку AI; Над 45 Миллион чипов в центре обработки данных на 10 000 стоек

Недавно, Deloitte и Ассоциация полупроводниковой промышленности (ЯВЛЯЕТСЯ) совместно выпустили подробный отчет. Используя “виртуальный демонтаж” методология, они тщательно разобрали стоечную систему искусственного интеллекта высшего уровня изнутри наружу..

Ключевые выводы из этой статьи:

1. Сколько чипов установлено в одной стойке AI, и как капитальные затраты (Капвложения) распределенный?

2. Какие конкретные полупроводниковые компоненты встроены в ключевые подсистемы, рассмотренные в отчете??

я

Какие чипы имеют наибольшую ценность по сравнению с. Наибольшее количество в стойке AI?

В этом отчете систематически слой за слоем разбирается верхняя стойка AI-стойки, охватывающая пять различных структурных уровней.: Кремниевый штамп, Упакованный чип, Доска/Карта, Поднос, и стоечная система- раскрыть лежащую в его основе полупроводниковую архитектуру.

Согласно отчету, стойка состоит из пяти функциональных типов лотков: Вычислительные лотки, Силовые лотки, сеть & IPMI-лотки, Соединительные лотки ускорителя, и лотки CDU.

Вычислительный лоток：Основная обработка

Силовой лоток：Доставка энергии

сеть & IPMI-лоток：О&М Менеджмент

Коммутатор/межсоединительный лоток：Высокоскоростное соединение ускорителя

Лоток CDU (Лоток распределительного устройства охлаждения：Распределение жидкостного охлаждения

1. Распределение стоимости

В первую очередь обращаем внимание на экономическую ценность: на долю полупроводников приходится более 95% от общей стоимости системы высокопроизводительной стойки AI. Это значение в значительной степени сосредоточено в вычислительных лотках., особенно в рамках ускорителей искусственного интеллекта. Одни только ускорители искусственного интеллекта составляют ~74% от общей стоимости чипов стойки., с отдельными единицами по цене от $10,000 и $40,000.

Искусственный интеллект — это гетерогенно интегрированная сборка.: 1–2 передовых логических матрицы (узел ≤7 нм), в сочетании с памятью с высокой пропускной способностью 6–12 (ХБМ) стопки (складывание до 16 DRAM умирает каждый), интеграция через высокоскоростные интерфейсы межсоединений и интерпозеры с использованием усовершенствованной упаковки 2.5D/3D.

По разбивке, ~70% стоимости ускорителя заключено в логических микросхемах и ~20% в памяти.. Только HBM – по расчетам ~30 долларов США за $50 за ГБ — требования $400,000 к $600,000 объем памяти на стойку.

Это означает, что основной драйвер стоимости объединяет три критических узких места в полупроводниковой отрасли.: передовая логика, ХБМ, и продвинутая упаковка— все монополизированы несколькими ключевыми IDM и литейными заводами..

По ценовой категории за единицу: фишки под $10 составляют ~52% от общего объема; $10– Фишки по 100 долларов составляют ~29%; $100– Фишки на 1000 долларов составляют ~16%; пока фишки выше $1,000 составляют всего ~3%.

2. Количество & Разбивка цен за единицу

Обращаем внимание на конкретные цены и количество.:

В одном шкафу около 4,500 фасованные чипсы.

Когда разбит на голые штампы, это примерно 20,000 кремниевые чипы.

Центр обработки данных на 10 000 стоек имеет более 45 миллион фишек.

Если разбить это на цену за единицу:

<$10: о 52% (в основном источники питания, аналоговый, интерфейсы, датчики, микроконтроллеры)

$10–$100: о 29%

$100–$1000: о 16%

>$1,000: только 3% (в основном ускорители искусственного интеллекта/ЦП/ASIC-коммутаторы)

Заключение: Ценность системы определяется верхом 3% сверхдорогих чипов, тогда как в общем объеме преобладают периферийные микросхемы стоимостью менее 10 долларов.. Несмотря на низкую цену за единицу, нехватка любого отдельного подкомпонента может остановить производство всей системы.

Вы можете увидеть это в шкафу AI., самые ценные фишки и фишки в наибольшем количестве — не одно и то же.

Однако, эта дешевая энергия, аналоговый, и сенсорные чипы, не добавляя при этом особой ценности, необходимы для бесперебойной работы системы. Нехватка любого из них может привести к остановке всей сборки..

II

Какие чипы используются в ключевых подсистемах,и как они вытесняют другие отрасли?

Объем чипсов по типу лотка：

Вычислительный лоток：4,000 Чипсы

Силовой лоток：600 Чипсы

сеть & IPMI-лоток：100 Чипсы

Соединительный лоток：70 Чипсы

CCDU Лоток：10 Чипсы

Эти десятки тысяч фишек, подавляющее большинство из них не являются дорогими чипами ускорительного типа, но различная вспомогательная логика, память, власть, аналоговый, и компоненты датчиков. Они разбросаны по каждому подносу и каждой детали..

В отчете были разобраны некоторые ключевые компоненты и указано, какие именно чипы использовались внутри.:

Вычислительная доска : 1–2 ИИ-ускорителя, 1–2 процессора, 8–32 модуля DIMM, 50-100+ VRM, 10+ ИС управления/поддержки, 1+ Сетевое межсетевое соединение IC.

ИИ-ускоритель (графический процессор)：1–2 логических ASIC, 1+ Межсоединение PHY, 6–12 стеков HBM (96–192 человека умирает), 1 Комбинированный переходник/мостовая матрица.

RAM-накопитель (DIMM)： 8–16 чипов DRAM на каждый модуль DIMM, 1 УЗО, 1 ПМИК, 1 СПД ЭСППЗУ, 1 Датчик температуры.

Твердотельный накопитель NVMe (твердотельный накопитель)：256 Флеш-матрицы NAND, 1 SSD-контроллер, 1 DRAM-кэш, 1 ИС интерфейса ввода-вывода, 1 ПМИК.

Блок обработки данных (ДПУ)： 1 Встроенная логика, 1 Пакетный механизм, 1–2 встроенных DRAM, 1 Физический интерфейс, 1 Вспышка, 6–8 PMIC/VRM.

Высокопроизводительная сетевая карта (сетевая карта)：1 Сетевой контроллер ASIC, 1 Оптический трансивер, 4–8 SerDes/PHY, 1 Модуль ГДР, 1 Интерфейс PCIe, 2–4 PMIC/VRM, 1 ЦСП, 1 Осциллятор, 1–2 тактовых буфера, 1 Тактовый генератор.

Типичный блок распределения питания в вычислительном лотке сервера AI:2– 6 IBC, 6–12 преобразователей PoL, 1–2 SoC MCU/PMBus, 2–6 ЧВПК, 5–10 датчиков тока/напряжения, 2–4 водителя & полевые транзисторы.

Соединительный лоток ускорителя:2 Высокоскоростные PHY, 2 Переключение ASIC/лотка, 16–72+ Трансиверов/Коммутаторов SerDes, 1-2 чипа ACC, 4–6 PMIC/VRM, 1–2 тактовых генератора/PLL, 1 Осциллятор, 1–2 тактовых буфера.

Серверный блок питания (блок питания)：1 Мостовой выпрямитель, 1 Контроллер PFC, 2–4 GaN силовые МОП-транзисторы, 1 ШИМ-контроллер, 2–4 драйвера ворот, 2–4 полевых транзистора синхронного выпрямителя, 1 MCU/PMBus SoC, 3–5 датчиков напряжения/температуры.

Серверная стойка AI BMC: внеполосный переключатель: внутриполосный переключатель: Блок жидкостного охлаждения CDU:

Серверная стойка AI BMC: 1 MCU SoC, 1 Прошивка, 1 Ethernet PHY с магнитной платой, 1–2 ЧВПК, 1 Сторожевой таймер, 1 Тактовый генератор.

Внеполосный переключатель: 1 Переключить ASIC, 24 Физические уровни Ethernet, 1 Управление SoC/ЦП, 1 Вспышка, 1 ДРАМ, 1 ПМИК.

Внутриполосный переключатель: 1 Переключить ASIC, 100+ Трансиверы SerDes, 1 Физический уровень Ethernet/InfiniBand, 72 Оптические трансиверы, 1 ЦСП, 10 ЧВПК, 1 MCU вентилятора/термического контроля, 1 Вспышка, 1 ДРАМ.

Блок жидкостного охлаждения CDU:3 Датчики потока, 4 Датчики давления, 4 Датчики температуры, 1 Контроллер MCU, 1 Интерфейс Ethernet/PMBus.

Помимо этого сноса, в отчете также указывается несколько направлений изменений, и от этих изменений, мы можем предсказать возможные будущие тенденции.

Во-первых, это источник питания. Питание стойки меняется с нынешних 48 В постоянного тока на 400 В., и даже в конечном итоге 800В высокого напряжения постоянного тока. Потребляемая мощность одной стойки приближается к уровню мегаватт; в настоящее время, самые сильные стойки имеют мощность около 100–120 кВт., но в будущем, одной стойке может потребоваться 1 МВт. С этим сдвигом, составные полупроводники, такие как GaN и SiC, все чаще используются в энергетических системах, поскольку они могут работать при более высоких напряжениях и иметь меньшие потери и тепловыделение по сравнению с традиционными кремниевыми устройствами..

Основные тенденции развития технологий

Подача электроэнергии смещается с 48 В постоянного тока на 400 В/800 В постоянного тока, поскольку плотность мощности стойки приближается к 1 МВт.. Это ускоряет внедрение широкозонных технологий. (GaN/SiC) устройства.

Рост TDP приводит к переходу на жидкостное охлаждение (~30 % принятие 2035), растущий спрос на специальные датчики расхода/давления/температуры и микроконтроллеры контроллеров.

III

Заключение & Стратегическая информация о цепочке поставок для Trusty IC

ВтИИ вызывает глобальную нехватку чипов и рост цен?

Литейные заводы и IDM активно перераспределяют мощности передовых пластин, Упаковка CoWoS, и линии DRAM в сторону высокорентабельных ASIC AI и HBM..

Традиционные зрелые номера деталей (Устаревшие/зрелые компоненты) стратегически постепенно сокращаются:

Первоначальные производители, сосредоточив свои ресурсы на искусственном интеллекте, сократили производственные мощности для DRAM общего назначения., традиционный NAND, и стандартные силовые/аналоговые чипы, вызывая структурный дефицит предложения, более длительные сроки выполнения, и стремительный рост спотовых цен на часто используемые устаревшие чипы в автомобилях., промышленная автоматизация, здравоохранение, и традиционные серверы.

💡 Почему Trusty IC？

Trusty IC помогает мировым OEM-производителям, EMS компании, и поставщики решают три ключевые задачи цепочки поставок:

Поиск дефицита – быстрый поиск труднодоступных товаров., нехватка, устаревший, и полупроводниковые компоненты EOL через глобальные сети поставщиков и доступные запасы..

Избыточный инвентарь & Оптимизация затрат – поддержка избыточных запасов, оптимизация спецификации, перекрестная ссылка на компонент, альтернативные источники, и снижение PPV.

Гарантия качества – строгий контроль качества., отслеживаемость компонентов, Рентгеновский контроль, и стороннее тестирование для обеспечения подлинности и надежности электронных компонентов..

Trusty IC — помощь клиентам в поиске нужных компонентов, сократить затраты на складские запасы, и управлять рисками поставок полупроводников.