Стартап из Силиконовой долины D-Matrix недавно представил новую вычислительную платформу Corsair C8, которая, согласно опубликованным результатам тестов, значительно превосходит производительность отраслевого лидера – GPU H100 от Nvidia.
Corsair C8 разработана специально для генеративных задач искусственного интеллекта и использует уникальную архитектуру DIMC (Digital-In-Memory Computer), отличающуюся от стандартной архитектуры GPU. Благодаря этому, платформа обеспечивает увеличение пропускной способности в 9 раз по сравнению с Nvidia H100 и в целых 27 раз по сравнению с Nvidia A100.
Сам стартап уже привлёк $110 миллионов инвестиций в последнем раунде финансирования, в который входили и такие крупные игроки как Microsoft. Ранее в апреле 2022 года компания привлекла $44 миллиона от Microsoft, SK Hynix и других.
Ключевые характеристики Corsair C8 впечатляют: видеочип включает в себя 2,048 DIMC ядер, 130 миллиардов транзисторов и 256GB LPDDR5 ” data-html=”true” data-original-title=”RAM” >RAM. Модель способна обеспечить от 2,400 до 9,600 терафлопс вычислительной производительности и имеет пропускную способность между чипами в 1TB/s.
Эта уникальная технология позволяет достичь до 20-кратного увеличения пропускной способности для генеративного вывода на больших языковых моделях, до 20-кратного снижения задержки и до 30-кратной экономии затрат по сравнению с традиционными GPU.
Как заявляет D-Matrix, текущие GPU не оптимизированы для работы с большими языковыми моделями и требуют избыточного энергопотребления. Это связано с тем, что большой объем данных, передаваемый из DRAM, приводит к увеличению энергопотребления, снижению пропускной способности и увеличению задержки.
Специализированная архитектура DIMC решает эти проблемы, снижая затраты в 10-20 раз, а в некоторых случаях даже до 60 раз.
Кстати, D-Matrix не единственный игрок на этом рынке. Intel недавно показала чип Habana Gaudi, который обгоняет Nvidia H100 в 2,5 раза, а IBM примерно в то же время представилааналоговый ИИ-чип, который эффективнее Nvidia H100 уже в 14 раз, Отрасль развивается и, кто знает, может в скором будущем мы увидим нечто ещё более интересное и производительное.