TPU вычисления

Инструкция по переносу моделей на TPU

Большиство систем на базе ИИ строятся с использованием графических процессоров (GPU), адаптированных под такие задачи. Стандартом таких ускорителей являются решения от компании NVidia, которые используются во всем мире. Тем не менее, из-за дифицита и дороговизны подобных решений актуальным становиться поиск альтернатив. Одной из лучших альтернатив на сегодняшний день - являются решения на базе так называемых тензорных процессоров (TPU) которые разрабатываются специально под задачи компьютерного зрения и машинного обучения, а стоят значительно дешевле при сравнительной схожести по мощности. К сожалению, большинство современных библиотек и алгоритмов, используемых для построения систем на базе ИИ адаптированы именно под графические процессоры (GPU) и не работают под архитектуру TPU. Последние годы наша компания ведет разработки по адаптации известных алгоритмов и библиотек под аритектуру TPU и внедряет такие системы для построения интеллектуальных систем.

AI Micro Server SE5-8

💡 10.6TOPS, 8 channels of full HD video decoding

Передовой вычислительный продукт с высокой производительностью и низким энергопотреблением. Он оснащен чипом TPU третьего поколения BM1684, независимо разработанным компанией SOPHGO. Он обладает производительностью INT8 до максимальных 10,6 TOPS и поддерживает до 8 каналов аппаратного декодирования видео Full HD и 1 канал кодирования.

AI Micro Server SE5-16

💡 17.6TOPS, 32 channels of full HD video decoding

Высокопроизводительный продукт для передовых вычислений с низким энергопотреблением. Он оснащен чипом TPU третьего поколения BM1684, независимо разработанным компанией SOPHGO. Производительность INT8 достигает максимальных 17,6 TOPS. Он может поддерживать до 32 каналов аппаратного декодирования видео в формате Full HD и 2 канала кодирования.

AI Micro Server SE6-192

💡 211.2TOPS, 456 channels of full HD video decoding

Передовой вычислительный продукт с высокой производительностью, низким энергопотреблением и высокой производительностью вычислений. Оснащенный чипом TPU третьего поколения BM1684, независимо разработанным ESOPHAGO, SE6 обладает вычислительной мощностью INT8 до 211,2 TOPS. Он может обрабатывать 192 канала HD-видео одновременно и поддерживать 456 каналов аппаратного декодирования full HD-видео и 24 канала кодирования.

AI Micro Server SE7-32

💡 32TOPS, 16 channels of full HD video decoding

Оснащенный AI SoC BM1684X 4-го поколения, может похвастаться высокой производительностью, низким энергопотреблением и отличной адаптируемостью к окружающей среде. Сочетая его с различными алгоритмами глубокого обучения, он позволяет использовать такие приложения, как структурирование видео, распознавание лиц, анализ поведения и мониторинг состояния. Это также расширяет возможности искусственного интеллекта на переднем крае в различных областях, таких как "умные города", "умный транспорт", "умная энергетика", финансовые технологии, телекоммуникации и "умная промышленность".

AI Micro Server SE8-192

💡 192TOPS, 192 channels of full HD video decoding

Новый передовой вычислительный продукт с высокой производительностью, низким энергопотреблением и небольшими размерами. Оснащенный тензорным процессором четвертого поколения BM1684X, выпущенным компанией SOPHGO, SE8 192-EA6-71 поддерживает логический вывод со смешанной точностью, а вычислительная мощность достигает 192 вершин при INT8 и 96 ТФЛОПС при FP16/BF16. С 8-ядерным/16-потоковым процессором X86 CPU@2.8GHz поскольку поддерживается расширение хост-процессора и локального хранилища, он широко используется в сценариях с высокой степенью параллелизма, таких как общественная безопасность, транспорт, промышленные парки, производство и складирование, предоставляя возможности искусственного интеллекта тысячам отраслей промышленности.

AI Micro Server SE8-416

💡 32TOPS, 32 channels of full HD video decoding

Сервер для передовых вычислений нового поколения с высокой производительностью, низким энергопотреблением и небольшими размерами. Оснащенный тензорным процессором четвертого поколения BM1684X, выпущенным ESOPHAGO, SE8 поддерживает логический вывод со смешанной точностью, а вычислительная мощность достигает 416 вершин при INT8 и 208 ТФЛОПС при FP16/BF16. По сравнению с SE6, SE8 удваивает вычислительную мощность и плотность, а также увеличивает пропускную способность кодирования почти в 5 раз. Он может обрабатывать до 416 каналов интеллектуального анализа HD-видео с помощью искусственного интеллекта одновременно, что широко используется в сценариях больших параллельных приложений.

SOPHON Intelligent Computing Server SG6-10-B22

💡 528TOPS, 960 channels of full HD video decoding

Сервер для задач искусственного интеллекта SOPHON SG6-10-B22 может быть оснащен 30 чипами SOPHGO третьего поколения TPU BM1684 и его производительностью INT8 до 528 рабочих столов. Он поддерживает аппаратное декодирование видео 1080P HD со скоростью 28800 кадров в секунду и аппаратное кодирование видео 1080P HD со скоростью 1500 кадров в секунду.

SOPHON Intelligent Computing Server SG6-06-A22

💡 316.8TOPS, 576 channels of full HD video decoding

Сервер для задач искусственного интеллекта SOPHON SG6-06-A22 может быть оснащен 18 чипами TPU третьего поколения Sophon BM1684 и его производительностью INT8 до 316,8 максимальных значений. Он поддерживает аппаратное декодирование видео 1080P HD со скоростью 17280 кадров в секунду и аппаратное кодирование видео 1080P HD со скоростью 900 кадров в секунду.