Уже что-то интересное появилось
Превратите свой свободный слот M.2 в вычислительный модуль 20B LLM с помощью этого выделенного модуля AI: 32 ГБ памяти и 60 TOPs

Unigen Amaretti E1.S основан на ускорителе искусственного интеллекта SAKURA-II от EdgeCortix, который изначально был разработан для маломощных платформ ИИ, и теперь предоставляет эти возможности Raspberry Pi5 и другим продуктам на базе ARM. Чип ускорителя включает в себя нейронный процессор (NPU) с производительностью 60 TOPS по протоколу INT8 и 30 TFLOPS по протоколу BF16. Он оснащен двойным 64-битным контроллером памяти LPDDR4x и 20 МБ встроенной кэш-памяти SRAM. Корпус 19x19 BGA потребляет примерно 8-10 Вт.
Компания Unigen взяла ускоритель искусственного интеллекта SAKURA-II и разместила его на плате E1.S, добавив впечатляющий объем памяти до 32 ГБ. Модуль доступен в вариантах на 16 ГБ и 32 ГБ, обеспечивая пропускную способность до 68 ГБ/с. Модуль Amaretti рассчитан на мощность 10 Вт, что составляет 6 TOPS на ватт.
Многие ПК, настольные компьютеры и ноутбуки имеют неактивные слоты M.2. Если вам нужен локализованный ИИ и вы хотите ускорить работу системы, то эти модули — отличное решение.
По данным Unigen , модуль искусственного интеллекта поддерживает все новейшие фреймворки для ИИ, такие как TensorFlow, PyTorch, ONNX и Hugging Face. Основные преимущества модуля включают:
    Модуль ИИ E1.S
    Ускоритель ИИ: SAKURA-II
    Производительность обработки данных до 1920 TOPS на серверах с двумя процессорами и воздушным охлаждением.
    При использовании TPUs задействуется 20% потребляемой мощности по сравнению с обучением GPUs.
    Генерируемые искусственным интеллектом LLM-системы с количеством параметров до 20 миллиардов.
    Срок поставки составляет 14 недель, что значительно меньше, чем обычно для серверов с графическими процессорами.
    До 32 ГБ на модуль