«ВЫСОКОСКОРОСТНОЙ ДОВЕРЕННЫЙ ТНИ НА РОССИЙСКОМ КОНТРОЛЛЕРЕ К1942ВК018 РАЗРАБОТКИ KRAFTWAY В ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМАХ ЭЛЬБРУС»

г. Москва, Elbrus Tech Day, 16.02.2021 Евланов Дмитрий, руководитель проекта SSD, [email protected] Общие данные по проекту Kraftway SSD

«Разработка и организация серийного производства микросхемы Наименование контроллера твердотельного накопителя информации комплексного проекта и линейки доверенных ТНИ»

 разработка патентно-чистых российских базовых математических алгоритмов и математической модели, реализующей функционал ТНИ

Цели и задачи  разработка и организация серийного производства СБИС контроллера проекта ТНИ со встроенным спец.преобразованием по ГОСТ Р 34.12-2015  разработка и организация серийного производства линейки российских доверенных ТНИ для использования в составе технических средств (ТС) отечественной доверенной аппаратно-программной платформы СВТ

Актуальность Необходимо ускорить процесс импортозамещения в сегменте рынка комплексного твердотельных накопителей информации и его производных в интересах проекта национальной безопасности

2 Образцы контроллера K1942BK018 (IV.2019)

2020  МС изготовлена в корпусе BGA676 Произведены плата разбраковки  По топологическим нормам TSMC 40нм и универсальная плата ТНИ  Площадь кристалла 64 мм2 Вх.контроль и отбраковка ASIC  Потребление под нагрузкой 3.5-4 Вт  Тестирование, испытания  Произведены образцы ТНИ  Разработано ПО SSD 1.0a Доработка для пересинтеза . Исследование узких мест производительности . Правки найденных багов . Изменения для сертификации

3 Универсальная платформа ТНИ «Легион» (I.2020)

Скорость передачи данных (для 2ТБ)* Характеристики ТНИ «Легион»

Чтение: 830 МБ/с (цель 600)  Протокол: NVMe 1.2.1  Форм-фактор: PCIe 2.0 x4 (HHHL) Запись: 680 МБ/с (цель 500)  Объем диска: 512ГБ, 1ТБ, 2ТБ  Объем SDRAM: 512МБ, 1ГБ, 2ГБ  Объем QSPI-флеш: 16/32МБ

Windows10 x64, Intel Pentium G4400  Cвязь с АПМДЗ по отдельному UART 7 7 см

17 см

*для 2ТБ задействованы все 64-пути записи NAND

4 ТЕХНИЧЕСКИЕ ХАРАКТЕРИСТИКИ KRAFTWAY SSD

ХАРАКТЕРИСТИКА ПЛАНИРОВАЛОСЬ РЕАЛИЗОВАНО

Интерфейс подключения PCI-Express gen 2 x 4 PCI-Express gen 2 x 4 Поддерживаемые типы NAND памяти MLC, 3D MLC MLC, 3D MLC, pMLC Поддерживаемые интерфейсы NAND памяти ONFi 3.0, ONFi 3.0, Toggle 2.0 до 400 MT/s до 400 MT/s Количество каналов NAND памяти 8 каналов с поддержкой 8 8 каналов с поддержкой 8 независимых путей на канал независимых путей на канал Коррекция ошибок HW-модуль коррекции ошибок, 70 Кодек БЧХ, исправление бит на 1 Кбайт 96 бит на 1 кБайт Максимальная ёмкость ТНИ 1024 Гбайт 2048 Гбайт Максимальная скорость последовательного чтения 600 Мбайт/с 830 Мбайт/с*

Максимальная скорость последовательной записи 500 Мбайт/с 680 Мбайт/с*

Максимальная скорость произвольного чтения 90K IOPS 55K IOPS* блоками по 4 КБайт Максимальная скорость произвольной записи 75K IOPS 65K IOPS* блоками по 4 КБайт HW-модуль спец.преобразования ГОСТ Р 34.12-2015 (Кузнечик) ГОСТ Р 34.12-2015 (Кузнечик)

*измерено для ТНИ объемом 2ТБ с помощью ПО CrystalDiskMark в ОС Windows10 x64»

5 АРХИТЕКТУРА КОНТРОЛЛЕРА SSDV1

Архитектура Контроллера SSDv1. Функциональная схема.

K1942BK018 QSPI-Память OTP hardware SSD.CORE.LOGIC FILE.CFG, LOG (однократно- (ядро контроллера) 8-ways/dies FSBL.SEC, SSBL, TESTs программируемая память) на канал

RTOS.IMG (sysmon) ONFI страницы

SEC,HASH,MODE Channel FTL.IMG (2-core)

QSPI dec канальный ONFI /

Phy БЧХ Toggle процессор-1 Phy (chipselect) ДАННЫХ

BootROM / КРИПТО Way 96 бит/1К NAND

(базовый загрузчик) КЭШ

сектора .. NAND QUEUEs

ch1 ГОСТ Р - контроллер enc интерфейс FSBL.SEC 34.12-2015 БЧХ АПМДЗ (первичный загрузчик) «КУЗНЕЧИК» страницы (8-каналов) UART (Витязь-А) Подсистема безопасности GC 96 бит/1К DMA канальный ONFI процессор-8 Ctrl H-Арбитр Phy NAND [ДСЧ опционально] DATA Генерация и ch2 хранение ключей шифрования, NIC-400 Network Interconnect AXI-Bus создание .. .. пользователей software SW-HW интерфейс

OCM Imterrupt controller OCM [общая память] I/O Очереди запросов LLD CMD ONFI GC Phy complete L-Арбитр

U Задания для HW (Сборщик NAND - Arbiter I/O очереди OUT мусора) ch8 NVMe- <- OUT: complete R/W/E filter I/O Queues ULD -> CMD: R/W/E

драйвер R/W/E PCIe - FTL

e Interrupt Phy 1 (Flash Translate Layer) BIOS- NAND

UEFI NVM Interrupt T-Det FLASH PCIe x4 2 массив CPU Core-1 .. CPU R5 Core-0 DDR DDR Phy Phy SYS-MON * (Free RTOS) ULD – upper level driver Память под DDR3 SDRAM Таблица LSA-PPA LLD – low level driver HOST данные SW 512MB-2GB Таблица блоков CPU R5 Core-2 OCM – on-chip memory

6 ВК ЭЛЬБРУС 801-PC

HHD, SSD KRAFTWAY

4x PCIe 2.0

Характеристика Максимальное значение*

Последовательное чтение 834 Мбайт/с* Последовательная запись 675 Мбайт/с*

* *ТНИ 2ТБ, ОС Эльбрус 6.0.0», fio RND чтение блоками по 4 КБ 40.8K IOPS (при глубине очереди 32) RND запись блоками по 4 КБ 43.6K IOPS* (при глубине очереди 16)

7 ВК ЭЛЬБРУС 801-PC

HHD, SSD KRAFTWAY.SEC

4x PCIe 2.0

M.2/спец. АПМДЗ

UART

8 ДОРОЖНАЯ КАРТА ПРОЕКТА KRAFTWAY SSD

Продукт реализации Линейка доверенных ТНИ Kraftway, используемых в составе: ПК, тонких клиентов, серверов и СХД производства Kraftway (и партнёров!) Потребители продукта Органы гос. власти, силовые структуры, компании с гос. участием, Финансовый и банковский сектор, коммерческие компании, телеком Календарный план реализации НВ 2016 2017 2018 2019 2020 2021 … 2025

2015 НИР ОКР ТНИ 1.1 Legion-Тест Реализация инициативных НИР FPGA-прототип PCIe до момента запуска

комплексного проекта U.2 ASIC Серийное производство Стендовая инфраструктура DEV,CI,TEST ASIC 1.0 ТНИ 1.0 ASIC 1.1 fullmask Математическая модель, алгоритмы Разработка 6000 + 25000 * N

Работы по встраиванию CКЗИ Вывод на рынок и продажи Разработка Постановка на производство, Корректир РКД технологическая документация ТД и РКД

ИзготовлениеОО, Сертификация испытания

Патентные исследования, патентование

9 Спасибо за внимание! 5 мин на вопросы

10 КОМАНДА ПРОЕКТА (12 ГРУПП, > 70 ЧЕЛ)

Мат. моделирование и разработка ASIC топологическое проектирование

МГУ МФТИ Team Team

FPGA-Team АДМ НКБ «НИР» Kraftway (прототип) Verif-Team Development ASIC QA-Team Team дизайн-центр DevOps Test-Team РКД и ТД ОТК инфраструктура Kraftway фабрика

Производство печатных плат, монтаж компонентов

11 KRAFTWAY SSD. КАК УСТРОЕН МИР NAND

Единицы производителей микросхем 3D NAND-памяти, технологии сосредоточены: в США (Intel), Корее (Samsung, Hynix), Японии (Kioxia), Китае (YMTC). Собственные технологии 3D NAND TLC/QLC-типа (3D V-NAND – Samsung, BiCS3/4 – Kioxia/Toshiba, 3Gen-NAND – Intel/Micron; 4D NAND – Hynix; YMTC). Минимальный техпроцесс на сегодня: для 3D NAND 64L – 20 нм (для 2D NAND – 10 nm) NAND-память различается интерфейсами: ONFI (Intel/Micron, YMTC), Toggle Mode (Samsung, Toshiba/WD/SanDisk, SK Hynix).

Около десятка производителей SSD-контроллеров: Seagate (LSI<-SandForce), Intel, Samsung, Toshiba (Indilinx<-OCZ), WD (SanDisk<-Fusion-io), SK Hynix (LAMD); Jmicron, Marvell, Silicon Motion, Phison, Realtek – пока можно приобрести. И несколько десятков производителей SSD, использующих сторонние контроллеры: ADATA, AMD, Apacer, HP, Kingston, Foxline , Transcend, Crucial, Corsair, Dell, PNY, Plextor, Pioneer, G.Skill, Innodisk, Lite-on, Patriot Memory, Silicon Power, SmartBuy, STEC, HGST, Lenovo…

13 Kraftway SSD. Создать микросхему контроллера

Только 12 компаний в мире (из 5 стран – США, Япония, Южная Корея, Тайвань и Китай) в настоящее время освоили производство собственных контроллеров SSD. Сегодняшний контроллер – это почти микрокомпьютер, имеющий в своем составе:  Процессорную подсистему  «Железную» математическую логику  Набор периферийных контроллеров

Создание микросхемы контроллера – это:  Высокая наукоемкость проектирования контроллераю  Инвестиции в десятки миллионов долларов в разработку и производство микросхемы  Вывод конечного продукта на сильно сегментированный рынок

15 KRAFTWAY SSD. ОБОБЩЕННАЯ БЛОК-СХЕМА

16 KRAFTWAY SSD ASIC ARCHITECTURE

Kraftway SSD ASIC Architecture. Main block diagram.

DRAM OTP DDR-Controller TPM (SEC/GOST) (Trusted PCIe PCIe Platform HOST Module) PHY Timers SYSMON UART QSPI CORE2 CORE3

Controller GPIO - PCIe- MBOX SRAM MBOX Ctrl PVT CORE1 CORE0 NVMe NVMe- FTL WDT NVMe I/O Service CMD

filter BOOTLDR

N

Controller

- NAND CPU 4xCORE Channel NAND Flash Array

DATA HW.CORE - Buffer GOST, ECC, QoS

17 ХАРАКТЕРИСТИКИ КОНТРОЛЛЕРА И ТНИ KRAFWAY

Характеристики контроллера и ТНИ Kraftway Kraftway ASIC v1.SEC Kraftway ASIC v2.JBOD (с функциями усиленной безопасности) (быстродействующий большой ёмкости)

  Host-интерфейс – PCIe Gen4 x4 Host-интерфейс – PCIe Gen2 x4  PCIe-протокол – NVMe 1.2.1  PCIe-протокол – NVMe 1.4  CPU – 4х ядерный ARM Cortex R5  CPU – 4+1 RISC-V  Число каналов – 8  Число каналов – 8  Число путей (way/die) на канал – 8  Число путей (way/die) на канал – 16  Максимальная ёмкость диска – 2 ТБ  Максимальная ёмкость диска – 16 ТБ  Тип NAND – 2D/3D MLC, pMLC  Тип NAND – 3D MLC/TLC/QLC  Интерфейс NAND – ONFI 3.0, Toggle 2.0  Интерфейс NAND – ONFI 4.0, Toggle 3.0  Производители NAND – Micron, Toshiba  Производители NAND – Micron, Toshiba, YMTC  Формат микросхемы – BGA 676 HFC  Формат микросхемы – BGA 676 HFC  Помехоустойчивый кодек – БЧХ, 96 бит/1кБ  Помехоустойчивый кодек – LDPC, 150 бит/1кБ  Криптопреобразование – ГОСТ 34.12-2015  Криптопреобразование – ГОСТ 34.12-2015  Производительность:  Производительность:  последовательное чтение/запись  последовательное чтение/запись ~830/680 МБ/с >1500/1500 МБ/с  число операций I/O R/W блоками по 4К  число операций I/O R/W блоками по 4К ~55/65 kIOPS >200/150 kIOPS  Потребление ASIC (среднее) – 3.5-4 Вт  Потребление ASIC (среднее) < 2.5 Вт  Техпроцесс – TSMC 40 LP I.2020  Техпроцесс – TSMC 28 HPC I.2023 Красным – измерено на образце ТНИ 2ТБ с NAND-памятью L06B Micron (CrystalDiskMark, ОС Windows10x64, Intel Pentium G4400) Фиолетовым – различающиеся характеристики

19 Kraftway SSD. Варианты исполнения ТНИ – 2021

NVMe SSD (PCIe HHHL), up to 2 TB NVMe SSD U.2, up to 1 TB (в проработке)

02.2020 III кв.2021 Первые Серийные Образцы изделия для СХД и серверов

Kraftway Expansion shelf Kraftway Expansion shelf

KRAFTWAY NVMe Storage, N x 2TB

20