ИНФОРМАЦИОННЫЙ БЮЛЛЕТЕНЬ № 7 (74)/1999 АрхитектураАрхитектура процессорапроцессора UltraSPARCUltraSPARC IIIIII (c.(c. 2)2) РешенияРешения компаниикомпании SunSun MicrosystemsMicrosystems длядля шинышины CompactPCICompactPCI (c.(c. 12)12) НовостиНовости ИнтернетИнтернет (с.(с. 11)11)

КОМПЬЮТЕРНЫЕ ПЛАТФОРМЫ Архитектура процессора UltraSPARC III Андрей Шадский, НИИ системных исследований РАН

СОДЕРЖАНИЕ

1. Немного истории ...... 3

2. Политика Sun и основные направления в области разработки микропроцессоров ...... 3

2.1. Формирование политики 2.2. Стратегия компании на ближайшие несколько лет 3. Несколько слов о конкурентах ...... 6

4. Архитектура процессора UltraSPARC III и ее особенности ...... 6

4.1. Краткое описание архитектуры 4.2. Конвейер 4.3. Порядок запуска команд на исполнение 4.4. Механизм предсказания ветвлений 4.5. Особенности реализации внешних интерфейсов микропроцессора 5. Заключение ...... 11

6. Литература ...... 11 реплению собственной позиции на рынке. С од9 ной стороны, это успокаивает пользователей (рас9 сеивает возникшие сомнения), а с другой – бро9 сает вызов другим производителям микропроцес9 1. Немного истории соров, среди которых предоставить долгосрочную программу развития микропроцессоров могут та9 Первые сообщения о появлении нового кие компании, как Intel, Compaq, Hewlett9Packard, процессора UltraSPARC III компании Sun SGI/MIPS и IBM. Microsystems появились в 1997 году. Примерно в Что же касается собственно задержки, то это же время в журнале «Microprocessor Report» аналогичные ситуации происходили и у других была опубликована первая и, похоже, единствен9 производителей, включая вышеназванных. Так, ная статья [1], в которой достаточно подробно ос9 например, при проектировании по9 вещались особенности архитектуры данного уст9 требовалось несколько дополнительных месяцев ройства, назывались сроки появления серийных на моделирование его работы, а появление изделий и систем на его основе (начало 1999 года). Intel'овского процессора Merced отложено до се9 Параллельно компанией велась работа по редины 2000 года. созданию перспективного семейства компьюте9 ров на базе нового микропроцессора, которое должно было прийти на смену серверам и рабочим 2. Политика Sun и основные станциям UltraSPARC. Разработка нового семейст9 направления в области ва включала в себя внесение в архитектуру изме9 нений, вызванных отличиями в интерфейсах про9 разработки микропроцессоров цессоров UltraSPARC III и UltraSPARC II, и созда9 ние нового набора вспомогательных кристаллов. 2.1. Формирование политики Изготовление процессора UltraSPARC III планировалось организовать на фирме Texas Sun является одной из немногих компаний, Instruments, а первый кристалл ожидался в середи9 разрабатывающих вычислительные системы от не 1998 года. Однако, в силу причин, которые не начала до конца, то есть от микропроцессоров и были обнародованы, сроки появления несколько архитектуры вычислительной системы до про9 раз откладывались. В результате, первый опытный граммного обеспечения, поэтому все этапы разра9 образец появился лишь в конце мая этого года, то ботки проходят в рамках единой концепции, что есть почти на год позже анонсированной даты. дает определенные преимущества по сравнению с Не стоит воспринимать эту задержку как конкурентами (компания имеет больше степеней большую трагедию, поскольку помимо очевидных свободы), но, вместе с тем, накладывает большую минусов она имеет ряд положительных аспектов. ответственность за принимаемые решения. Во9первых, для разработчиков дополнитель9 Основной девиз компании – «Сеть – это ное время никогда не бывает лишним. Если за9 компьютер», очень хорошо согласуется с основ9 держки были связаны с какими9либо технически9 ными тенденциями развития вычислительной ми или технологическими проблемами, то их ре9 техники в последние годы. Так, все большее рас9 шение можно рассматривать только с положи9 пространение получают такие области примене9 тельной стороны, поскольку рано или поздно они ния, как Интернет и сетевые вычисления. Это, в все равно проявились бы. свою очередь, предъявляет повышенные требова9 Во9вторых, дополнительное время получили ния к производительности вычислительных сис9 разработчики собственно систем на базе нового тем, причем потребности в увеличении произво9 процессора. Вполне вероятно, что рабочие стан9 дительности растут быстрее, чем производитель9 ции и серверы, чье появление планировалось на ность отдельных микропроцессоров. начало этого года, претерпели какие9либо измене9 Решить данную проблему можно только по9 ния, может быть даже в части архитектуры. средством создания масштабируемых многопро9 И, наконец, в9третьих, была обнародована цессорных систем. Так, по словам Криса Вилларда стратегия компании на ближайшие несколько лет. (Chris Willard), руководителя направления иссле9 Конечно, это утверждение выглядит спорным, од9 дований в области высокопроизводительных вы9 нако, то, что планы по разработке микропроцессо9 числений компании IDC Research, все новшества в ров были представлены именно в тот момент, ког9 компьютерных архитектурах направлены на объ9 да задержки появления очередного процессора единение большого числа процессоров в единую стали вызывать определенное беспокойство поль9 систему. Sun не является исключением в данном зователей, представляется отнюдь не случайным. вопросе, однако, решение его начинается еще на Это заявление можно рассматривать как очень се9 уровне микропроцессора, а не системы, как у рьезный и ответственный шаг компании по ук9 многих других (см. [3]).

3 Андрей Шадский Здесь уместно привести слова Ананта Агра9 только на одно направление. Возвращаясь к ситу9 вала (Anant Agrawal), вице9президента и генераль9 ации 1998 года, можно сказать, что в тот момент ного менеджера подразделения микроэлектрони9 выбранная стратегия подтвердила свою ки : «На экспоненциальный рост жизнеспособность. Интернет и сетевых вычислений рынок отвечает требованием высокопроизводительных процес9 2.2. Стратегия компании соров, которые должны быть хорошо масштаби9 на ближайшие несколько лет руемыми. Ultra SPARC III будет удовлетворять этим требованиям и позволит нашим потребите9 В настоящее время разработка и производ9 лям создавать высокопроизводительные, много9 ство микропроцессоров осуществляется по трем процессорные системы, которые можно будет основным направлениям (см. рис. 1, заимствован9 легко нарастить, чтобы обеспечить поддержку бы9 ный нами из [2]). Процессоры, принадлежащие к стро разрастающейся инфраструктуры» (см. [3]). тому или иному семейству, имеют соответствую9 Ниже мы рассмотрим конкретные архитек9 щий буквенный индекс. турные решения, заложенные в новый процессор, Семейство «S». Сюда входят микропроцес9 но перед этим хотелось бы остановиться на стра9 соры UltraSPARC I/II/III. Представители этого се9 тегии и планах компании в области производства мейства обладают полным набором функций и микропроцессоров. имеют максимальную производительность. Они В течение нескольких последних лет компа9 предназначены для использования в рабочих ния Sun Microsystems помимо основного направ9 станциях и серверах с наращиваемой архитекту9 ления – процессоров для серверов и рабочих рой. станций поддерживает линию процессоров для Семейство «I». Сейчас к нему относятся встроенных применений (microSPARC). В 1997 го9 только микропроцессоры UltraSPARC IIi. Процес9 ду модельный ряд компании обогатился микро9 соры данного семейства предназначены для ис9 процессором UltraSPARC IIi, предназначенным пользования в однопроцессорных системах, име9 для использования в недорогих однопроцессор9 ющих высокое соотношение производитель9 ных системах. При этом снижение стоимости сис9 ность/стоимость. Это достигается за счет оптими9 темы достигалось за счет использования шины зации внешних интерфейсов процессора, разме9 PCI в качестве системной (как в процессоре, так и щения части функциональных устройств (напри9 в самой системе), что позволяло применять пери9 мер, контроллеров интерфейсов) непосредствен9 ферийные платы данного стандарта от других но на кристалле процессора и сокращения за счет производителей, а также уменьшить число специ9 этого числа внешних специализированных мик9 ализированных СБИС. росхем. В будущем предполагается появление В 1998 году компанией была обнародована конфигураций с несколькими процессорами. новая политика в отношении производства мик9 Семейство «E». На сегодняшний день се9 ропроцессоров. Необходимость такого шага (как мейство представлено микропроцессорами двух уже упоминалось ранее) отчасти была обусловле9 типов: microSPARC и UltraSPARC. Предназначено на задержками в появлении нового микропроцес9 для встроенных применений (сетевые интерфей9 сора UltraSPARC III и связанной с этим необходи9 сы, платы управления, модемы и т.п.), требующих мостью успокоить потребителей. С другой сторо9 достаточной вычислительной мощности при ми9 ны, на это повлиял приобретенный опыт произ9 нимальной стоимости и низком энерговыделении. водства нескольких типов микропроцессоров, а Разработка любого микропроцессора вклю9 также анализ рынка. Возможно, был учтен опыт чает в себя три основные фазы: разработку набо9 других компаний, занимающихся разработкой и ра команд, разработку собственно архитектуры и производством процессоров. выбор технологического процесса. Каждая фаза В последние годы в маркетинговой полити9 требует решения целого комплекса вопросов. И с ке Sun четко прослеживается тенденция к освое9 этой точки зрения подход Sun к процессу разра9 нию новых секторов рынка вычислительных сис9 ботки являет собой пример осторожности. В осно9 тем. Так, например, в середине 909х компания обо9 ву положен принцип минимального риска. При значила свое присутствие в области многопроцес9 модернизации или разработке нового процессора сорных комплексов (сначала это были кардинальному изменению может быть подверг9 SPARCcenter 2000 и SPARCserver 1000, а затем – нута только одна из трех составляющих. Ultra Enterprise 10000). Позже Sun проявила инте9 Если говорить о конкретных процессорах рес к недорогим системам с шиной PCI. UltraSPARC, то компания с некоторых пор при9 Такая политика представляется более гиб9 держивается следующего правила: поколения с кой и позволяет быстрее реагировать на потреб9 нечетным номером (UltraSPARC I, III и т.д.) пред9 ности рынка, а также снижает риски компании по ставляют собой разработки, имеющие принципи9 сравнению с ситуацией, когда делается ставка ально новую архитектуру (новый конвейер), а с

4 Архитектура процессора UltraSPARC III четным номером (UltraSPARC II, IV и т.д.) – явля9 предотвращению возможных негативных послед9 ются технологической модернизацией предыду9 ствий (см. [5]). Для этого была проведена модерни9 щего поколения. При таком подходе обеспечива9 зация процессоров второго поколения с целью по9 ется программная совместимость при переходе от вышения тактовой частоты. Сначала появились одного поколения к другому и обеспечивается по9 процессоры с рабочей частотой 360 МГц (до этого стоянный рост производительности микропро9 было только 300 МГц), а затем – с частотами 400 и цессоров. Опыт последних нескольких лет свиде9 450 МГц. Таким образом, был обеспечен постоян9 тельствует в пользу такого подхода. ный рост производительности систем на базе про9 Завершая эту тему, нельзя не сказать не9 цессоров UltraSPARC II. сколько слов о дальнейших планах Sun по разра9 В мае 1999 года появился первый опытный ботке новых микропроцессоров. Речь будет идти, в экземпляр процессора UltraSPARC III. Он выпол9 основном, о семействе «S», как базовом для всего нен по технологии 0.25 мкм и имеет рабочую час9 направления, но сначала – о серьезных переменах тоту 600 МГц. Серийные образцы процессоров в семействе «E». Совсем недавно, в мае 1999 года, должны появиться уже к концу этого года. В даль9 компания представила архитектуру нового пред9 нейшем за счет повышения технологических ставителя семейства встроенных процессоров – норм до уровня 0.18 мкм планируется поднять его UltraSPARC IIe, который должен появиться в 2000 производительность путем наращивания такто9 году и сменить поколение процессоров вой частоты до 1 ГГц. microSPARC. Примечательно то, что с этого момен9 В конце 2000 года Sun планирует присту9 та все процессоры, выпускаемые компанией, будут пить к выпуску нового процессора UltraSPARC IV, полностью совместимы на программном уровне который будет изготовлен по технологии 0.15 мкм (напомним, что выпускаемый сейчас microSPARC и должен иметь начальную рабочую частоту 1 ГГц. представляет собой 329разрядный процессор с ар9 Это будет первый процессор UltraSPARC, выпол9 хитектурой V8, которая использовалась до появле9 ненный по новой технологии с использованием ния линии UltraSPARC) (см. также [4]). меди в качестве проводников. (В настоящее время В 1998 году, когда стало ясно, что появление данная технология применяется ограниченным нового процессора UltraSPARC III задерживается, числом компаний, имеющих собственное произ9 компанией были предприняты серьезные шаги по водство. К их числу относится IBM, которая ис9

Рис. 1. Основные этапы развития микропроцессоров серии UltraSPARC.

5 Андрей Шадский пользует этот процесс при изготовлении своих но9 го года в Токио были обнародованы новые планы вых процессоров семейства Power.) компании [7]. Согласно им, SGI собирается поддер9 В 2002 году ожидается появление предста9 живать оба направления, как и Hewlett9Packard. вителя пятого поколения процессоров – Новый процессор от MIPS – R14000 – появится в UltraSPARC V, начальная рабочая частота которо9 середине 2000 года, примерно в одно время с го должна составить 1.5 ГГц (см. [6]). При его изго9 Merced. Что касается его производительности, то, товлении планируется использование технологии как и у PA98500, она уступает UltraSPARC III. 0.07 мкм. Сейчас такие технологические нормы Процессор Power93 корпорации IBM смо9 достижимы только в лабораторных условиях, од9 жет конкурировать с UltraSPARC III, только когда нако, предполагается, что через три года это ста9 достигнет тактовой частоты 500 МГц (сейчас – нет реальностью. лишь 200 МГц). Более долгосрочных прогнозов не сущест9 Таким образом, остается только один реаль9 вует, да их пока и не может быть, поскольку никто ный конкурент – Alpha 21264. Это процессор, ко9 сейчас не возьмется предполагать, какие пробле9 торый уже достаточное время выпускается и сей9 мы ожидают разработчиков в более отдаленной час идет работа по повышению его тактовой час9 перспективе. тоты. Alpha 21264 имеет производительность, которая по некоторым показателям превышает 3. Несколько слов о конкурентах уровень UltraSPARC III. В силу перечисленных причин, именно этот микропроцессор чаще всего используется для сравнения с процессором ком9 На сегодняшний день имеется ограничен9 пании Sun Microsystems. ное число компаний, разрабатывающих собствен9 ные высокопроизводительные процессоры класса 4. Архитектура процессора UltraSPARC III. Это Intel (Merced), Compaq (Alpha), IBM (Power93), Hewlett9Packard (PA9RISC) и UltraSPARC III и ее особенности SGI/MIPS (R1x000). Однако, не все они могут рас9 сматриваться в качестве реальных конкурентов. Новый процессор создавался для того, чтобы Ситуация в этой области, на наш взгляд, такова. заменить микропроцессоры второго поколения се9 мейства UltraSPARC. Он имеет производитель9 Самым мощным потенциальным конкурен9 ность, в 293 раза превышающую показатели 3009ме9 том UltraSPARC остается процессор Merced ком9 гагерцовых процессоров UltraSPARC II. Помимо пании Intel. Однако, подробности его аппаратур9 этого, архитектура процессора разрабатывалась с ной реализации скрыты от сторонних наблюдате9 учетом использования его в масштабируемых мно9 лей, к тому же появление первых образцов отло9 гопроцессорных системах. В табл. 1 приведены ос9 жено до середины 2000 года. Как увидим дальше, новные характеристики нового изделия. Ниже бу9 это оказало очень большое влияние на стратегию дут рассмотрены отдельные архитектурные реше9 некоторых компаний. ния, помогающие процессору «набирать очки» в Hewlett9Packard участвует в проекте созда9 борьбе за повышение производительности. ния Merced, и до последнего времени было не очень ясно, насколько серьезны ее планы по про9 4.1. Краткое описание архитектуры должению развития линии собственных микро9 процессоров PA9RISC. Однако, в ноябре 1998 года UltraSPARC III представляет собой высоко9 компанией был представлен новый процессор PA9 производительный суперскалярный микропро9 8500, выполненный по технологии 0.25 мкм. При цессор, предназначенный для использования в этом было подтверждено намерение и дальше про9 мощных рабочих станциях и серверах. Он ориен9 должать разработку процессоров этого семейства тирован на работу в масштабируемых микропро9 параллельно с участием в проекте Merced. Созда9 цессорных комплексах. На рис. 2 приведена ется впечатление, что данное решение появилось структурная схема процессора. В его состав вхо9 вследствие задержки выпуска Merced, с которым дят следующие основные функциональные блоки: связывались большие надежды. Правда, оно (ре9 • шесть исполнительных устройств (4 целочис9 шение) может оказаться несколько запоздалым, ленных и 2 плавающих); свидетельством чему является переход компании • кэш9памяти команд и данных объемом 32 КБ Texas Instuments с рабочих станций Hewlett9 и 64 КБ соответственно; Packard на оборудование Sun [8], хотя все это мо9 жет быть обусловлено и другими причинами. • кэши предвыборки и записи объемом по 2 КБ каждый; Очень похожая ситуация сложилась с про9 цессорами MIPS. Еще год назад представители SGI • системный интерфейс; утверждали, что собираются переводить свои ра9 • контроллер основной памяти; бочие станции на Merced, и R12000 – последний • контроллер кэша второго уровня (L2 кэш); используемый ими процессор. Однако, в марте это9 • таблица тэгов L2 кэш. 6 Архитектура процессора UltraSPARC III Технические характеристики Особенности архитектуры (организации) Технология .25 um CMOS Исполнительные 4 целочисленных 6 слоев металла устройства 2 плавающих Частота 600+ МГц Конвейер 14 ступеней Производительность 35+SPECint95 L1 кэши 4:канальный кэш данных – 64 КБ (накристальные) 4:канальный кэш команд – 32 КБ на частоте 600 МГц 60+ SPECft95 4:канальный кэш Площадь кристалла 330 мм2 предвыборки – 2 КБ Потребляемая 4:канальный кэш записи – 2 КБ мощность 70 Вт / 1.8В L2 кэши 1, 4 или 8 МБ Число транзисторов RAM : 12 млн. (внешние) накристальная таблица тэгов Logic : 4 млн. Интерфейсы 3 интегрированных интерфейса (системный интерфейс интер: Корпус LGA 1200 выводов фейс с основной памятью ин: терфейс с L2:кэшем) Поддержка Возможность масштабирова многопроцес: ния до 1000+ процессоров сорности Совместимость Полная программная совмес: тимость с UltraSPARC:I,II

Табл. 1. Основные характеристики процессора UltraSPARC III.

Функции исполнительных устройств рас9 пределяются следующим образом. Instr TLB BHT Instruction Cache Целочисленные: 2 АЛУ (Integer ALU, (128 entries) (16K entries) (32K 4:way associatve) ALU/Load), специализированное исполнительное 4 instr устройство (Load/Store) и устройство обработки ветвлений (Brach Unit). Fetch Instr Seq Instr Queue Queue Unit (20 entries) (4 entries) Плавающие: устройства плавающей ариф9 метики/графики (FP adder, FP mul/div/sqrt). 6 instr Далее будут рассмотрены особенности ар9 Branch Dispatch хитектуры. При этом выбираются те моменты и Unit Unit решения, которые, на наш взгляд, являются опре9 6 instr деляющими для данного процессора.

4.2. Конвейер FP FP Integer ALU / Load / Adder ALU Load Store Основу архитектуры любого процессора

64 64 составляет конвейер. Без понимания его работы трудно разобраться в необходимости и порядке Data TLB Store Queue взаимодействия перечисленных выше устройств. (512 entries) Main Data Cache (8 entries) UltraSPARC III имеет 149ступенчатый кон9 Prefetch Cache (64K, 4:way) Write Cache вейер (см. рис. 3). На сегодняшний день это, пожа9 (2K, 4:way) (2K, 4:way) луй, самый длинный конвейер среди серийных процессоров. Почти половина его (6 ступеней) от9 256 водится на подготовку к выполнению команд, 256 Cache Control / DRAM Control bits столько же – на исполнение команд; две послед9 L2 Tags System Interface ние ступени – завершающие. Исполнительная часть конвейера состоит из двух частей: целочисленной и плавающей. Обе 43 bits 256 bits 128 bits 128 bits части имеют одинаковую длину, что упрощает со9 L2 Cache Address Bus Data Bus SDRAM (200 MHz) (150 MHz) (150 MHz) (150 MHz) гласование их работы (позволяет выдавать резуль9 таты вычислений в порядке их запуска на испол9 Рис. 2. Структурная схема микропроцессора нение). Аналогичное решение (выровненные кон9 UltraSPARC III. вейеры целочисленной и плавающей арифмети9 7 Андрей Шадский

Mispredicted takenibranch penalty: 7 cycles Target calculation: 2 cycles Mispredicted fallithruibranch penalty: 3 cycles

Calc PC Fetch1 Fetch2 Target Queue IssueIssue Register Execute

Loadiuse penalty: 1 cycle

Register Address Cache Align Write Extend

Decode Register Fp1 Fp2 Fp3 Fp4 Trap Commit

Float, graphics dependency: 4 cycles

Рис. 3. Конвейер UltraSPARC III.

ки) успешно использовалось в предшествующих лу исполнительных устройств); правда, средневз9 поколениях микропроцессоров UltraSPARC. вешенное число одновременно запускаемых ко9 Большое количество ступеней конвейера, манд равно четырем. по9видимому, объясняется существенным повы9 После выборки команды попадают в буфер шением тактовой частоты процессора. Более ко9 (очередь) команд на 20 элементов (Instruction роткие фазы выполнения позволяют избежать Queue), откуда группами направляются в соответ9 длинных связей на кристалле, которые при столь ствующие исполнительные устройства. Макси9 малых технологических нормах начинают вносить мальное число команд в группе – 6. Все команды заметную дополнительную задержку. Те операции, в группе получают идентификационный код, в со9 которые не вписываются в один такт, как, напри9 ответствии с которым на выходе из конвейера бу9 мер, выборка команд из кэша, разбиваются на бо9 дут сложены их результаты. лее мелкие процедуры и выполняются за 2 такта. Выше уже упоминалось, что время выполне9 Следует отметить еще одну особенность, ния большинства целочисленных команд сущест9 связанную с исполнительной частью целочислен9 венно меньше длины исполнительной части цело9 ного конвейера. Для выполнения целочисленных численного конвейера, и что фиксированная дли9 команд отводится 4 такта, реально на это уходит на конвейера обеспечивает сохранение порядка меньше времени (команды АЛУ выполняются за 1 поступления команд. Однако, это не означает, что такт). Однако, выровненный конвейер позволяет результаты становятся доступны только по дости9 получить на выходе результаты в том порядке, в жению выхода конвейера. На самом деле получен9 котором они поступили на исполнение. ные данные могут быть использованы другими ко9 мандами, находящимися на стадии выполнения, 4.3. Порядок запуска команд уже на следующем такте после получения резуль9 на исполнение тата. Это возможно благодаря наличию рабочего регистрового файла, в котором хранятся все про9 В отличие от многих других современных межуточные результаты вычислений и из которо9 процессоров, использующих механизм произ9 го, по завершению исполнения группы команд, вольного запуска команд на исполнение, то есть эти результаты переписываются в архитектурный не в порядке их расположения в программе, регистровый файл. Таким образом, реальная эф9 UltraSPARC III действует строго по порядку. По ут9 фективность конвейера заметно повышается. верждениям разработчиков, это позволяет сокра9 тить объем логики управления в ядре процессора 4.4. Механизм предсказания (которая при разработке ее топологии требует большого объема ручной работы), что благоприят9 ветвлений но сказывается на быстродействии. Устройство предсказания ветвлений являет9 Таким образом, в новом процессоре, как и в ся непременным атрибутом любого современного его предшественниках, запуск команд на испол9 высокопроизводительного микропроцессора, од9 нение происходит в порядке их расположения в нако, в каждом конкретном случае оно реализова9 программе. Процессор позволяет одновременно но по9своему. Основная задача данного устройства запустить на исполнение до шести команд (по чис9 состоит в сокращении накладных расходов из9за 8 Архитектура процессора UltraSPARC III

Main Memory Main Memory (150 Mhz SDRAM) (150 Mhz SDRAM)

128 2,4 GB/s 128 2,4 GB/s (200 Mhz SDRAM) 256 6,4 GB/s L2 Cache UltraSparci3 UltraSparci3 Processor 600 Mhz 600 Mhz L2 Cache 256 6,4 GB/s (200 Mhz SDRAM)

128 43 43 128

Address Interface

Data Interface (2,4 Gbytes/s)

I/O Graphics

Рис. 4. Пример многопроцессорной системы на основе UltraSPARC III.

нарушений в работе конвейера при ветвлении быстродействие процессора – не самый главный. программ. Если взглянуть на конвейер UltraSPARC Очень многое определяет то, как он взаимодейст9 III (рис. 3), то хорошо видно, сколько придется за9 вует с другими компонентами системы. платить за неправильно предсказанный переход. На рис. 4 приведен пример многопроцес9 Штрафные санкции составят 7 дополнительных сорной системы, реализованной на основе тактов (кстати, у Alpha 21264 – столько же при UltraSPARC III. Рассмотрим и проанализируем не9 меньшей длине конвейера). Есть за что бороться. которые ее детали. Первое, что сразу обращает на При решении данной задачи разработчики себя внимание, это большое количество внешних процессора решили использовать достаточно интерфейсов у процессора. Их три: 1289разряд9 простой одноуровневый механизм (в отличие от ный канал обмена с основной памятью (Main двухуровневого адаптивного механизма в Alpha Memory), 2569разрядный канал обмена с кэш9па9 21264). Он представляет собой таблицу на 16 К мятью второго уровня (L2 Cache) и 1289разрядный значений, содержащую информацию об уже про9 системный интерфейс. исшедших ветвлениях и обеспечивает точность Достаточно очевидно, что такая многошин9 предсказаний на уровне 95% на тестах SPEC95. ная архитектура способствует более эффектив9 Помимо механизма предсказания ветвле9 ной работе многопроцессорной системы в целом. ний в процессоре используется еще и стек адре9 Правда, это новое качество недешево обходится сов возврата на 8 значений, а также очередь по9 (это и дополнительные расходы на разработку но9 следовательных команд (Sequential Instruction вого корпуса с рекордным числом выводов – Queue), которая хранит до четырех команд, следу9 1200, и проблемы повышенного энергопотребле9 ющих за командой ветвления, но соответству9 ния как самого процессора, так и микросхем чип9 ющих альтернативному пути. В случае, когда сета и т.п.). Но, похоже, конечный результат стоит предсказанное ветвление окажется неверным, ко9 того. Рассмотрим подробнее каждый из перечис9 манды из этой очереди сразу направляются на ис9 ленных интерфейсов. полнение, экономя несколько тактов. 4.5.1. Интерфейс с основной памятью 4.5. Особенности реализации Поскольку архитектура процессора подра9 внешних интерфейсов зумевает единоличное владение данной памятью, микропроцессора то есть отсутствие непосредственного доступа к ней со стороны каких9либо других устройств, по9 является возможность достижения максимальной Производительность вычислительной сис9 пропускной способности данного канала, для чего темы зависит от многих факторов, среди которых

9 Андрей Шадский предусмотрен накристальный контроллер памя9 мяти записи (Write Cache). Сразу же отметим, что ти. Такое решение имеет следующие положитель9 кэши имеют различные механизмы обновления: ные стороны. L1 кэш данных – сквозной записи, а кэш запи9 Во9первых, отпадает необходимость в до9 си – отложенный. Далее будет понятно, зачем это полнительных внешних компонентах, то есть нужно. упрощается сопряжение процессора и памяти. Сначала сохраняемая информация записы9 Это к тому же приводит еще и к снижению сто9 вается в очередь. Это происходит во время выпол9 имости. нения команды сохранения. Затем, после завер9 Во9вторых, возрастает пропускная способ9 шения команды, данные записываются в L1 кэш и, ность, поскольку производительность канала за9 одновременно, в кэш записи. При этом, если про9 висит только от параметров памяти. Так, при ис9 исходит непопадание в L1 кэш, то его содержимое пользовании SDRAM с тактовой частотой 150 МГц не обновляется. В противном случае из9за сквоз9 пропускная способность составит 2.4 ГБ/с. ного режима обновления данной кэш9памяти про9 исходило бы постоянное обращение ко вторично9 4.5.2. Канал обмена с L2 кэшiпамятью му кэшу. Таким образом, кэш9память записи как бы дополняет и дублирует L1 кэш, но только в про9 По своей реализации данный канал напоми9 цессе записи. По утверждениям разработчиков, нает описанный выше. Однако, здесь есть ряд использование такой организации канала записи принципиальных особенностей. позволяет сократить трафик на шине вторичной Во9первых, канал имеет более высокую раз9 кэш9памяти на 90%. рядность – 256 бит. На сегодняшний день UltraSPARC III, пожалуй, единственный микро9 4.5.4. Системный интерфейс процессор, имеющий такую широкую шину дан9 ных кэша второго уровня. При использовании ми9 Системный интерфейс по своим характери9 кросхем статической памяти (SRAM), работаю9 стикам аналогичен каналу основной памяти. Из щих на частоте 200 МГц, пропускная способность специфических механизмов, свойственных толь9 данного канала способна достичь 6.4 ГБ/с. И это ко ему, следует отметить поддержку многопроцес9 не предел. сорности (до четырех процессоров в конфигура9 ции с общей шиной и более четырех при иерархи9 Во9вторых, по аналогии с накристальным ческой структуре шин). SDRAM9контроллером канала основной памяти, данный интерфейс имеет накристальную таблицу Подводя итог всему сказанному об органи9 тэгов вторичного кэша. Размер таблицы составля9 зации внешних интерфейсов процессора ет 90 КБ, и этого достаточно для поддержания UltraSPARC III, можно отметить следующее. кэш9памяти объемом до 8 МБ. Во9первых, многошинная структура позво9 Основным достоинством такого решения яв9 ляет легко строить на базе данного процессора ляется то, что работа с таблицей осуществляется на как однопроцессорные, так и многопроцессорные частоте процессора, то есть результат обращения к системы. При этом число процессоров в системе кэшу становится известен гораздо раньше, чем в практически не ограничено (1000 и больше). случае внекристального расположения таблицы тэ9 Во9вторых, использование накристальной гов. Соответственно, при непопадании в кэш про9 логики управления каналами позволяет масштаби9 цедура инициализации обращения к основной па9 ровать их пропускную способность, увеличивая мяти начинается на несколько тактов раньше. Ана9 производительность с ростом рабочей частоты логично обстоит дело и с поддержкой когерентнос9 процессора и появлением более быстрой памяти. ти кэшей в многопроцессорных системах. Перечисленные преимущества отчасти можно отнести и к контроллеру SDRAM, однако, там производительность канала в меньшей степе9 Offichip ни зависит от быстроты работы контроллера. L1 Data Cache 64 64 64 4.5.3. Особенности реализации канала записи в L2 кэшiпамять 256 L2 Cache Prefetch Процедура записи, использованная в Cache UltraSPARC III, может показаться слишком слож9 ной с точки зрения аппаратурной реализации (см. рис. 5), однако, на самом деле это не так. Write Cache Канал записи состоит из трех основных ча9 Store Queue стей: очереди на 8 слов (Store Queue), кэш9памяти данных первого уровня (L1 Data Cache) и кэш9па9 Рис. 5. Канал записи в кэш второго уровня.

10 Архитектура процессора UltraSPARC III В9третьих, структура внешних связей про9 6. Литература цессора позволяет легко сделать на его основе мо9 дификацию для недорогих серверов. 1. UltraSparc93 Aims at MP Servers. – Microprocessor Report, Vol. 11, N 14, Oct 27, 1997. 5. Заключение 2. UltraSPARC on the Road to 1.5 GHz in 2002. – Sun Microsystems, 1998. http://www.sun.com/micro9 Мы рассмотрели некоторые аспекты марке9 electronics/roadmap/. тинговой политики компании Sun Microsystems, 3. Sun Unveils Third Generation UltraSPARC9III ее ближайшие и перспективные планы в области Microprocessor Family. – Sun Microsystems, разработки микропроцессоров, а также особен9 1997. http://www.sun.com/smi/Press/sun9 ности архитектуры нового микропроцессора flash/9710/sunflash.971006.1.html. UltraSPARC III, с которым многие из этих планов 4. Sun Targets Embedded Communications Market тесно связаны. With 649bit UltraSPARC IIe. – Sun Microsystems, При описании архитектуры процессора 1999. http://www.sun.com/smi/Press/sun9 упор был сделан на особенности его организации, flash/9905/sunflash.990504.3.html. которые позволяют данному изделию успешно 5. Sun Unveils Comprehensive SPARC Roadmap. – конкурировать с продукцией других компаний. Sun Microsystems, 1998. http://www.sun.com/ В заключение хотелось бы отметить, что, не9 smi/Press/sunflash/9809/sunflash.980901.1.html. смотря на задержку в появлении, процессор име9 6. Sun aims at Intel's Merced. – CMPnet, Issue 1125, ет очень хорошие шансы на успех. Причин тому Sept. 07, 1998. http://www.techweb.com/. две. Во9первых, характеристики UltraSPARC III 7. Silicon Graphics Detail MIPS Road Map. – очень хороши как по нынешним меркам, так и по http://www.techweb.com/. меркам ближайшего будущего. Во9вторых, мно9 гие конкуренты слишком поздно среагировали на 8. HP Moves Slowly On Merced Migration. – изменение ситуации в области высокопроизводи9 http://www.techweb.com/. тельных микропроцессоров. 9. http://www.sun.com/microelecronics/.

Новости Интернет Новые рекорды ционной платформой во всех случаях служила ОС Solaris 7). В конфигурации «клиент/сервер» производительности использовались два 649процессорных сервера, на одном из которых выполнялось ПО Oracle8i Компания Sun Microsystems приучила всех v8.1.5.2, на другом – приложение, загружавшее к постоянному обновлению таблицы рекордов процессоры на 98%. Данные располагались на производительности для больших корпоратив9 дисковом массиве Sun StorEdge A5200. ных приложений. Обычно в качестве рекордсме9 Впечатляют коэффициент многопроцес9 нов выступает знаменитая пара: сервер Sun сорности, достигнутый компанией, эффектив9 Enterprise 10000 и дисковый массив Sun StorEdge ность функционирования SMP9конфигураций, A5000 или его производные. сбалансированность показателей производи9 Новое обновление не заставило себя долго тельности для всех компонентов. Серверы Sun и ждать. 8 июля 1999 года было объявлено сразу о устройства хранения являются действительно двух рекордах производительности для системы масштабируемыми, они способны предоставить планирования корпоративных ресурсов Baan исключительную вычислительную мощь, причем Enterprise Resource Planning (см. не в «сыром» виде, а в том, который способны ре9 http://www.sun.com/smi/Press/sunflash/9907/ ально использовать корпоративные приложения. sunflash.99078.1.html). Измерения производились на тесте Baan IV по метрике одновременно под9 держиваемых пользователей (Baan Reference Users, BRUs). Тестировались две конфигурации – «хост» и «клиент/сервер», поскольку в реаль9 ной практике обе находят применение. Соответ9 ственно, и рекордов получилось два. В конфигурации «хост» работал 10000 с 369ю процессорами и про9 граммным обеспечением Oracle8i v8.0.5 (опера9

11 Решения компании Sun Microsystems для шины CompactPCI Павел Анни

СОДЕРЖАНИЕ

1. Роль стандартов ...... 13

2. CompactPCI как стандарт для промышленных и телекоммуникационных систем...... 13

3. Аппаратная и программная архитектура встроенных систем с шиной CompactPCI.....13

4. Аппаратные продукты Sun для шины CompactPCI ...... 14

4.1. SPARCengine CP1500 4.2. SPARCengine CP1400 5. Заключение ...... 16 двух стандартов: PCI, известного по настольным системам, а также хорошо зарекомендовавшего себя в области промышленных применений стан9 1. Роль стандартов дарта «Евромеханика». CompactPCI предусматривает архитектуру с Слово «стандарт» является ключевым для со9 пассивной соединительной панелью, в которую ус9 временных информационных технологий. Обычно, танавливается до восьми плат (против четырех для рассматривая роль стандартов, обращают внима9 обычного PCI). Эти платы выполнены в стандарте ние, прежде всего, на взаимную совместимость (ин9 евромеханики с размерами 100 на 160 мм (так назы9 тероперабельность) решений разных производите9 ваемый формат 3U) или 233.35 на 160 мм (формат лей. Однако, не менее важным вопросом является 6U). Платы CompactPCI монтируются в стандартные сокращение сроков разработки информационных стойки для телекоммуникационного оборудования систем и их компонентов, возможное благодаря в вертикальном положении, что способствует луч9 унификации способов и средств разработки, стан9 шей естественной и принудительной вентиляции. дартизации интерфейсов, наличию готовых, наст9 раиваемых решений, способных удовлетворить по9 Стандарт CompactPCI определяет ряд мер, на9 требности различных категорий заказчиков. правленных на мягкую установку и надежное за9 крепление плат, устойчивость к ударам и вибрации, Важно подчеркнуть, что сокращение сроков что важно для промышленных систем. Кроме того, разработки новых продуктов, разумеется, должно обеспечивается удобство обслуживания и, как след9 происходить без снижения качества. К сожале9 ствие, минимизируется время ремонтных процедур. нию, на практике так получается не всегда. Жела9 ние обогнать конкурентов, расширить «свою» до9 Программная совместимость с PCI дает воз9 лю рынка толкает на выпуск сырых, плохо отла9 можность вести разработки программного обес9 женных систем. Если же система строится на ос9 печения для CompactPCI на обычных настольных нове стандартов и стандартных компонентов, объ9 системах, в привычном окружении. Впрочем, в ем новых аппаратуры и программ, количество но9 настоящее время существует широкий выбор вых связей минимизируется, что позволяет выпол9 удобных средств кросс9разработки, где в качестве нять в сжатые сроки не только собственно разра9 инструментальной используется, как правило, ботку, но и качественное тестирование. платформа SPARC/Solaris. Еще одна важная функция стандартов со9 Стандарт CompactPCI, несомненно, являет9 стоит в защите систем от морального старения. ся жизнеспособным, развиваемым. Он гарантиру9 Продуманные, отработанные спецификации изна9 ет высокую пропускную способность по вво9 чально строятся в расчете на перспективу, на нара9 ду/выводу (132 МБ/сек при частоте 33 МГц и раз9 щивание количественных и качественных харак9 рядности 32; стандарт предусматривает рост этого теристик; эти свойства передаются и продуктам, значения за счет увеличения разрядности до 64) и созданным на основе подобных стандартов. плотность расположения компонентов, наращи9 вание числа устанавливаемых плат за счет приме9 Стандарты аккумулируют в себе требова9 нения микросхем9мостов. Один из подкомитетов ния определенных предметных областей. Такие PICMG специфицировал поддержку горячей области, как промышленные применения и теле9 замены плат (существенное требование для про9 коммуникации, предъявляют дополнительные мышленных и телекоммуникационных систем). требования к аппаратуре в части ее конструктив9 ного исполнения (модульность, стойкость к про9 Широкая поддержка стандарта CompactPCI мышленным воздействиям – вибрации, ударам и ведет к наличию большого числа готовых решений, т.п., хороший теплоотвод). что помогает минимизировать время изготовления новых систем. Большие объемы производства спо9 На наш взгляд, все перечисленные достоин9 собствуют снижению цен на модули для CompactPCI. ства присущи стандарту CompactPCI, разработан9 ному группой PICMG (PCI Industrial Computer Рынок систем CompactPCI быстро и устой9 Manufacturers Group), в которую входят более 450 чиво развивается. Ожидается, что в 2001 году он компаний – производителей промышленных и перешагнет рубеж в 1 миллиард долларов. телекоммуникационных систем. 3. Аппаратная и программная 2. CompactPCI как стандарт архитектура встроенных систем для промышленных и с шиной CompactPCI телекоммуникационных систем Обычно системы в стандарте CompactPCI Стандарт CompactPCI распространяется на представляют собой набор одноплатных модулей. электрический, логический и программный уров9 Часть модулей функционирует в режиме жесткого ни. Его можно рассматривать как объединение реального времени, обеспечивая управление, поддер9 13 Павел Анни живая коммуникации и т.п.; другие модули могут вы9 спектра CompactPCI9систем – от аппаратных мо9 полнять координирующие действия, реализовывать дулей до операционных систем и прикладных (графический) диалог с оператором, то есть функци9 компонентов. Мы ограничимся рассмотрением онировать в режиме мягкого реального времени (см. аппаратных аспектов, поскольку именно они спе9 рис. 1). При наличии повышенных требований к го9 цифичны для CompactPCI. товности часть модулей может дублироваться. Семейство модулей SPARCengine CP, пред9 В качестве программной платформы моду9 назначенных для использования в системах лей CompactPCI9систем используются ОС реаль9 CompactPCI, состоит в настоящее время из трех ного времени (такие как VxWorks компании Wind продуктов: River Systems или ChorusOS Sun Microsystems) или • плата SPARCengine CP1500 с процессором универсальные ОС, такие как Solaris. UltraSPARC IIi; Выбор архитектуры систем, включающих в • плата SPARCengine CP1400 также с процессо9 себя модули с существенно разными функциями ром UltraSPARC IIi; и, соответственно, требованиями, является слож9 • плата SPARCengine CP1200 с процессором ным, прежде всего, с психологической точки зре9 microSPARC IIep. ния. Обычно разработчикам хочется оставаться в Краткие сведения о микропроцессорах рамках одной программной платформы, которая в UltraSPARC IIi и microSPARC IIep можно найти в таком случае оказывается операционной систе9 разделе «Стратегия компании на ближайшие не9 мой реального времени (ОС РВ). На ОС РВ возла9 сколько лет» статьи А. Шадского «Архитектура гаются такие несвойственные ей функции, как процессора UltraSPARC III», помещенной в этом поддержка графического диалога с оператором, же номере Jet Info. взаимодействие с базами данных и т.п. В качестве операционной системы для На наш взгляд, для подобных конфигура9 SPARCengine CP может использоваться Solaris, ций предпочтительнее воспользоваться архитек9 что позволяет получить полностью 649разрядное турой клиент/сервер, устанавливая на каждый решение с большим числом готовых приложений. модуль ту ОС, которая наиболее естественным На SPARCengine CP портированы ОС реального образом выполняет необходимые функции. времени ChorusOS и VxWorks, занимающие веду9 SPARC/Solaris – идеальная платформа для коор9 щие позиции в своем классе. динирующих модулей, обладающая высокой про9 изводительностью и достаточной реактивностью, Далее мы детально рассмотрим платы не говоря уже о богатстве возможностей. SPARCengine CP1500 и SPARCengine CP1400, но перед этим позволим себе несколько замечаний о Для модулей жесткого реального времени роли процессоров UltraSPARC в телекоммуника9 могут использоваться аппаратные продукты, ко9 ционных системах. торые мы рассмотрим в следующем разделе. Современным телекоммуникационным си9 стемам, в развитии которых очевидна тенденция к 4. Аппаратные продукты Sun быстрому расширению спектра предоставляемых для шины CompactPCI услуг, необходимо сочетание универсальных и специализированных процессоров, прежде всего, Компания Sun Microsystems способна пред9 цифровых процессоров сигналов (DSP). Истори9 ложить полное решение при создании широкого чески, однако, сложилось так, что мир DSP оказал9

n Управляющее приложение использует среду SPARC/Solaris Управляющий Модули для приложений модуль жесткого реального времени

n SPARCengine CP

Система мягкого реального Система жесткого реального времени времени – (встроенный) Solaris – Chorus, VxWorks ... с богатыми возможностями и приложениями сторонних разработчиков

Рис. 1. Типовая архитектура систем в стандарте CompactPCI. 14 Решения компании Sun Microsystems для шины CompactPCI ся обособленным, со своими операционными сис9 На SPARCengine CP1500 располагаются две темами (а часто и без каких9либо ОС), со специ9 внутренние шины PCI с тактовой частотой фическими средствами разработки (зачастую – с 33 МГц, гарантирующие высокую эффективность программированием в кодах) и т.п. Желание вы9 подсистемы ввода/вывода, в состав которой вхо9 жать максимум производительности для DSP дят интерфейс Ultra9Wide SCSI92 с пропускной впрямую противоречит скорости разработки. способностью 40 МБ/с, двухканальный 10/100 Дополнительный набор команд поддержки Ethernet и другие традиционные компоненты. Од9 мультимедиа (VIS), реализованный в микропро9 на из внутренних шин используется для подклю9 цессорах UltraSPARC, покрывает большинство чения внешних интерфейсов, а вторая выходит функций, традиционно возлагаемых на цифровые через мост на шину CompactPCI. процессоры сигналов. Это дает надежду на сбли9 Среди достоинств SPARCengine CP1500 вы9 жение операционных сред и средств разработки делим следующие: для универсальных и DSP9процессоров, что сулит • сочетание однослотовой конструкции с вы9 огромный выигрыш и по времени разработки, и числительной мощью и большим объемом па9 по затрачиваемым ресурсам. мяти, наличие дополнительных команд под9 4.1. SPARCengine CP1500 держки мультимедиа (VIS); • высокая пропускная способность по вво9 Плата SPARCengine CP1500 принадлежит к ду/выводу; числу высокопроизводительных продуктов для • типоразмеры, стандартные для промышлен9 CompactPCI, являясь 649разрядной и с аппарат9 ных и телекоммуникационных систем; ной, и с программной точек зрения. Ее аппаратная схема приведена на рис. 2. • двоичная совместимость с компьютерами Sun. Ключевым элементом SPARCengine CP1500 SPARCengine CP1500 может применяться в является процессор UltraSPARC IIi. На момент на9 гражданских и военных системах, в том числе в писания статьи максимальная доступная тактовая системах жесткого реального времени. частота составляла 333 МГц; согласно материалам 4.2. SPARCengine CP1400 компании, в ближайшее время ожидается ее уве9 личение до 425 МГц. SPARCengine CP1400 (см. рис. 3) можно рас9 На плате может быть установлено до двух сматривать как вариант SPARCengine CP1500, оп9 мезонинных модулей ECC9памяти. Емкость одно9 тимизированный по параметру производитель9 го модуля – от 64 до 512 МБ. Соответственно, об9 ность/стоимость. Тактовая частота процессора щий объем оперативной памяти может достигать UltraSPARC IIi в данном случае составляет 1 ГБ. Кроме того, доступна флэш9память (до 8МБ) 300 МГц. На плате размещается 64 МБ оператив9 и память для начального загрузчика (1 МБ).

Внешний кэш Мезонинные модули памяти

Буферы

UltraSPARCiIIi 72iбит

144iбит

33 МГц DRAM DRAM Трансиверы 32iбит PCI 33 МГц Ethernet MII 32iбит PCI R APB PCIO RIC R TPE 33 МГц F 32iбит PCI Клавиатура SCSI R Super FDD Мост PCIiPCI TOD I/O R

Флэшiпамять R 32iбит CPCI Параллельный Датчики интерфейс RR R R F Последовательный интерфейс R – на задней панели F – на передней панели

Рис. 2. Аппаратная схема платы SPARCengine CP1500. 15 Внешний кэш

Addr/CNTLs

Буферы DRAM DRAM

UltraSPARCiIIi DRAM DRAM 144iбит 64 MBпамяти на плате DRAM DRAM 33 МГц Мезонинные модули памяти Трансиверы 32iбит PCI Ethernet MII 33 МГц R 32iбит PCI Fast Ethernet APB RIC & EBus R TPE 33 МГц F 32iбит PCI EBus Клавиатура SCSI R Super FDD Мост PCIiPCI TOD I/O R

Флэшiпамять R 32iбит CPCI Параллельный Следящие интерфейс RRтаймеры R R F Последовательный интерфейс R – на задней панели F – на передней панели

Рис. 3. Аппаратная схема платы SPARCengine CP1400. ной памяти. Этот объем может быть увеличен до Представленные на выставке разработки 832 МБ за счет мезонинных модулей. компаний Telesoft Design, Westek, Intraserver В SPARCengine CP1400 оставлен один канал Technology и Znyx Corp. подтвердили прочные по9 10/100 Ethernet, несколько уменьшена по сравне9 зиции Sun в области услуг телефонии, обладаю9 нию с SPARCengine CP1500 суммарная пропуск9 щих важнейшим качеством высокой готовности. ная способность подсистемы ввода/вывода. В ре9 Была продемонстрирована первая в мире зультате удалось на треть и более снизить стои9 CompactPCI9платформа для разработки SMS9ре9 мость платы, оставшись на достаточно высоком шений (служба коротких сообщений) для мобиль9 уровне производительности. ной связи. Очень полезен для программирования сис9 тем жесткого реального времени следящий таймер 5. Заключение (Watchdog Timer), присутствующий в SPARCengine CP1400. Он помогает контролировать длительность Когда речь идет о разработках компании критически важных операций и, в случае превыше9 Sun Microsystems, неизменно отмечаются такие ния лимита, выполнять необходимые действия характеристики, как комплексность, высокое ка9 вплоть до перезагрузки системы. чество и следование стандартам. Этими характе9 Следует еще раз подчеркнуть, что для одно9 ристиками в полной мере наделены продукты Sun платных компьютеров семейства SPARCengine CP для CompactPCI. На наш взгляд, данное направле9 имеются мощные средства разработки (в том чис9 ние заслуживает самого пристального внимания ле кросс9средства), предлагаемые как самой Sun со стороны отечественных заказчиков и произво9 Microsystems, так и другими компаниями (напри9 дителей комплектного оборудования. Продукты мер, Wind River Systems). Заказчики вольны выби9 Sun позволяют создавать решения различного рать операционную платформу и для любой из них класса для разных прикладных областей, но все9 они смогут быстро и с удобствами разрабатывать гда в основе этих решений будет лежать экономи9 приложения. Это еще раз доказала состоявшаяся в ческая целесообразность, интероперабельность, Хельсинки 21924 июня 1999 года выставка VON возможность развития. Europe'99 (VON – передача голоса по сети).

Главный редактор: Галатенко В.А. ([email protected]) Технический редактор: Антонов А.Н. ([email protected]) Россия, 103006, Москва, Краснопролетарская, 6 тел. (095) 972 11 82, 972 13 32 ИНФОРМАЦИОННЫЙ БЮЛЛЕТЕНЬ факс (095) 972 07 91 Издается с 1995 года email: [email protected], http://www.jetinfo.com Издатель: компания Джет Инфо Паблишер Подписной индекс по каталогу Роспечати 32555 Полное или частичное воспроизведение материалов, содержащихся в настоящем издании, допускается только по согласованию с издателем