338 TECHNICAL SCIENCES (05.02.00, 05.13.00, 05.17.00, 05.23.00) УДК 004.94/ 519.612 МЕТОДЫ РЕШЕНИЯ СЛАУ В КОНЕЧНО-ЭЛЕМЕНТНЫХ ПРОГРАММНЫХ КОМПЛЕКСАХ, МОДЕЛИРУЮЩИХ ДЕФОРМАЦИИ ТВЁРДЫХ ТЕЛ Халевицкий Ю.В., Коновалов А.В. ФБГУН «Институт машиноведения» УрО РАН, Екатеринбург, e-mail: [email protected]

При моделировании деформации твердых тел методом конечных элементов наибольшая доля вычисли- тельных ресурсов затрачивается на решение систем линейных алгебраических уравнений (СЛАУ). В данной обзорной статье собрана и обобщена информация о применяемых в конечно-элементных программных ком- плексах методах решения СЛАУ. Рассматриваются только комплексы, предназначенные для моделирования деформаций твёрдых тел. Данная информация может быть использована при проектировании новых конеч- но-элементных кодов, а также при выборе конечно-элементного комплекса для решения прикладных задач. Приводится анализ состояния проблемы, выделены наиболее распространённые подходы к организации вычислительного процесса при решении СЛАУ. Библиографический список содержит источники для даль- нейшего ознакомления с внутренним устройством конечно-элементных программных комплексов, а также с самими методами решения СЛАУ.

Ключевые слова: программные комплексы, СЛАУ, метод конечных элементов, моделирование деформации твёрдого тела

LINEAR SOLVERS IN SOLID MECHANICS FINITE ELEMENT ANALYSIS SOFTWARE Khalevitskiy Y.V., Konovalov A.V. Institute of Engineering science UB RAS, Yekaterinburg, e-mail: [email protected]

When the fi nite element method (FEM) is applied to solid mechanics, a large, sparse linear algebraic system is obtained from problem discretization. Typical FEM software spends most of its computational resources to solve it. This survey contains information on linear solvers supplied by FEM software manufacturers to their users. We consider only FEM software designed to simulate solids deformation. Our considerations can be used to make decisions while choosing FEM software or even developing a new one. We propose analysis of linear solvers implementations in modern FEM software and emphasize most used techniques. Bibliography can be used for further studies in fi eld of FEM software and linear solvers themselves.

Keywords: software, systems of simultaneous linear equations, FEM, FEA, solids simulation

В настоящее время активно использу- методов решения СЛАУ, предобуславлива- ются конечно-элементные программные телей, написания параллельного и векто- комплексы (КЭПК) для моделирования де- ризованного кода, а также задействования формации твердых тел методом конечных вычислительных ускорителей. Наиболее элементов (МКЭ). Применение МКЭ по- затратные в вычислительном плане задачи рождает системы линейных алгебраических решают с использованием специальных вы- уравнений (СЛАУ) большой размерности, числительных устройств коллективного до- которые необходимо решать в процессе ступа, таких как мощные серверы и супер- расчёта. Матрицы таких систем, называе- компьютеры. мые матрицами жёсткости, обладают рядом Современные КЭПК оснащаются на- свойств, зависящих от структуры и количе- бором реализаций методов решения СЛАУ. ства узлов конечно-элементной сетки, а так- Широкая номенклатура реализаций объ- же характера задачи. Эти матрицы в зна- ясняется тем, что каждая из них подходит чительной степени разрежены, обладают для использования только с определённым симметричным портретом, а также блочной классом задач или для определённой вычис- структурой. лительной системы. Следуя англоязычной Для одновременного применения сеток терминологии, набор программ, выполняю- с большим количеством узлов и сложных щий наиболее требовательные к производи- моделей материалов необходимо использо- тельности операции в ходе решения задачи, вать специальные подходы, позволяющие в данной работе будем называть «решате- сократить время решения задачи до при- лем» (англ. «Solver», иногда в русскоязыч- емлемого уровня. Как правило, для этого ной литературе встречается транслитерация используется целый ряд приёмов, включая «Солвер»). Разработка эффективного реша- применение современных математических теля для каждой из новых вычислительных FUNDAMENTAL RESEARCH № 8, 2015 ТЕХНИЧЕСКИЕ НАУКИ (05.02.00, 05.13.00, 05.17.00, 05.23.00) 339 систем требует значительных усилий по того чтобы предотвратить чрезмерное раз- проектированию архитектуры, созданию растание списка литературы, ссылки на ори- эффективного программного кода, а также гинальные статьи, описывающие методы, проведения вычислительных эксперимен- по возможности не приводятся. Получить тов. Производители конечно-элементного более подробную информацию о методах программного обеспечения порой стремят- можно с помощью приводных библиогра- ся скрыть детали реализации собственного фических списков. продукта от конкурентов, тем самым делая Прямые методы решения СЛАУ [14]: результаты внутренних исследований недо- Разложение Холецкого, LDLT-разложение ступными для научного сообщества. Фраг- и LU-разложение. ментарная информация о реализации мето- Итерационные методы решения дов решения СЛАУ содержится в научных СЛАУ [32, 11]: публикациях и технических докладах раз- ● SSOR (англ. «Symmetric successive работчиков, озвучивается при выступлени- over-relaxation») – метод симметричной по- ях на конференциях или публикуется в ру- следовательной верхней релаксации. ководствах пользователя КЭПК. ● CR (англ. «Conjugate Resudual») – ме- Данная статья обобщает и систематизи- тод сопряжённых невязок. рует подобную информацию, позволяя чи- ● CG (англ. «Conjugate Gradient») – ме- тателю оценить состояние проблемы, а так- тод сопряжённых градиентов. же выделяет наиболее часто используемые ● CGS (англ. «Conjugate Gradient подходы к решению СЛАУ в КЭПК. Squared») – квадратичный метод сопряжён- ных градиентов. Решатели в конечно-элементных ● BiCG (англ. BiConjugate Gradient) – программных комплексах Метод бисопряжённых градиентов. Можно выделить несколько характерных ● BiCGStab (англ. «BiConjugate Gradient особенностей, которые позволяют классифи- Stabilized») – стабилизированный метод би- цировать решатели. К ним относится приме- сопряжённых градиентов. няемый метод решения СЛАУ, вычислитель- ● GMRES (англ. «Generalized Minimal ная система, а также структура данных для Residual») – обобщённый метод минималь- представления матрицы жёсткости. ных невязок. Выделяют прямые и итерационные ме- ● FGMRES (англ. «Flexible GMRES») – тоды решения СЛАУ [2]. Прямые методы разновидность обобщённого метода мини- используют метод Гаусса, выраженный че- мальных невязок. рез факторизацию матрицы коэффициентов ● TFQMR (англ. «Transpose-Free Quasi- СЛАУ, а итерационные методы строят ряд Minimal Residual») – метод квазиминималь- приближений к решению системы. ных невязок. При использовании точной арифмети- Методы предобуславливания, основан- ки прямые методы дают точное решение ные на неполных разложениях [32, глава 10]: СЛАУ. Компьютерное представление чисел ● ILU (англ. «Incomplete LU») – непол- с плавающей точкой порождает зависящие ное LU-разложение по общей схеме. от значений элементов матрицы ошибки, ● ILU(k) – неполное LU-разложение для уменьшения которых применяются спе- с контролем заполнения. циальные арифметические методики. Ите- ● ILU(0) (англ. «Zero Fill-in ILU») – не- рационные методы дают приближение к ре- полное LU-разложение без заполнения. шению даже в точной арифметике, при этом ● ILUT (англ. «Incomplete LU with скорость сходимости ряда приближений treshold») – неполное LU-разложение с кон- сильно зависит от числа обусловленности тролем порогового значения. матрицы СЛАУ. Для ускорения сходимости ● IC – неполное разложение Холецкого. методов часто используют предобуславли- Библиотеки для решения СЛАУ вание [32], в ходе которого явно или неявно строится приближение матрицы, обратной 1. PARDISO к матрице коэффициентов СЛАУ. Используемые алгоритмы, а также мно- гие детали реализации данной библиотеки Методы решения СЛАУ описаны в научной литературе и руковод- и предобуславливания стве пользователя [33]. Библиотека исполь- В данном разделе приводятся встреча- зует различные методы в зависимости от ющиеся в тексте статьи методы решения характеристики системы. В частности, для СЛАУ и предобуславливания, а также даны симметричных положительно определён- ссылки на источники, описывающие соот- ных матриц используется разложение Хо- ветствующий метод. Для некоторых мето- лецкого, для симметричных матриц общего дов приводятся принятые сокращения. Для вида – LDLT-разложение, для симметричных ФУНДАМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ № 8, 2015 340 TECHNICAL SCIENCES (05.02.00, 05.13.00, 05.17.00, 05.23.00) матриц – LU-разложение. Для всех матриц ванных алгоритмов монографию [28] и рас- выполняется сложная предобработка, вклю- крывают конкретные алгоритмы. Первые чающая перестановки и масштабирование реализации прямого решателя были раз- элементов, при этом возможно использова- работаны внутри компании, однако с нача- ние структурной симметрии несимметрич- ла 2000-х годов используется библиотека ной матрицы. BCSLIB. Решатели работают на системах Помимо версии библиотеки для систем с общей и распределённой памятью, под- с общей памятью существует реализация держивают ускорители. для систем с распределённой памятью, ос- Первым итерационным решателем, по- нованная на MPI. ставляемым конечным пользователям, был В 2006 году компания Intel начала раз- решатель, обозначаемый авторами ANSYS, рабатывать собственный вариант данной как JCG (a Jacobi preconditioned conjugate библиотеки, называемой Intel PARDISO или gradient solver) [29]. Руководство пользова- Intel MKL PARDISO [19]. Варианты библи- теля рекомендует использовать этот реша- отеки несколько отличаются функциональ- тель для задач с маленькими числами об- ными возможностями. условленности (англ. «well-conditioned»). 2. BCSLIB, BCSLIB-EXT и MUMPS По всей видимости, этот решатель сочета- BCSLIB является коммерческой разра- ет в себе итерационный метод крыловско- боткой корпорации Boeing [1]. Не следует го типа и предобуславливатель Якоби. Для путать данную библиотеку с другой библио- симметричных матриц существует реализа- текой со сходным названием, BCSLIB-EXT. ция решателя для нескольких графических Библиотека BCSLIB-EXT разрабатывает- ускорителей [12], причём ускоритель ис- ся компанией Access Analytics International пользуется только для выполнения умноже- и имеет реализацию для графических уско- ния матрицы на вектор. рителей со сходным интерфейсом, называе- Кроме решателя JCG вместе с ANSYS мую BCSLIB-GPU [27]. поставляется решатель PCG, также ранее BCSLIB-EXT включает в себя реализа- называемый ANSYS PowerSolver. Авто- ции прямых методов, основанных на LU- ры программы расшифровывают эту аб- разложении, разложении Холецкого, LDLT- бревиатуру как «Preconditioned Conjugate разложении, алгоритмы предобработки Gradient». Данный решатель лицензируется матрицы [15]. ANSYS другой корпорацией: Computational Библиотека MUMPS предназначена для Applications and System Integration, Inc. Ре- решения СЛАУ на параллельных системах шатель PCG работает только с симметрич- с общей и распределённой памятью [22]. ными матрицами, однако позволяет решать Используются LU- и LDLT-разложения задачи с большими числами обусловленно- вместе со сложной фазой предобработки, сти. Для решения СЛАУ с матрицами наи- описанной в документации. Библиотека более общего вида вместе с ANSYS постав- имеет возможность использовать внеш- ляется решатель ICCG (Incomplete Cholesky нюю память. Conjugate Gradient). Он позволяет решать СЛАУ с симметричными и несимметрич- Конечно-элементные программные ными матрицами. Детали реализации дан- комплексы ного решателя принципиально не публику- 1. ANSYS ются [20]. Авторы работы [29] полагают, что Конечно-элементный программный в данном решателе задействуется несколько комплекс ANSYS является одним из старей- различных итерационных методов с общим ших существующих конечно-элементных обозначением. В частности, кроме метода программных комплексов общего назна- CG с IC-предобуславливателем они сооб- чения. В поставку системы ANSYS входят щают об использовании методов GMRES, несколько прямых и итерационных реша- BiCG (нестабилизированная версия) и ILU- телей. Используемые алгоритмы частично предобуславливатель. раскрываются в поставляемом вместе с до- 2. NASTRAN кументацией к комплексу справочнике по NASTRAN является одним из старей- теоретическим основам [38] (англ. «Theory ших программных комплексов конечно-эле- Reference for the Mechanical APDL and ментного анализа. Существует множество Mechanical Applications»). версий данного конечно-элементного комл- Функциональность прямых решателей плекса, при этом вместе с различными вер- типична для библиотечных реализаций, сиями поставляются различные решатели. основанных на факторизации матрицы: ис- Помимо оригинальной версии MSC пользуется LU-разложение или разложение NASTRAN, известны Autodesk NASTRAN Холецкого с предобработкой. Разработчики (бывший NEi NASTRAN) и NX NASTRAN (яв- указывают в качестве источника использо- ляющийся частью Siemens PLM Software) . FUNDAMENTAL RESEARCH № 8, 2015 ТЕХНИЧЕСКИЕ НАУКИ (05.02.00, 05.13.00, 05.17.00, 05.23.00) 341 Используемые в комплексе MSC мый SolverSoft. Последний использует оп- NASTRAN методы описаны в руководстве тимизацию ширины ленты, работает с по- пользователя [21]. Прямые решатели осно- ложительно определёнными матрицами ваны на LU- и LDLT-разложениях и поддер- и использует факторизацию. Итерационный живают графические ускорители, а также решатель может использовать стабилизиро- распределённые системы. Кроме этого, ком- ванный и обычный метод бисопряжённых плекс включает два итерационных решателя, градиентов, а также обобщённый метод ми- основанных на методе CG, при этом один из нимальных невязок. В качестве предобус- них использует матрицы в явном виде, а вто- лавливателей можно использовать метод ре- рой реализует поэлементный подход. лаксаций (SSOR), неполное LU-разложение Используемые в NX NASTRAN мето- с нулевым заполнением (ILU(0)) и диаго- ды решения СЛАУ описаны в руководстве нальное масштабирование. пользователя [25]. Набор прямых методов 4. Abaqus FEA включает в себя LU-разложение, разложе- Abaqus имеет два решателя, не относя- ние Холецкого, LDLT-разложение с предо- щихся к частотному анализу [7]. Один из бработкой для уменьшения заполненности решателей использует прямой метод реше- факторизации. Используются методы CG, ния СЛАУ, а другой – итерационный. CR и BiCG. Для предобуславливания ис- Некоторые детали реализации можно пользуется метод Якоби, IC. Методы сгруп- извлечь из руководства пользователя [5]. пированы в три группы реализаций, на- Прямой решатель («direct linear equation зываемых в руководстве [24] решателями. solver») использует прямой, разреженный Первый из них объединяет прямые методы, вариант метода Гаусса. Прямой решатель второй использует многосеточный метод, имеет варианты для систем с распреде- третий является коммерческой реализацией лённой памятью, при этом используется итерационного метода, называемый автора- MPI. Кроме этого, существует версия для ми «3D-iterative solver». графических ускорителей, разработан- Вместе с Autodesk NASTRAN постав- ная Acceleware Corporation. Позднее вер- ляется несколько решателей [23]: PCGLSS сия была портирована на гетерогенный Solver, VIS Solver, PSS Solver и VSS Solver. кластер [8]. PCGLSS Solver использует прямой или ите- Прямой решатель может работать рационный метод решения СЛАУ в зави- с симметричными и несимметричными симости от задачи. При решении итераци- матрицами, причём начиная с версии 6.13 онным методом используются специально графические ускорители могут быть ис- разработанный предобуславливатель, ис- пользованы и для несимметричных ма- пользующий информацию о типе конечного триц. Итерационный решатель использует элемента. В качестве итерационного метода метод подпространств Крылова с предо- выступает метод сопряжённых градиентов. буславливателем [6]. Авторам не удалось VIS Solver может работать с матрицами найти информацию об ускорении итера- самого общего вида, в том числе и не явля- ционного решателя с помощью графиче- ющимися положительно определёнными, ских ускорителей. а также имеющими высокое число обуслов- 5. DEFORM3D ленности («ill-conditioned»). Решатели PSS Данный программный комплекс спе- Solver и VSS Solver используют прямые ме- циально предназначен для моделирования тоды решения СЛАУ. больших пластических деформаций в ин- 3. Autodesk simulation женерных задачах. Частичная информация Помимо встроенного в САПР компа- об используемых в пакете решателях описа- нии Autodesk Nastran существует ещё один на в руководстве пользователя [16]. комплекс конечно-элементного анализа, КЭПК позволяет по отдельности вы- принадлежащий Autodesk. Информация бирать метод для решения СЛАУ, возника- об используемых методах решения СЛАУ ющих в задачах теплопереноса и деформа- содержится в руководстве пользовате- ции. Для моделирования механики можно ля [10]. Комплекс включает четыре реша- использовать прямой метод или методы CG теля, включая три прямых и один итера- и GMRES. Параллелизм достигается с по- ционный. К прямым решателям относятся мощью MPI. «Banded Solver», «Skyline Solver» и «Sparse 6. QFORM3D Solver». Первые два решателя использу- В руководстве пользователя [30], содер- ют внутренний алгоритм для оптимизации жащем отдельный раздел по теоретическим ширины ленты матрицы. Третий решатель основам решения задач предметной обла- представляет собой интерфейс для внеш- сти, сообщается, что СЛАУ при моделиро- них библиотек решения СЛАУ, в частности вании деформаций решаются прямым мето- BCSLIB-EXT и PVSS [26], разрабатывае- дом с учётом разреженности матриц. ФУНДАМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ № 8, 2015 342 TECHNICAL SCIENCES (05.02.00, 05.13.00, 05.17.00, 05.23.00) 7. COMSOL Multiphysics пряжённых градиентов из библиотеки Несколько менее известным коммерче- MUMPS, а также решатели библиотеки ским программным комплексом конечно- PETSc [3]. В качестве предобуславливате- элементного анализа является COMSOL ля используется неполное LU-разложение Multiphysics. Данный конечно-элемент- с ограничением на ширину ленты (ILU(k)). ный программный комплекс поставляет- Кроме этого, комплекс включает в себя ре- ся с несколькими решателями [35]. По- шатель, называемый авторами гибридным. ставляемые прямые решатели основаны 11. Elmer на LU-разложении и взяты из несколь- Конечно-элементный программный ких известных библиотек: MUMPS, Intel комплекс Elmer разрабатывается финским PARDISO, а также из SPOOLES [36]. Все научным сообществом и является бесплат- решатели могут работать на гомогенных ным программным обеспечением с откры- системах как с общей, так и с распреде- тым исходным кодом. Документации по лённой памятью. Итерационные решатели решению СЛАУ посвящена отдельная глава основаны на распространённых итерацион- руководства пользователя [31]. Используе- ных методах решения СЛАУ, таких как CG, мый по умолчанию прямой метод основан GMRES, BiCGStab и FGMRES. на процедурах библиотеки LAPACK [9] 8. Fidesys для ленточных матриц. Также имеется ин- Российская компания «Фидесис» была терфейс для решателя Umfpack, в данный основана в 2009 году и начиная с 2012 года момент входящего в набор SuiteSparse [37]. выпускает конечно-элементный программ- Данный решатель использует мультифрон- ный комплекс CAE Fidesys. Данный комплекс тальную LU-факторизацию. Кроме этого, содержит модуль для работы на современ- КЭПК поддерживает библиотеки MUMPS, ных кластерных суперкомпьютерах, включая SuperLU и стандартную версию PARDISO. гетерогенные [18]. В руководстве пользова- Комплекс поддерживает обширный теля [4] сообщается о наличии двух реша- список итерационных методов, вклю- телей: прямого и итерационного. Прямой чая CG, GMRES, CGS, TFQMR, BiCGStab решатель основан на LU-разложении. Дета- и BiCGStab(l), а также обобщённый метод ли реализации решателей не раскрываются. сопряжённых невязок (англ. «Generalized Следует отметить, что CAE Fidesys из- Conjugate Residual», GCR). Предобуслав- начально проектировалась с учётом гете- ливатели включают в себя предобуславли- рогенных систем и может использовать по ватель Якоби, предобуславливатели ILU(k), крайней мере один ускоритель на всех эта- ILU(0) и ILUT. пах конечно-элементного анализа. Кроме этого пакет Elmer может исполь- 9. CalculiX зовать алгебраический и геометрический CalculiX является бесплатным КЭПК мультисеточный методы. с открытым исходным кодом. Информа- ция об используемых решателях описана Заключение в руководстве пользователя [17]. КЭПК Большинство КЭПК общего назначе- может использовать решатель SGI [34], ния имеют по меньшей мере две группы оригинальную версию PARDISO, взаимодополняющих решателей. Первая SPOOLES [36], TAUCS [39] и внутренний группа включает прямые решатели, пред- итерационный решатель. назначенные для работы с относительно не- 10. Code_Aster большими задачами, а также задачами, по- Code_Aster является бесплатным КЭПК рождающими СЛАУ с высокими числами с открытым исходным кодом. Команды обусловленности. Вторая группа представ- КЭПК, по-видимому, являются транслите- ляет собой набор итерационных решателей, рацией французского языка. Документация основанных на подпространствах Крылова к комплексу также написана на французском с различными предобуславливателями. языке, однако существует машинный вари- Решатели первой группы (прямые) ос- ант перевода на английский [13]. Машин- нованы на разложении Холецкого, LDLT- ный перевод позволяет сделать выводы об разложении или LU-разложении в за- используемых решателях. В частности, ис- висимости от характера порождаемой пользуются прямые решатели, включающие задачей матрицы. Реализации прямых ме- в себя разработанный авторами мультиф- тодов (включая библиотечные) используют ронтальный решатель, основанный на LDLT- схожий набор решений, включая ограни- разложении, подпрограммы из библиотеки ченный список алгоритмов предобработки MUMPS и прямой решатель, основанный на матрицы и использование внешней памяти формате хранения матрицы «SkyLine». для хранения факторизаций. Набор итерационных решателей вклю- Итерационные решатели отличаются чает в себя предобусловленный метод со- бо́льшим разнообразием. Распространены FUNDAMENTAL RESEARCH № 8, 2015 ТЕХНИЧЕСКИЕ НАУКИ (05.02.00, 05.13.00, 05.17.00, 05.23.00) 343 методы, основанные на подпространствах 6. Abaqus 6.10 Analysis User’s Manual. Volume II: Analy- Крылова. Несмотря на то, что в научной sis. URL: ow.ly/OLMql (дата обращения: 09.03.2015). литературе представлено значительное ко- 7. Abaqus 6.12 Glossary URL: ow.ly/OLMmg (дата личество итерационных методов, подавля- обращения: 09.03.2015). 8. Abaqus Release Notes. URL: ow.ly/OLMos (дата ющее большинство производителей КЭПК обращения: 09.03.2015). используют методы, рекомендуемые посо- 9. Anderson E., Bai Z., Bischof C. и др. LAPACK Users’ бием [14], при этом методы CG, BiCGStab Guide: Third Edition. – Philadelphia: SIAM, 1999. – 415 p. и GMRES используются значительно чаще, 10. Autodesk Algor Simulation 2011 Help. URL: ow.ly/ чем метод CGS и метод минимальных невя- OLMjG (дата обращения: 09.03.2015). зок (англ. «Minimal Redidual», MinRES). Ве- 11. Barrett R., Berry M., Chan T. F. и др. Templates for the роятно, это объясняется универсальностью Solution of Linear Systems: Building Blocks for Iterative Meth- используемых в КЭПК методов. Однако ods, 2nd Edition. – Philadelphia: SIAM, 1994. – 117 p. сходимость итерационных методов сильно 12. Beisheim J. High-Performance Computing for Me- chanical Simulations using ANSYS URL: ow.ly/OLLD2 (дата зависит от параметров матрицы, при этом обращения: 09.03.2015). даже на последовательном вычислителе 13. Boiteau O. Code_Aster – Keyword SOLVER URL: ow. нельзя выделить однозначно подходящий ly/OM7hn (дата обращения: 09.03.2015). для большинства случаев алгоритм. 14. Davis T.A. Direct Methods for Sparse Linear Systems – Наиболее широко используются алге- Philadelphia: SIAM, 2006. 227 p. браические предобуславливатели, в основ- 15. Davis T.A. Summary of available software for sparse ном варианты неполного LU-разложения. direct methods URL: http://www.cise.ufl .edu/research/sparse/ Другие предобуславливатели используются codes/ (дата обращения: 09.03.2015). значительно реже. 16. DEFORMTM 3D Version 6.1 (sp1) User’s Manual URL: http://home.zcu.cz/~sbenesov/PDF/DEFORM-3D-V61. В КЭПК зачастую используются гото- pdf (дата обращения: 09.03.2015). вые бесплатные и коммерческие библиотеки 17. Dhondt G. CalculiX CrunchiX USER’S MANU- подпрограмм для решения СЛАУ прямыми AL version 2.5 – *DYNAMIC keyword URL: http://www. методами, описанные в четвёртом разделе bconverged.com/calculix/doc/ccx/html/node183.html (дата данной статьи. Библиотеки, содержащие ите- обращения: 09.03.2015). рационные методы, такие как PETSc, вклю- 18. FIDESYS: система прочностного анализа – чаются реже. Можно предположить, что Дополнительные модули URL: www.cae-fi desys.com/ru/prod- авторы библиотек конструируют итерацион- ucts/additional_modules (дата обращения: 09.03.2015). 19. Intel® Math Kernel Library – Reference Manual. htt- ные методы с помощью библиотек математи- ps://software.intel.com/en-us/articles/intel-math-kernel-library- ческих примитивов. Вероятно, со временем documentation (дата обращения: 09.03.2015). в поставку КЭПК будут включаться новые 20. Kohnke P.C. ANSYS Mechanical APDL Theory Refer- коммерческие итерационные решатели. ence – Canonsburg: Ansys Inc, 2013. 998 p. Ведущие разработчики программного 21. MSC Nastran 2014 Nonlinear User’s Gude URL: ow. обеспечения уделяют значительное внима- ly/OLM9Q (дата обращения: 09.03.2015). ние адаптации решателей под новые архи- 22. MUltifrontal Massively Parallel Solver (MUMPS 5.0.0) тектуры высокопроизводительных систем, User’s guide URL: mumps.enseeiht.fr/doc/userguide_5.0.0.pdf включая вычислительные ускорители. Наи- (дата обращения: 09.03.2015). 23. NEi Nastran Solvers http://www.nenastran.com/fea/ более часто применяемым стандартом про- solver.php (дата обращения: 09.03.2015). граммирования ускорителей является плат- 24. NX Nastran 8 Advanced Nonlinear Theory and форма Nvidia CUDA. Её используют КЭПК Modeling Guide URL: ow.ly/OLMh8 (дата обращения: ANSYS, Abaqus FEA и FIDESYS. Комплекс 09.03.2015) ANSYS также поддерживает гетерогенные 25. NX Nastran Numerical Methods User’s Gude URL: ow. системы с Intel Xeon Phi. ly/OLMd8 (дата обращения: 09.03.2015). Работа выполнена в рамках Программы 26. Parallel Vectorized Sparse Solver (PVSS) URL: www. № 7 УрО РАН, проект № 15-7-1-17. solversoft.com/pvss.html (дата обращения: 09.03.2015). 27. Pierce D., Hung Y., Liu C.-C., и др. Sparse multi- Список литературы frontal performance gains via Nvidia GPU. URL: www.cqse. 1. Библиотека BCSLIB. URL: www.boeing.com/boeing/ ntu.edu.tw/cqse/download_fi le/DPierce_20090116.pdf (дата phantom/bcslib/ (дата обращения: 09.03.2015). обращения: 09.03.2015). 2. Демидович Б.П., Марон И.А. Основы вычислитель- 28. Poole G. Ansys equation solvers: usage and guidelines ной математики. – М.: Наука, 1970. – 664 с. URL: www.tynecomp.co.uk/Xansys/solver_2002.pdf (дата обращения: 09.03.2015). 3. Сводная таблица решателей в PETSc. URL: www. mcs.anl.gov/petsc/documentation/linearsolvertable.html (дата 29. Poole G., Liu Y., Liu Y.C. и др. Advancing Analysis обращения: 24.04.2015). Capabilities In Ansys Through Solver Technology // El. Trans. in Numerical Analysis. – 2003. – vol. 15 – P. 106–121. 4. Система прочностного анализа FIDESYS – ру- ководство пользователя. Версия 1.4. URL: csf.ru/fi le/ 30. QForm V8. Руководство пользователя. 04.02.2015. cuckCCuSslocOuYw16536298/FidesysBundle-1.4-manual- 31. Ruokolainen J., Malinen M., Råback P. и др. Elmer- rus_8.pdf (дата обращения: 09.03.2015). Solver Manual. URL: www.nic.funet.fi /pub/sci/physics/elmer/ 5. Abaqus 6.10 Analysis User’s Manual. Volume II: Analy- doc/ElmerSolverManual.pdf. sis URL: www.pdfdrive.net/abaqus-analysis-users-manual- 32. Saad Y. Iterative Methods for Sparse Linear Systems – vol2-e6505454.html (дата обращения: 09.03.2015). Philadelphia: SIAM, 2003. 567 p. ФУНДАМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ № 8, 2015 344 TECHNICAL SCIENCES (05.02.00, 05.13.00, 05.17.00, 05.23.00) 33. Schenk O., Gartner K. PARDISO User Guide Version 19. Intel® Math Kernel Library – Reference Manual. 5.0.0. URL: www.pardiso-project.org/manual/manual.pdf (дата Available at: https://software.intel.com/en-us/articles/intel- обращения: 09.03.2015). math-kernel-library-documentation (accessed 9 March 2015). 34. SGI Solver – Fast Sparse Solvers URL: ow.ly/OLMu7 20. Kohnke P.C. ANSYS Mechanical APDL Theory Refer- (дата обращения: 09.03.2015). ence. Canonsburg: Ansys Inc, 2013. 998 p. 35. Solutions to Linear Systems of Equations: Direct and Iter- 21. MSC Nastran 2014 Nonlinear Users Gude. Available ative Solvers URL: ow.ly/OLMsm (дата обращения: 09.03.2015). at: ow.ly/OLM9Q (accessed 9 March 2015). 36. SPOOLES 2.2: SParse Object Oriented Lin- 22. MUltifrontal Massively Parallel Solver (MUMPS ear Equations Solver URL: www.netlib.org/linalg/spooles/ 5.0.0) Users guide. Available at: mumps.enseeiht.fr/doc/ spooles.2.2.html (дата обращения: 09.03.2015). userguide_5.0.0.pdf (accessed 9 March 2015). 37. SuiteSparse website. URL: faculty.cse.tamu.edu/davis/ 23. NEi Nastran Solvers. Available at: www.nenastran. suitesparse.html (дата обращения: 09.03.2015). com/fea/solver.php (accessed 9 March 2015). 38. Theory Reference for the Mechanical APDL and Me- 24. NX Nastran 8 Advanced Nonlinear Theory and Mod- chanical Applications. URL: orange.engr.ucdavis.edu/Docu- eling Guide. Available at: ow.ly/OLMh8 (accessed 9 March 2015). mentation12.1/121/ans_thry.pdf (дата обращения: 09.03.2015). 25. NX Nastran Numerical Methods Users Gude. Available 39. Toledo S., Doron C., Rotkin V. TAUCS: A Library of at: ow.ly/OLMd8 (accessed 9 March 2015) Sparse Linear Solvers URL: www.tau.ac.il/~stoledo/taucs/ (дата 26. Parallel Vectorized Sparse Solver (PVSS). Available at: обращения: 09.03.2015). www.solversoft.com/pvss.html (accessed 9 March 2015). References 27. Pierce D., Hung Y., Liu C.-C., et al. Sparse multifrontal performance gains via Nvidia GPU. Available at: www.cqse.ntu. 1. BCSLIB page. Available at: www.boeing.com/boeing/ edu.tw/cqse/download_fi le/DPierce_20090116.pdf (accessed 9 phantom/bcslib/ (accessed 9 March 2015). March 2015). 2. Demidovich B.P., Maron I.A. Osnovy vychislitelnoj 28. Poole G. Ansys equation solvers: usage and guidelines. matematiki [An introduction to computational mathematics]. Available at: www.tynecomp.co.uk/Xansys/solver_2002.pdf Moscow, Nauka, 1970. 664 p. (accessed 9 March 2015). 3. PETSc linear solver summary. Available at: www.mcs. 29. Poole G., Liu Y., Liu Y.C. et al. Advancing Analysis anl.gov/petsc/documentation/linearsolvertable.html (accessed Capabilities In Ansys Through Solver Technology. El. Trans. in 24 April 2015). Numerical Analysis. 2003. vol. 15. P. 106–121. 4. Sistema prochnostnogo analiza FIDESYS. Rukovodstvo 30. QForm V8. Rukovodstvo polzovatelja polzovatelja. Versija 1.4 [FIDESYS structural analysis suite. Us- 04.02.2015 [QForm V8 Users manual. Last changes: 4 Feb- ers manual. Version 1.4]. Available at: ow.ly/OUNvs (accessed ruary 2015]. 9 March 2015). 31. Ruokolainen J., Malinen M., Råback P. et al. Elmer- 5. Abaqus 6.10 Analysis Users Manual. Volume II: Analy- Solver Manual. Available at: www.nic.funet.fi /pub/sci/physics/ sis Available at: www.pdfdrive.net/abaqus-analysis-users-manu- elmer/doc/ElmerSolverManual.pdf. al-vol2-e6505454.html (accessed 9 March 2015). 32. Saad Y. Iterative Methods for Sparse Linear Systems. 6. Abaqus 6.10 Analysis Users Manual. Volume II: Analy- Philadelphia: SIAM, 2003. 567 p. sis. Available at: ow.ly/OLMql (accessed 9 March 2015). 33. Schenk O., Gartner K. PARDISO User Guide Version 7. Abaqus 6.12 Glossary. Available at: ow.ly/OLMmg (ac- 5.0.0. Available at: www.pardiso-project.org/manual/manual.pdf cessed 9 March 2015). (accessed 9 March 2015). 8. Abaqus Release Notes. Available at: ow.ly/OLMos (ac- 34. SGI Solver – Fast Sparse Solvers. Available at: ow.ly/ cessed 9 March 2015). OLMu7 (accessed 9 March 2015). 9. Anderson E., Bai Z., Bischof C. et al. LAPACK Users 35. Solutions to Linear Systems of Equations: Direct and Itera- Guide: Third Edition. Philadelphia: SIAM, 1999. 415 p. tive Solvers. Available at: ow.ly/OLMsm (accessed 9 March 2015). 10. Autodesk Algor Simulation 2011 Help. Available at: 36. SPOOLES 2.2: SParse Object Oriented Linear Equa- ow.ly/OLMjG (accessed 9 March 2015). tions Solver. Available at: www.netlib.org/linalg/spooles/ spooles.2.2.html (accessed 9 March 2015). 11. Barrett R., Berry M., Chan T.F. et al. Templates for the Solution of Linear Systems: Building Blocks for Iterative Meth- 37. SuiteSparse website. Available at: faculty.cse.tamu.edu/ ods, 2nd Edition. Philadelphia: SIAM, 1994. 117 p. davis/suitesparse.html (accessed 9 March 2015). 12. Beisheim J. High-Performance Computing for Me- 38. Theory Reference for the Mechanical APDL and Me- chanical Simulations using ANSYS Available at: ow.ly/OLLD2 chanical Applications. Available at: orange.engr.ucdavis.edu/ (accessed 9 March 2015). Documentation12.1/121/ans_thry.pdf (accessed 9 March 2015) 13. Boiteau O. Code_Aster – Key word SOLVER Available 39. Toledo S., Doron C., Rotkin V. TAUCS: A Library of at: ow.ly/OM7hn (accessed 9 March 2015). Sparse Linear Solvers. Available at: www.tau.ac.il/~stoledo/ taucs/ (accessed 9 March 2015). 14. Davis T.A. Direct Methods for Sparse Linear Systems. Philadelphia: SIAM, 2006. 227 p. Рецензенты: 15. Davis T.A. Summary of available software for sparse direct methods. Available at: http://www.cise.ufl .edu/research/ Суханов В.И., д.т.н., доцент, заведую- sparse/codes/ (accessed 9 March 2015). щий кафедрой программных средств и си- 16. DEFORMTM 3D Version 6.1 (sp1) Users Manual. стем факультета ускоренного обучения, Available at: home.zcu.cz/~sbenesov/PDF/DEFORM-3D-V61. ФГАОУ ВПО «Уральский федеральный pdf (accessed 9 March 2015). университет имени первого Президента 17. Dhondt G. CalculiX CrunchiX USERS MANUAL ver- России Б.Н. Ельцина», г. Екатеринбург; sion 2.5 – *DYNAMIC keyword Available at: www.bconverged. com/calculix/doc/ccx/html/node183.html (accessed 9 March 2015). Залазинский А.Г., д.т.н., профессор, за- ведующий лабораторией системного моде- 18. FIDESYS: sistema prochnostnogo analiza. Dopol- nitelnye moduli [FYDESIS structural analysis suite. Auxiliary лирования, ФГБУН «Институт машинове- packages]. Available at: www.cae-fi desys.com/ru/products/ad- дения» Уральского отделения Российской ditional_modules (accessed 9 March 2015). академии наук», г. Екатеринбург. FUNDAMENTAL RESEARCH № 8, 2015