Variation Among Processors Under Turbo-Boost

Bilge Acun, Ph.D. Candidate Department of Computer Science University of Illinois at Urbana-Champaign

This talk is based on the publicaon: Bilge Acun, Phil Miller, Laxmikant Kale. ICS 2016. 1 “Variaon Among Processors under Turbo Boost in HPC Systems”. Motivation: Performance Variation

16% Performance Only 1% Variaon on Variaon on Edison, Blue Waters! Cab, Stampede! ��������������������������� ���� ���� �������� ���� ��� ���� ������ ���� ���� ����

���� Acun, Miller, Kale. “Variaon Among Processors under Turbo

���� Boost in HPC Systems” [ICS 2016]

�������������������� �� ���� ���� ���� ���� ���� ���� ���� ���� 2 ������� • 16K cores running local DGEMM kernel of -MKL What is Dynamic ?

• Processor changes the frequency opportuniscally since it cannot run at the highest limit all the me. • E.g. Intel Turbo Boost Technology • Factors effecng the dynamic frequency: • Type of the workload • Number of acve cores • Current consumpon �������������������������� • Power consumpon ��� • Temperature Acun, Miller, Kale. “Variaon Among Processors under Turbo Boost in HPC Systems” [ICS 2016] ���

��������������� �������� ���� ���� 3

�� ���� ���� ���� ���� ���� ���������� Motivation: Frequency Variation

������������������������������ ���� ������ ��������������� ���� ��� ��������������� ���� �������� ��������������� ���� ���� ���� �������������� ����

���� Acun, Miller, Kale. “Variaon Among Processors under Turbo ���� ���� ���� ���� ���� ���� �� ���� ���� Boost in HPC Systems” [ICS 2016] ��������������� 4

Edison: Intel Ivy Bridge Stampede, Cab: Intel Motivation: Frequency Variation

• Distribuon of steady-state frequencies on Edison Acun, Miller, Kale. “Variaon Among Processors under Turbo Boost in HPC Systems” [ICS 2016]

5 Why there is variation?

����������������������������

���� ��� ��� ��� ���� ��� ��� ��� ��� ��� ���� ��� ����

��� �� �� ����

�� ��

��� ���� Acun, Miller, Kale. “Variaon ��������������� ��������������� ��� Among Processors under Turbo �� ���� Boost in HPC Systems” [ICS 2016] � �� �� �� �� 6 �������� Is it caused by temperature?

������������������������������������� ����������������������������������� ���� ������� ��� ����������� ����������� ��� ����������� ����������� ���

��� Acun, Miller, Kale. “Variaon Among Processors under Turbo

�� Boost in HPC Systems” [ICS 2016] ������������������������������ �� �� �� �� �� �� �� �� �� �� �� �� �� �� �������������� 7 �������������� Is it caused by temperature?

������������������������������������� ����������������������������������� ���� ������� ��� ����������� ����������� ��� ����������� ����������� ���

��� Acun, Miller, Kale. “Variaon Among Processors under Turbo

�� Boost in HPC Systems” [ICS 2016] ������������������������������ �� �� �� �� �� �� �� �� �� �� �� �� �� ��

�������������� �������������� 8 Is it caused by power? Acun, Miller, Kale. “Variaon Among Processors under Turbo { Fast processors’ power are Boost in HPC Systems” [ICS 2016] similar to uniform Slow and variable processors distribuon have higher power 9 What can we do about it?

1. Disable Turbo-Boost 2. Replacing the slow chips 3. Selecvely idling the cores 4. Dynamic load balancing Acun, Miller, Kale. “Variaon Among Processors under Turbo Boost in HPC Systems” [ICS 2016]

10 Solution 1: Disable Turbo-Boost? Acun, Miller, Kale. “Variaon Among Processors under Turbo Boost in HPC Systems” [ICS 2016] u Naïve-DGEMM slows down more compared to MKL because it was running at higher frequency with Turbo Boost. 11 u Jacobi2D suffers less from disabling Turbo-Boost because it’s memory intensive. Solution 2: Replace the chips?

������������������������������������

��� ��� �� �� ��������� ����������� �� ����������� �������� ��

������ Acun, Miller, Kale. “Variaon Among Processors under Turbo

�� Boost in HPC Systems” [ICS 2016] �� ���� ���� ���� ���� ���� ���� ���� ���� ���� �������������������������� 12 Solution 3: Idling the cores?

�������������������������������� ������ ������ ��������� ������ ����������� ������ �������� ������ ������ ������ ������ Acun, Miller, Kale. “Variaon

������ Among Processors under Turbo Boost in HPC Systems” [ICS 2016]

��������������������� ������ �� ��� ���� ���� ���� ���� ���� ���� ���� ���� 13 ������������������������������������ Solution 4: Speed-Aware Load Balancing!

• Runme tracks processor speeds dynamically +LBTestPESpeed • Balance the workload with taking into account the speed

�������������������������� ��� ������� ��� �������������������

��� Acun, Miller, Kale. “Variaon

�� Among Processors under Turbo Boost in HPC Systems” [ICS 2016] ������������������� �� 14 ������ �������� Summary & Conclusion

Soware can do a lot more if the desired support and access is given. Acun, Miller, Kale. “Variaon Among Processors under Turbo Boost in HPC Systems” [ICS 2016]

15 Future Work

• Variaon analysis on newer generaon processors • Variaon in memory operaons Acun, Miller, Kale. “Variaon Among Processors under Turbo Boost in HPC Systems” [ICS 2016]

16