Причина небажаного перемикання контексту

Ви згадали, що є 32 ядра, але якою точною макетом обладнання? Наприклад, скільки пакетів має машина, скільки ядер, як обмінюватися кешем тощо. Для обміну даної інформації я особисто хотів би поділитися виходом likwid-topology-g .

У будь-якому разі, у вашому виконанні є один нетермінований фрагмент: спорідненість до потоку. Операційна система привласнює потоки SW для виконання певних потоків HW, не беручи до уваги знання про те, як потоки спілкуються (просто тому, що не має таких знань). Це може призвести до різного роду ефектів для відтворюваних циклів, однак гарна ідея - переконатись, що ви поєднуєте свої потоки SW з гілками HW в певному сенсі (можливо, є і оптимальний спосіб, але до цих пір я Я просто говорю про детермінізм).

Для закріплення (ака спорідненості ) ви можете використовувати явні виклики Pthread або ви можете спробувати інший інструмент із комплекту Likwid, який називається licwid-pin - див. тут .

Якщо це не дає вам послідовних результатів, запустіть хороший профайлер (наприклад, Intel VTune) на своєму робочому навантаженні, переконавшись, що ви захопили швидкий запуск, повільне виконання та порівняння результатів. У VTune ви можете використовувати функцію порівняння, яка показує два профілі поруч.

Ви згадуєте профіль двомодального виконання, який ви бачите на одній машині, а не на іншому. Це жахливо, але це нормально, навіть для однопоточних програм.

Проблема в тому, що в системі Linux існує занадто багато факторів (будь-який ядро, незалежно від використовуваного планувальника), які впливають на продуктивність програми. Він починається з адресно-рандомізації, і закінчується мікроскопічними відмінностями часу, зростаючим до великих затримок перемикання контексту між процесами.

Linux не є системою реального часу. Він просто намагається бути максимально ефективним у середньому випадку.

Є кілька речей, які ви можете зробити, щоб мінімізувати дисперсію ефективності:

Зменшити кількість ниток до мінімуму, необхідного. Не розбивайте різні аспекти вашої проблеми на нитки. Просто поділіться на теми, коли це дійсно необхідно, наприклад, для подання процесорів з незалежними (!) Номерами хрускінгових завдань. Спробуйте зробити якомога більше причинно пов'язаних робіт в одному потоці, наскільки це можливо. Ви потоки повинні вимагати якнайменше спілкування один з одним, наскільки це можливо. Зокрема, у вас не повинно бути шаблонів запитів/відповідей між потоками, де затримки складаються.

Припустимо, що ваша ОС зможе робити лише близько 1000 контекстних перемикачів між потоками/процесами в секунду. Це означає, що пару по 100 запитів/відповідей у ​​секунду. Якщо ви робите тест на Linux, і ви вважаєте, що можете зробити набагато більше, ігноруйте це.

Спробуйте зменшити залишок пам'яті життєво важливих даних. Розподілені дані, як правило, видаляють кеш із дуже тонкими та важко пояснюючими ефектами на продуктивність.

Я вважаю, що ваша проблема насправді є проблемою планування.

Неможливо уникнути того, щоб процес відмовився від центрального процесора, але проблема полягає в тому, що якщо потік випереджатиметься, а потім на наступному кванті вийде на інший процесор або буде більш конкретним для ЦП з іншим L2 кеш, то це доступ до пам'яті, все призведе до помилок кеша і призведе до того, що дані будуть витягнуті з пам'яті. З іншого боку, якщо потік заплановано на тому самому ЦП, цілком імовірно, що ці дані все одно будуть доступні на cahce, наприклад, забезпечуючи значно швидкіші доступ до пам'яті.

Зауважте, що ця поведінка найчастіше трапляється, коли у вас є все більше ядер. І оскільки це свого роду "випадковий", де ваша нитка буде в кінцевому підсумку на наступному кванті, то це буде пояснити випадковість продуктивності.

There are out there profiling tools that allow you to register where your threads are being scheduled, such as perf for Linux. Usually these tools are particular to the topology where you're executing your program. Unfortunately none other comes to my mind right now. There are also ways of telling the OS to schedule threads on the same (or adyacent) CPUs, so they'll benefit from fewer cache misses. For that you can check this SO question

Я б запропонував вам попросити вашого адміністратора, які інструменти подібні до вас, з якими ви розраховуєте, так що ви можете зробити правильний профіль та розподіл вашого планування потоку.

Ви можете простежити джерело контекстних перемикачів у ядрі, використовуючи ftrace (використовуючи трасування трафіку sched_switch). Крім того, використання perf може допомогти вам обмежити інші показники (недоступність кеша, тощо).

Як змінюється продуктивність, коли ви збільшуєте вашу програму з 1 потік до 32 (і можливо після цього)?

Може бути, ваша програма має спільні дані (або якийсь інший ресурс), який окремі теми вимагають? Такі, що вони відчувають стан перегонів, який є більшим, коли відбувається більш паралельне виконання (отже, змінне виконання)? Окрім часу процесора, які ресурси зачіпають ваші теми програми?

Я думаю, вам доведеться скомпонувати старе ядро ​​на вашій 4 основних машинах. Це не лише буде гарною навчальною програмою, якщо ви ще цього не зробили, але буде корисною для ізоляції змінних в цій проблемі. Якщо б ви це робили, я також намагався узгодити точний дистрибутив, оскільки ваша проблема не може обмежуватися лише ядром. Це також може бути чимось у користувальницькому просторі або, можливо, просто в комбінації параметрів для ядра (що, отже, буде співставлено в одному дистрибутиві випуску).

Можливо, вам захочеться ознайомитись з використанням профайлера, такого як gprof. Це може дати вам уявлення про (потенційне) вузьке місце. Наприклад, якщо ви чекаєте на системний виклик або щось подібне.

Ось декілька статей, які можуть допомогти викликати ідею або дві.

http://halobates.de/lk09-scalability.pdf

http://pdos.csail.mit.edu/papers/linux:osdi10. pdf

Additional source: Why one non-voluntary context switch per second?

Ви можете простежити джерело контекстних перемикачів у ядрі, використовуючи ftrace (використовуючи трасування трафіку sched_switch). Крім того, використання perf може допомогти вам обмежити інші показники (недоступність кеша, тощо).

Як змінюється продуктивність, коли ви збільшуєте вашу програму з 1 потік до 32 (і можливо після цього)?

Може бути, ваша програма має спільні дані (або якийсь інший ресурс), який окремі теми вимагають? Такі, що вони відчувають стан перегонів, який є більшим, коли відбувається більш паралельне виконання (отже, змінне виконання)? Окрім часу процесора, які ресурси зачіпають ваші теми програми?

Я думаю, вам доведеться скомпонувати старе ядро ​​на вашій 4 основних машинах. Це не лише буде гарною навчальною програмою, якщо ви ще цього не зробили, але буде корисною для ізоляції змінних в цій проблемі. Якщо б ви це робили, я також намагався узгодити точний дистрибутив, оскільки ваша проблема не може обмежуватися лише ядром. Це також може бути чимось у користувальницькому просторі або, можливо, просто в комбінації параметрів для ядра (що, отже, буде співставлено в одному дистрибутиві випуску).

Можливо, вам захочеться ознайомитись з використанням профайлера, такого як gprof. Це може дати вам уявлення про (потенційне) вузьке місце. Наприклад, якщо ви чекаєте на системний виклик або щось подібне.

Ось декілька статей, які можуть допомогти викликати ідею або дві.

http://halobates.de/lk09-scalability.pdf

http://pdos.csail.mit.edu/papers/linux:osdi10. pdf

Additional source: Why one non-voluntary context switch per second?

Найкращий спосіб, коли мова йде про перерахування, полягає в тому, щоб використовувати Profiler/logger Kernel Ftrace . Це повинно показати вам, які потоки попередньо витісняються іншими потоками. На жаль, обробники переривань в нижній половині не належним чином помічені, тому їх важко розшифрувати.

Найкращий спосіб, коли мова йде про перерахування, полягає в тому, щоб використовувати Profiler/logger Kernel Ftrace . Це повинно показати вам, які потоки попередньо витісняються іншими потоками. На жаль, обробники переривань в нижній половині не належним чином помічені, тому їх важко розшифрувати.

У багатопотоковій програмі, додайте нитку до певного номера процесора і перевірте, чи ви бачите покращення продуктивності.

У багатопотоковій програмі, додайте нитку до певного номера процесора і перевірте, чи ви бачите покращення продуктивності.