Яндекс.Метрика

    Ни о чём

    Тест Си компиляторов под Windows

    После многочисленных споров на тему «Какой компилятор лучше генерирует код», появилась идея провести самому испытания. Основной целью испытания была проверка скорости работы программы с оптимизацией по скорости. Результат тестирования: среднее арифметическое время выполнения тестовой функции в миллисекундах (1/1000 сек). т.е. чем меньше тем лучше.

    В тестировании участвовали:
    • Intel C++ Compiler Pro 11.1.054;
    • GCC 4.5.0 (MinGW);
    • MS C/C++ Compiler 15.00.21022.08 (VS 2008);
    • CodeGear C++ Builder 11.0 (C++Builder 2007);
    • Tiny C Compiler 0.9.25.
    Железо для теста:
    • Компьютер: CPU Intel E5200 (2-ядерный) 2.5 Ггц + 2 Гб ОЗУ;
    • Ноутбук: CPU AMD Athlon QL-62 (2-ядерный) 2 Ггц + 3 Гб ОЗУ.
    ОС для теста:

    MS Windows XP SP3 Eng x32 на ноутбуке и на компьютере (с одного диска устанавливались и один и тот же SP3 ставился).

    Варианты компиляции:
    1. Отключена любая оптимизация;
    2. Включена вся возможная оптимизация.
    Ограничения на тестирование:
    • Исходный код тестовой программы не изменяется в зависимости от компилятора;
    • Тестовая функция не использует функции системы, т.е. только вычислительные операции, все функции связанные с вызовом системных функций вызываются до и после замера времени;
    • Не используются библиотеки распараллеливания типа OpenMP;
    • Вычисления производятся только в одном потоке;
    • Компьютер не загружен больше никакими другими программами, только запущенная Windows + Notepad + тестовая программа;
    • Для тестов не использовалась VCL, MFC, CLR, ATL;
    • Код программ компилировался именно как С код, а не С++;
    • Для Tiny C Compiler использовался только 1 вариант компиляции, потому что он не поддерживает оптимизацию на уровне кода. Из документации: Оптимизация кода ограничена вычислением константных выражений на этапе компиляции, заменой операций умножения и деления операциями сдвига где это возможно, а также некоторыми другими действиями. Оптимизация переходов не производится, так как это потребовало бы организацию промежуточного кода в более абстрактном виде.
    Метод тестирования:
    1. Выделение памяти для буферов;
    2. Получение UserTime текущего потока через GetThreadTimes;
    3. Выполнение тестовой функции;
    4. Получение UserTime текущего потока через GetThreadTimes;
    5. Получение разницы во времени с точностью до миллисекунд (1/1000 сек);
    6. Повторение последних 4-х действий 10 раз;
    7. Вычисление среднего арифметического значения времени.
    Алгоритм вычислительной функции:
    1. Инициализация ключевой последовательности для алгоритма шифрования RC4;
    2. Инициализация ключевой последовательности для алгоритма шифрования AES-128;
    3. Заполнение первого тестового буфера данными полученными из генератора RC4;
    4. Вычисление CRC32 для первого тестового буфера;
    5. Шифрование первого тестового буфера алгоритмом AES-128, блоками по 128 бит, с помещением результата во второй тестовый буфер;
    6. Заполнение первого тестового буфера данными полученными из генератора RC4, т.е. первоначальные данные затираются полностью;
    7. Расшифровка второго тестового буфера с помещением результата в первый тестовый буфер;
    8. Подсчет CRC32 для расшифрованного первого тестового буфера;
    9. Сравнение CRC до шифрование и после.
    Параметры теста:
    • Кол-во данных для шифрования — 1600 килобайт (102400 блоков);
    • Кол-во тестовых итераций для вычисления среднего арифметического значения времени — 10.
    Результаты тестирования:
    Intel C++ Compiler Pro 11.1.054
    • Ноутбук без оптимизации: 6301 мс;
    • Ноутбук с оптимизацией: 971 мс;
    • Компьютер без оптимизации: 4541 мс;
    • Компьютер с оптимизацией: 867 мс.
    GCC 4.5.0 (MinGW)
    • Ноутбук без оптимизации: 6568 мс;
    • Ноутбук с оптимизацией: 1691 мс;
    • Компьютер без оптимизации: 4979 мс;
    • Компьютер с оптимизацией: 1521 мс.
    MS C/C++ Compiler 15.00.21022.08 (VS 2008)
    • Ноутбук без оптимизации: 5149 мс;
    • Ноутбук с оптимизацией: 1574 мс;
    • Компьютер без оптимизации: 3740 мс;
    • Компьютер с оптимизацией: 1290 мс.
    CodeGear C++ Builder 11.0 (C++Builder 2007)
    • Ноутбук без оптимизации: 4982 мс;
    • Ноутбук с оптимизацией: 3854 мс;
    • Компьютер без оптимизации: 4006 мс;
    • Компьютер с оптимизацией: 3185 мс.
    Tiny C Compiler 0.9.25
    • Ноутбук: 6275 мс;
    • Компьютер: 4606 мс.
    Более наглядно:График времени выполнения кода:imageГрафик скорости выполнения кода относительно лидера теста (лидер теста — 100%)image

    Итоги:
    По результатам тестирования на оптимизацию по скорости, компиляторы занимают следующие места:
    1. Intel C++ Compiler Pro 11.1.054;
    2. MS C/C++ Compiler 15.00.21022.08 (VS 2008);
    3. GCC 4.5.0 (MinGW);
    4. CodeGear C++ Builder 11.0 (C++Builder 2007);
    5. Tiny C Compiler 0.9.25.
    Как видно, ребята из Intel хорошо постарались (на 32% код работал быстрее чем у ближайшего соперника) и их код имеет отличную оптимизацию не зависимо от того что он работает на Intel или AMD процессоре.

    В тоже время С++ Builder показал себя не с лучшей стороны (отставание в 2 раза), что свидетельствует о чуть другой специфики его применения.

    Ну а про Tiny C Compiler 0.9.25 и речи не может быть, потому что он вообще не поддерживает оптимизацию переходов, вот и выходит, что скорость выполнения программы находится на уровне с другими компиляторами без оптимизации при компиляции.

    Конечно С++ Builder оказался чуть староват потому что не нашел я у себя более свежей версии. Хотя мне кажется, там мало что изменилось в этом плане.

    Заключение
    По результатам тестирования нельзя судить о компиляторе, что он хорош или плох, потому что каждому своё применение, а можно лишь говорить о том, какой их них подойдет для создания программных продуктов связанных с вычислительными операциями.