среда, 15 июля 2015 г.

Дебажим компиляцию

Представте себе ситуацию... Пишется обобщённый код на C++, в зависимости от шаблонного типа или типов выводятся типы каких-то внутренних переменных или дочерних типов, используя для этого как стандартные трансформаторы типов из type_traits, так и самописные. И вот, в результате система ведёт себя так, будто финальный тип оказался не таким как ожидалось. Я, разумеется, имею в виду ситуацию когда код скомпилировался в режиме -Wall -Werror. Как бы на этапе компиляции посмотреть что кого? Выход есть и он прост:

template<typename T>
void dbgtype(T) {
  static_assert(std::is_same<void, T>::value, "!!!");
}

Позвав такую функцию и передав туда экземпляр типа который получился после всех трансформаций, мы развалим компиляцию и в сообщениях об ошибке будет развёрнута полная специализация этой шаблонной функи. В том числе в вывод попадёт и тип T который нас интересует.

З.Ы. Эта шутка здорово сегодя помогла, когда я писал кое какие геометрические алгоритмы которые должны работать как числами с плавающими точками (координаты в проекции географических данных на плоскость), так и с целочисленными типами (экранные координаты в пикселях). Для целочисленных типов мне нужно было найти соответствующий им беззнаковый тип, под размеры областей, а для чисел с плавающей точкой требовалось использовать немодифицированный тип. std::make_unsigned делал для меня первую часть задачи правильно, но не компилился для double, пришлось его дорабоать, а потом поискать баги в том что получилось.

четверг, 21 мая 2015 г.

systemd-nspawn для разработчика

На данный момент я работаю в проекте который в качестве целевой платформы установки использует Debian 7 при этом хочется переехать на Debain 8, а сам я сижу на Arch Linux. В результате часто требуется быстренько оказаться в правильном окружении и пособирать свои последние правки. Чаще всего для этого я использовал VirtualBox как наиболее просто конфигурируемое решение, но всегда хотелось побаловаться с лёгкими контейнерами. Правда, всегда отпугивала скорость разворачивания таких решений. Я экспериментировал с LXC и systemd-nspawn, но в первом случае разворачивание виртуалки занимает больше времени чем хочется, а во втором случае всё гладко только если гостевая система использует systemd.

Но вот, свершилось, Debain 8 использует systemd по умолчанию и его можно быстренько разворачивать. Правда, кто-то успел немного подгадить с другой стороны. Теперь в арче сервис systemd-nspawn@ по умолчанию предлагает иметь противоестественные сношения с настройкой идеологически правильного разделения сети между контейнерами добавив ключ --network-veth. Раньше этот сервис позволял запустить контейнер так, что он просто видел хостовый интерфейс и им пользовался, что совершенно не подходит для облачных решений (для которых есть отличные и мощные проекты, такие как OpenVZ и LXC), но очень удобно для нужд разработчиков (а именно для этих целей и позиционировалась разработка systemd-nspawn). Дабы раз и навсегда искоренить этот печальный недостаток, копируем этот сервис из /usr/lib/systemd/system в /etc/systemd/system и уничтожаем использование ненужной "идеологической правильности".

Итак создаём гостевуху:

yaourt -S debootstrap # Если ещё не установлен
sudo debootstrap jessie /var/lib/container/debian8 http://mirror.yandex.ru/debian
sudo systemd-nspawn -D /var/lib/container/debian8
Мы оказались в сверх-минималистичном дебиане с целью задать пароль пользователю root и установить пакет dbus (без него утилита machinectl не сможет подключиться к запущенному контейнеру). Выполнив эти две нехитрые операции нажимаем Ctrl+D чтобы вернуться в основное окружение и честно загрузив контейнер входим в него через парадное крыльцо для дальнейшей настройки:
sudo systemctl start systemd-nspawn@debian8
sudo machinectl login debian8

Вот готово почти всё. Точнее для одноразового использования готово вообще всё. А вот если контейнер планируется использовать для тестов регулярно, то имеет смысл поставить туда ssh и научить systemd автоматически запускать виртуалку при попытке в неё зайти по этому самому ssh. Для этого пишем файл на хосте
/etc/systemd/system/systemd-nspawn@debian8.socket:

[Unit]
Description=The SSH socket of debian8-nspawn container

[Socket]
ListenStream=4022

[Install]
WantedBy=sockets.target
А в гостевой ситеме надо отключить безусловный автозапуск SSH и настроить его активацию через сокет добавив два файла:
/etc/systemd/system/sshd.socket:
[Unit]
Description=SSH Socket for Per-Connection Servers

[Socket]
ListenStream=4022
Accept=yes

[Install]
WantedBy=sockets.target
и /etc/systemd/system/sshd@.service:
[Unit]
Description=SSH Per-Connection Server for %I

[Service]
ExecStart=-/usr/sbin/sshd -i
StandardInput=socket

[Install]
WantedBy=multi-user.target
Alias=sshd.service
После чего в контейнере переключаем SSH на активацию через сокет:
sudo systemctl disable sshd.service
sudo systemctl enable sshd.socket
И на хосте активируем сокет запуска машины:
sudo systemctl enable systemd-nspawn@debian8.socket

Ну вот теперь можно настроить профиль в Konsole и быстренько заходить в виртуалку в два клика. Запуск контейнера до состояния принятия ssh соединения у меня занимает около 2х секунд, что несравнимо меньше времени ожидания старта VirtualBox виртуалки, а сборка кода с помощью ninja эффективно параллелиться по всем процессорам демонстрируя великолепную производительность.

понедельник, 11 мая 2015 г.

RAII вокруг C в одну строку

Работая C++ программистом я очень часто сталкиваюсь с библиотеками написанными на C. В этом языке (в отличии от C++) есть простой и удобный способ поддерживать прямую ABI совместимость библиотек. В публичных хедерах имеем только forward-declaration структуры и функции принимающие её через указатель. А все её потроха оставляем исключительно внутри библиотеки. Так работает libevent, sqlite и очень многие другие беблиотеки написанные на C. Шаблон pImpl стремиться скопировать эту модель достижения стабильности бинарного интерфейса в C++, но не закрывает всех проблем.

В результате такого подхода в коде библиотек есть набор структур неизвестной природы, набор функций для создания и инициализации этих структур, а так же набор функций для их уничтожения. Как не сложно заметить, тут есть контсруктор, деструктор и класс. В большинстве случаев в работе с такими библиотеками из C++ всегдя заводятся классы оборачивающие эти C-шные интерфейсы, так как ручной вызов функций 'деструкторов' может быть пропущен при пролёте исключений. При этом пишется много тривиального нудного кода. Но...

В C++11 появляетя удобный класс которые способен устранить необходимость написания таких RAII обёрток для каждой новой сущности, это std::unique_ptr. Так на хабре можно найти пример exception-safe обёртки вокруг libevent'овского веб сервера использующего только unique_ptr для своевременной чистки ресурсов. Правда код при этом получается не особо читабельным, ибо всюду мы видим множество длинных специализаций этого шаблонного типа использующих decltype для проведение сеансов гадания по руке указателю на функцию с целью выведения её типа.

Но всю эту магию можно скрыть воспользовавшись автоопределением типа шаблонных параметров по аргументам для шаблонных функций. Согласитесь, такой код:

auto dir = scoped(::opendir(path), ::closedir);  
for (dirent *entry = ::readdir(dir.get()); entry != nullptr; entry = ::readdir(dir.get())) {  
   ...  
}  
выглядит куда понятней чем такой:
 std::unique_ptr<DIR, decltype(::closedir)> dir{::opendir(path), ::closedir};  
 for (dirent *entry = ::readdir(dir.get()); entry != nullptr; entry = ::readdir(dir.get())) {  
   ...  
 }  
Определение переменной dir в первом случае компакто и мгновенно разбирается глазами. Да и функция scoped пишется один раз и всегда спокойно кочует из проекта в проект позволяя в одну строку прямо по месту создавать RAII обёртки вокруг C-шных структур:
 template<typename T, typename Del = std::default_delete<T>>  
 inline auto scoped(T *t, Del &&del = std::default_delete<T>()) {  
   return std::unique_ptr<T, Del>{t, del};  
 }  

понедельник, 26 сентября 2011 г.

Немного про sudo

В дефолтных настройках sudo запрашивает пароль того пользователя, который пытается его использовать. В тех случаях, когда нужно разрешить пользователю время от времени получать права суперпользователя, это хорошо. Но что если хочется запускать свои приложения из под другого пользователя чей пароль ты не знаешь. Так, например, приезжая в гости к родителям, хочется запустить свой скайп и копете, при это не перелогиниваясь и не прося сестру ввести её пароль в ответ на требование от kdesudo.

Среди опций файла sudoers имеется targetpw который меняет дефолтное поведение sudo. После чтения его описания впадаешь в уныние, так как сказано, что это глобальный флаг, но покопавшись в разделе examples в man 5 sudoers находим, что глобальные опции тоже можно включать избирательно.
 Defaults targetpw  
 Defaults>root !targetpw  

Позволяет требовать пароль пользователя под которым собираешься исполнить команду либо требовать пароль пользователя который пытается использовать sudo ежели целевой пользователь это root.

четверг, 25 августа 2011 г.

Bash 32bit unsigned dec to hex

Конвертируем десятичные числа в шестнадцатеричные в bash и видим, что числа больше 2 миллиардов становятся отрицательными. Тут нужно немного простой математической магии:
 VAL=3123456789  
 printf "%#x%x" $(( ${VAL} / 65536 )) $(( ${VAL} % 65536 ))   

понедельник, 2 мая 2011 г.

gcc Тёмная магия линкера

Последние пару дней упорно бился над проблемой потерянного символа. Обстоятельства его потери были не столь уж и мистическими, причину я понял сразу. А вот какое заклятье использовать дабы её искоренить, я понял только после детального изучения манов и кучи экспериментов.

Итак имеется статическая библиотека А и несколько плюсовых исходников. Юный маг хочет собрать из этого всего динамическую библиотеку. Разумеется это ему удаётся сделать одной левой, но... В полученной библиотеке отсутствует один из символов имеющихся в скатической библиотеке, который нигде более в рамках имеющегося кода не вызывается.

Ситуация выглядит логично. Просто линкер обнаружил unreferenced symbol и для оптимизации размера сгенерённого файла и ускорения зугрузки библиотеки не стал включать мёртвый код. Ну откуда ему знать, что это точка входа в приложение, которая будет позвана из Java кода через JNI. И собственно потерять можно всё что угодно, но не этот символ.

На помощь пришёл невнятно описанный в манах ключ -u. Он явно говрорит линкеру считать символ имя которого переданно аргументом этому ключу как undefined символ и провести поиск этого символа в библиотеках использумемых при линковке. Это заклинание помогло спасти бедный символ от жестогкого скальпеля линкера.

В процессе исследования было найдено ещё одно интересное чародейство, позволяюще ускорять время загрузки бинамической библиотеки путём исключения из таблицы символов внутренних функций и переменных библиотеки. Если нужно чтобы таблица символов содержала только публичный интерфейс библиотеки, то публичные функции, классы и переменные нужно промаркировать с помощью __attribute__((visibility("default"))):
 __attribute__((visibility("default")))  
 void foo();  
 class __attribute__((visibility("default"))) MyClass {  
 };  
 __attribute__((visibility("default")))  
 int globalNum = 5;  

После чего при компиляции нужно использовать флаг -fvisibility=hidden.

Суть сей магии достаточно проста. По умолчанию gcc считает все символы публичными и при линковке динамической библиотеки перечисляет абсолютно всё в таблице символов. Если что-то или кто-то используется только библиотечными потрохами и наружу смотреть не должно, то его можно явно промаркировать с помощью __attribute__((visibility("hidden"))) и оно не попадёт в таблицу символов. Но, как правило, публичный интерфейс намного меньше приватного и реже меняется, поэтому куда логичней перечислять символы которые должны быть видны. Тут на помощь приходит флаг -fvisibility=hidden который указывает, что все символы, для которых не указанно обратное, нужно считать спрятанными.

Зесь есть абсолютно полная аналогия с подходом в Windows и их __declspec(dllexport). К счастью тут не наблюдается ничего подобного маразматичному __declspec(dllimport). Символ промаркерованный с помощью __attribute__((visibility("default"))) в публичном хедере не нужно маркировать как-то иначе при компиляции приложения использующего данную динамическую библиотеку.

четверг, 4 марта 2010 г.

Тёмная магия f:facet

Сегодня убил один день на то чтобы разместить одну строчку на странице! Да я обажаю всех создателей JSF и Facelets и желаю им медленной и мучительной смерти!

Оказывается, если поместить несколько элементов (обязательно JFS элементов) внутри <f:facet name="header">, то только последний из них будет отображён. Посему нужно использовать <f:subview> чтобы обойти сей косяк.