wkhtmltopdf и долгий javascript

Случилось так, что необходимо мне было сгенерировать pdf на основе html странички с большим количеством графиков на js.  Сделал с помощью wkhtmltopdf и вроде бы всё работало, но иногда графики отрисовывались не полностью. Складывалось впечатление, что в какой то случайный момент времени вебкиту надоедает ждать исполнение кода и он делает скриншот того, что уже уже есть.

Google location / gl / hl и разные наборы кодов стран

• Берём две доки по гуглопоиску - по параметру gl и по доступному таргетингу.
• Парсим обе
• Сравниваем

По идее в gl используются те же коды стран, что и в таргетинге (самый верхний уровень таргетинга). Однако сравнение показало, что в gl есть дополнительные 6 кодов стран, неизвестные таргетингу:

Syrian Arab Republic     sy
Myanmar     mm
Iran, Islamic Republic of     ir
Korea, Democratic People's Republic of     kp
United Kingdom     uk
Cuba     cu
Sudan     sd

И если ещё со всякими Суданами и Северными Кореями я могу смириться (не иначе как толталитаризм повлиял на политику гугла), то куда же делось Объединённое Королевство?!
Оказалось, в случае gl оно проходит с кодом UK (что логично), а в случае location с кодом GB (O_o).
Работают вроде оба варианта в обоих параметрах, поэтому ничего сломаться не должно, но нервы потрепало (:

PS: на всякий случай уточню, какие типы таргетов к каким относятся

Copy Source | Copy HTML

1. countryColums = ['Country','Region']


2. regionColums = ['Autonomous Community','Canton','Department','County','Governorate','Region','Prefecture','Province','State','Territory','Union Territory']


3. cityColums = ['City','Municipality']


4. ignoredColums = ['DMA Region','Postal Code','Congressional District']

Highcharts и wkhtmltopdf

Пробовали сохранять графики хайчартов в пдф с помощью данной тулзы? Тогда наверное сталкивались с таким видом всех линий?

Лечится следующим образом

options.plotOptions.animation = false
options.plotOptions.shadow = false
options.plotOptions.enableMouseTracking = false

Nginx, proxy_pass и urldecode

Есть у меня на проекте урл, который отвечает за поисковую строку. Но урл не обычный, а вида site.com/info/(.*). Внутри этой регулярки могут встречаться различные символы, которые необходимо энкодить (ну там пробелы, плюсы и так далее).
И всё бы работало нормально, не заведи админы вдруг nginx проксёй к апаче. Благодаря ему запросы вида /info/test+%2B+term (заэнкоженый плюс отделённый пробелами) стали доходить до апача как /info/test+++term, что после декодирования воспринималось уже как три пробела.

Ubuntu и marble mouse

Решил я перейти от мышки к трекболу. Волей случая стал обладателем marble mouse. Вот только беда, что родных дров под линух нет, а без скроллинга и средней кнопки не жизнь =)
Пришлось прописывать конфиг самому.

php, utf8 и умлауты

Понадобилось мне сделать фильтрацию списка кейвордов, отдаваемых GKT. Казалось бы, велика задача, перечислить в регулярке допустимые символы и удалить остальные. И всё было бы так просто, если бы половина пользователей не была родом из европы и их кейворды не включали так называемые умлауты.

Алгоритм k-means [Кластерный анализ и Python]

Наконец дошли руки дописать цикл заметок о кластерном анализе. 

Тема данной заметки алгоритм k-means и пример работы с ним на языке python.

Полезные мелочи при работе в серверном окружении (linux)

Есть у меня такая традиция - полезные консольные команды при работе с линуксом складывать в текстовый файл. Да вот только уж больно он разросся, так что выложу сюда и буду дополнять =)

Очистка Zend_Cache по расписанию

Часто бывает, что некоторую информацию можно хранить в кеше вечно, инвалидируя её только непосредственно при обновлении (в моём случае - по расписанию).
Казалось бы, какие проблемы? Кроновские скрипты написаны в контексте зендовского приложения, кеш подключается автоматически - осталось только взять да почистить по тегам методом clean().
Но не тут то было! 

PyQt4, QWebView и flash plugin

Вдогонку к посту про запуск PyQt4 на сервере без иксов опишу как добавить в QWebView флеш плагин.

PyQt4 на сервере без иксов (centos)

Понадобилось мне запустить бота, написанного на PyQt4 на сервере без иксов (обычная vds centos под Xen-ом). Что из этого вышло смотрите далее.

PyQt4 и результаты всех побочных запросов QWebView

Столкнулся с непреодолимой траблой при написании небольшого клиента на webkit-е через PyQt4.

Как появится решения, опубликую полностью, пока же только ссылка.

Zend, headMeta() и уязвимость UTF-7

Месяц тонкостей в информационной безопасности на хабре нашёл отражение и в моих постах =)
Старая шутка с уязвимостью UTF-7 живёт и по сей день. Лечится просто - располагайте meta-тег с кодировкой самым первым в шапке.

ICQ и странный спам

Сегодня с самого утра аська полна сообщениями по типу

(10:35:04 AM) НИК : As a security precaution, please click the link to verify your ICQ account http://validate.icq.com/icq/validate.html?uid=ВАШ_UID&sid=195812676&lang=en.

В нете пишут, мол такое бывает прилетает в ответ от сервера на твоё сообщение при подозрениях твоего аккаунта на спам или долгий офлайн. Мне оно летит сразу от всех собеседников, которым я ничегошеньки не писал. Сдаётся мне клиент нечто служебное шлёт только что вышедшим в сеть и ловит эту ерунду =(
В общем хрен его знает, ну его к чёрту эту маилрушечку.. *ушёл в джабер* =)

Zend и Atom feed

Стандартный рецепт по созданию фида формата Atom для приложения на зенде.

Copy Source | Copy HTML

1. public function newsfeedAction()


2.     {


3.         $this->_helper->layout->disableLayout();


4.         $this->_helper->viewRenderer->setNoRender();



5.         $news = $this->_helper->modelLoad('News')->listAll();



6.         //описание фида (для импорта отдельный формат)


7.         //http://framework.zend.com/manual/en/zend.feed.importing.html


8.         $feedArray = array(


9.             'title'       => 'Новости',


10.             'link'        => $this->view->url(array( ), 'newsRss', true),


11.             'charset'     => 'UTF-8',


12.             'description' => 'Новости - наши новости самые новостные в мире!',


13.             'email'       => 'support@test.ru',


14.             'entries'     => array()


15.         );



16.         //добавляем записи в фид


17.         foreach ($news as $item)


18.         {


19.             $feedArray['entries'][] = array(


20.                 'title'       => $item['title'],


21.                 'link'        => $this->view->url(array( 'idN' => $item['id'] ), 'newsView', true),


22.                 'description' => $item['desc'],


23.                 'content'     => $item['text'],


24.                 'lastUpdate'  => $item['timestamp']


25.             );


26.         }



27.         Zend_Feed::importArray($feedArray, 'atom')->send();


28.     }

Zend, AJAX и защита от CSRF

Очень многие не заботятся о защите форм на своих проектах от CSRF-атак, а зря - я, например, через эту уязвимость карму кое где накручиваю (тссс!). А между тем защититься проще некуда.

Если это обычная форма, то в Zend-е есть чудесный элемент Zend_Form_Element_Hash. Просто добавляете его в формы и дишите ровно.
Однако, если у вас много интерактивных форм работающих на AJAX-е, то придётся написать свой небольшой велосипедик. Свой вариант я и представлю.

ВКонтакта забанил nethouse =(

Забанили чудесный проектик, к которому имею хоть и посредственное, но всё же отношение.
http://nethouse.ru/blog/25 
Очередной лучик бу в сторону управленцев контактоты=(

Неожиданные траблы с vds от majordomo

С некоторого времени в шаблонах ОС для впс-ок от мажордомо завелись iptables с предустановленными правилами.
Если как и я попались на дедлок при смене порта ssh, или там ntpdate не синхронизируется - проверьте /etc/sysconfig/iptables, там всё нестандартное перекрыто к чертям =)

Иерархический алгоритм [Кластерный анализ и Python]

Наконец собрался написать о некоторых алгоритмах кластерного анализа и их реализации на Python. В большинстве своём это будет краткое описание алгоритма и разбор готового решения, без глубокого объяснения "что это и как работает". Как следствие, если Вы ещё не знакомы с теорией по кластерному анализу, лучше начать с неё (ссылки на хорошие источники будут предоставлены) иначе сложно будет понять зачём делается тот или иной шаг.

Поскольку это первый пост из цикла, опишу тестовый набор данных, который будет использоваться в этом и всех последующих алгоритмах.

Для работы я возьму данные по энергетической ценности продуктов, безжалостно слитые где-то в интернете. В этом наборе каждый продукт описан тремя переменными - количеством белков, жиров и углеводов на сто грамм.
Разбиение данного набора на кластеры даст нам представление о схожих по обозначенным параметрам продуктах и наглядно продемонстрирует результаты работы алгоритмов.

Для тех, кто не знаком с кластерным анализом вообще, посоветую следующие источники (гуглятся легко):

1. Воронцов К. В. Лекции по алгоритмам кластеризации и многомерного шкалирования.
2. Kaufman L., Rousseeuw P. J. Finding Groups in Data: An Introduction to Cluster Analysis. — John Wiley & Sons, 1990.
3. Jain A. K., Murty M. N., Flynn P. J. Data Clustering: A Review. (http://www.csee.umbc.edu/nicholas/clustering/p264-jain.pdf)
4. Нейский И. М. Классификация и сравнение методов кластеризации
5. Сегаран Т. Programming Collective Intelligence.
6. Kogan J., Nicholas C., Teboulle M. Clustering Large and High Dimensional data. (http://www.csee.umbc.edu/~nicholas/clustering/ )
7. J. C. Gower and G. J. S. Ross «Minimum Spanning Trees and Single Linkage Cluster Analysis»
8. Мандель И. Д. Кластерный анализ.
9. Christopher D. Manning, Prabhakar Raghavan and Hinrich Schütze, Introduction to Information Retrieval, Cambridge University Press. 2008. (http://nlp.stanford.edu/IR-book/)

Итак, тема данного поста Иерархические алгоритмы кластерного анализа и их реализация на Python. Поехали =)

Amazon EC2 и sshfs

Примерно так подключается
sshfs ec2-user@ec2-176-34-193-222.eu-west-1.compute.amazonaws.com:/ ~/Documents/ftpAmazon -o IdentityFile=~/test.pem