Вначале я зашёл на сайт http://uk.wordpress.org/ - украинская версия wordpress.
Оттуда загрузил WordPress 2.8, а также ознакомился с инструкцией установки.
Разархивируем загруженный файл, копируем wp-config-sample.php
в wp-config.php.
В нём настриваем define-ы:
А вот следующий define нужен, если нет доступа к /tmp (как в моём случае):
define('WP_TEMP_DIR', '/home/username/.../public_html/wordpress/tmp/');
Вот что мне понадобилось для установки wordpress:
Далее запускаем http://your-site/wordpress/wp-admin/install.php
Вот и всё - ничего сложного.