Вкратце, по быстрому

Если стоит vino - сервер vnc идущий с ubuntu называющийся Удаленный рабочий стол Gnome
удаляем его командой:

sudo apt-get remove vino

Устанавливаем x11vnc
в ubuntu

sudo apt-get install x11vnc

в debian надо зайти под root, а потом та-же команда

apt-get install x11vnc

в rpm-дистрибутивах примерно так

yum install x11vnc

Генерируем пароль для vnc

x11vnc -storepasswd

в каталоге текущего пользователя создается папка .vnc в которой лежит файлик passwd с заданным паролем.

кладем всю эту папку в /root (если пароль устанавливался из под пользователя root этого делать не надо, она там и создается)

дальше создаем файлик с командой запуска x11vnc

fstvnc.sh

#!/bin/bash
/usr/bin/x11vnc -dontdisconnect -display :0 -notruecolor -noxfixes -shared -forever -rfbport 5900 -bg -ultrafilexfer -o /root/x11vnc.log -rfbauth /root/.vnc/passwd

и запускаем его от имени root ¹⁾

В некоторых случаях, когда на компьютере уже работает пользователь приходится запускать x11vnc от имени вошедшего пользователя. При этом следует настройки сделать от имени этого пользователя и в строке запуска сделать соответствующие корректировки. К примеру, если пользователь user, то в строке запуска поменять /root на /home/user

Для кубунту с менеджером SDDM следует вместо -auth guess в конце строки запуска добавить -auth $(ls /var/run/sddm/{*})

После запуска можно зайти на комп через vnc клиент и работать. Если зайти с помощью ultra vnc можно даже файлы передавать, правда с русскими именами беда.
Если передача файлов не нужна - следует убрать опцию -ultrafilexfer из команды запуска.

Специально не создавали службу с автозапускам - мало-ли что, чтобы доступа не было.

В дальнейшем можно подключиться к нужному клиенту по ssh и запустить вручную, если надо.

Чтобы остановить процесс x11vnc из командной строки:

ищем его pid

sudo pidof x11vnc

в ответе будет номер pid, например 12345

даем команду завершить процесс

sudo kill 12345