Convert Video to HTML5 in Ubuntu

I wanted an easy way to convert videos to HTML5 formats (mp4/ogg/webm). With Linux, I could easily create a bash script to do all three and even create a screencap for the poster attribute.

The install process is a bit tedious and time consuming, but after it’s all installed you’re good to run the script for all your videos. The script uses ffmpeg to convert to all 3 formats, and it supports most any video format. The script also uses ffmpeg to generate a random screenshot, and even writes the HTML5 code for you.

Installation

For the most part, this portion of the tutorial was derived from the Ubuntu Forums.

  1. Uninstall Old Versions
  2. sudo apt-get remove ffmpeg x264 libx264-dev yasm
  3. Install Dependencies and Install Tools
  4. sudo apt-get update
    sudo apt-get install build-essential git-core checkinstall texi2html libfaac-dev \
        libopencore-amrnb-dev libopencore-amrwb-dev libsdl1.2-dev libtheora-dev \
        libvorbis-dev libx11-dev libxfixes-dev zlib1g-dev
  5. Install Yasm
  6. cd ~/Downloads
    wget http://www.tortall.net/projects/yasm/releases/yasm-1.2.0.tar.gz
    tar xzvf yasm-1.2.0.tar.gz
    cd yasm-1.2.0
    ./configure
    make
    sudo checkinstall --pkgname=yasm --pkgversion="1.2.0" --backup=no --deldoc=yes --default
  7. Install x264
  8. cd ~/Downloads
    git clone git://git.videolan.org/x264
    cd x264
    ./configure --enable-static
    make
    sudo mkdir /usr/local/lib/pkgconfig
    sudo checkinstall --pkgname=x264 --default --pkgversion="3:$(./version.sh | \
        awk -F'[" ]' '/POINT/{print $4"+git"$5}')" --backup=no --deldoc=yes
  9. Install LAME
  10. sudo apt-get remove libmp3lame-dev
    sudo apt-get install nasm
    cd ~/Downloads
    wget http://downloads.sourceforge.net/project/lame/lame/3.99/lame-3.99.tar.gz
    tar xzvf lame-3.99.tar.gz
    cd lame-3.99
    ./configure --enable-nasm --disable-shared
    make
    sudo mkdir /usr/local/share/doc
    sudo mkdir /usr/local/share/doc/lame
    sudo checkinstall --pkgname=lame-ffmpeg --pkgversion="3.99" --backup=no --default \
        --deldoc=yes
  11. Install libvpx
  12. cd ~/Downloads
    git clone http://git.chromium.org/webm/libvpx.git
    cd libvpx
    ./configure
    make
    sudo checkinstall --pkgname=libvpx --pkgversion="$(date +%Y%m%d%H%M)-git" --backup=no \
        --default --deldoc=yes
  13. Install ffmpeg
  14. cd ~/Downloads
    git clone --depth 1 git://source.ffmpeg.org/ffmpeg
    cd ffmpeg
    ./configure --enable-gpl --enable-libfaac --enable-libmp3lame --enable-libopencore-amrnb \
        --enable-libopencore-amrwb --enable-libtheora --enable-libvorbis --enable-libvpx \
        --enable-libx264 --enable-nonfree --enable-postproc --enable-version3 --enable-x11grab
    make
    sudo checkinstall --pkgname=ffmpeg --pkgversion="$(date +%Y%m%d%H%M)-git" --backup=no \
        --deldoc=yes --default

    The part that will take the longest is the ffmpeg, so be prepared to wait.

    The Script

    Usage:

    ./convertHTML5 video-file.ext

    The script will output “video-file.ogv”, “video-file.webm”, “video-file.mp4″, and “video-file.html” while keeping the original video intact. The HTML document just has the plain <video> code with nothing else, easily copied and pasted.

    #!/bin/bash
    
    if [[ $1 ]]
    then
        filename=$(basename "$1")
        filename=${filename%.*}
        directory=$(dirname "$1")
    
        duration=$(ffmpeg -i "$1" 2>&1 | grep Duration | awk '{print $2}' | tr -d ,)
        minutes=${duration%:*}
        hours=${minutes%:*}
        minutes=${minutes##*:}
        seconds=${duration##*:}
        seconds=${seconds%.*}
    
        hours=$((hours*3600))
        minutes=$((minutes*60))
    
        total=$(expr $hours + $minutes + $seconds)
        number=$RANDOM
        let "number %= $total"
    
        echo "Generating thumbnail"
        ffmpeg -i "$1" -deinterlace -an -ss $number -t 00:00:01 -r 1 -y -vcodec mjpeg -f mjpeg "$directory/$filename.jpg" 2>&1
        echo "Converting $filename to ogv"
        ffmpeg -i "$1" -acodec libvorbis -ac 2 -ab 96k -ar 44100 -b 345k "$directory/$filename.ogv"
        echo "Finished ogv"
    
        echo "Converting $filename to webm"
        ffmpeg -i "$1" -acodec libvorbis -ac 2 -ab 96k -ar 44100 -b 345k "$directory/$filename.webm"
        echo "Finished webm"
    
        echo "Converting $filename to h264"
        ffmpeg -i "$1" -acodec libfaac -ab 96k -vcodec libx264 -level 21 -refs 2 -b 345k -bt 345k -threads 0 "$directory/$filename.mp4"
        echo "Finished h264"
    
        echo "Writing HTML..."
    
        echo "</pre>
    <video width="320" height="240" controls="controls" poster="\&quot;$filename.jpg\&quot;" preload=""><source src="\&quot;$filename.ogv\&quot;" type="\&quot;video/ogg\&quot;" /><source src="\&quot;$filename.webm\&quot;" type="\&quot;video/webm\&quot;" /><source src="\&quot;$filename.mp4\&quot;" type="\&quot;video/mp4\&quot;" />" > "$directory/$filename.html"
     echo " " >> "$directory/$filename.html"
     echo " " >> "$directory/$filename.html"
     echo " " >> "$directory/$filename.html"
     echo " Sorry, your browser does not support HTML5 video" >> "$directory/$filename.html"
     echo "</video>
    <pre>" >> "$directory/$filename.html"
    
        echo "All Done!"
    else
        echo "Usage: [filename]"
    fi

    Credits: McSwindler

Генератор кредитных карт онлайн (с исходниками)

Генератор кредитных карт (Credit Card Test Numbers) может быть полезен для разработчиков, тестирующих сайты электронной коммерции. Сгенерированные карты удовлетворяют алгоритму Luhn, но не являются действительными. На этапе оплаты при их использовании в вашем магазине должен произойти отказ. Срок годности карты может быть установлен любым (в пределах 3х ближайших лет).

Генератор кредитных карт в действии:
[executecardsscript]

Исходники (GPL) на Python, Java, C#, PHP и Javascript: zip, tar.gz

Credits: Graham King

Скачивание с RuTube в Ubuntu Linux

Ubuntu Linux:

sudo apt-get install rtmpdump

Rutube отдаёт ссылки на видеоролики 4-мя способами (по состоянию на 8 ноября 2013 г.):

  1. Нешифрованное видео по протоколу RTMP. Для закачки используется rtmpdump (версия не ниже 2.4).
  2. Шифрованное видео по RTMP. Хоть и скачается rtmpdump’ом, но воспроизвести его не удастся. Решение для этого типа ссылок не найдено.
  3. Нешифрованное видео по технологии HTTP Dynamic Streaming. Для закачки используется скрипт AdobeHDS.php
  4. Нешифрованное видео методом HTTP Live Streaming. Для закачки используется VLC/ffmpeg.

Сначала нужно определить, какой тип отдачи используется для требуемого видеоролика, на момент обновления статьи чаще всего это способы 3 и 4 (как минимум, для российских пользователей).

Для этого берём любую ссылку на нужное видео с его полным или предназначенным для встраивания идентификатором, это может быть ссылка вида:

  1. http://rutube.ru/video/51c001891c1147fa53787c8496c0d8bf/
  2. http://rutube.ru/video/embed/6641938
  3. http://rutube.ru/[accounts/login/?next=/]video/private/2cc0885902cac3c8f9f88849e115db15/?p=lwTcQ6Z0PUTg3AB7lDvGqg

Для ссылки под номером 3 важно не терять параметр “p”, стоящий в конце.

Открываем файл с информацией о видео http://rutube.ru/api/play/trackinfo/<VIDEO_ID>/?format=xml[&p=blablabla]:

http://rutube.ru/video/51c001891c1147fa53787c8496c0d8bf/
=> http://rutube.ru/api/play/trackinfo/51c001891c1147fa53787c8496c0d8bf/?format=xml
http://rutube.ru/video/embed/6641938
=> http://rutube.ru/api/play/trackinfo/6641938/?format=xml
http://rutube.ru/[accounts/login/?next=/]video/private/2cc0885902cac3c8f9f88849e115db15/?p=lwTcQ6Z0PUTg3AB7lDvGqg
=> http://rutube.ru/api/play/trackinfo/2cc0885902cac3c8f9f88849e115db15/?format=xml&p=lwTcQ6Z0PUTg3AB7lDvGqg

В этом файле нужны адреса из тега <videoBalancer>:
<default>http://bl.rutube.ru/5bc45bc80ad9f9597a8e1de3e0cf69f6.f4m — внутри этого файла будут ссылки для закачки по RTMP/HDS.
<m3u8>http://bl.rutube.ru/5bc45bc80ad9f9597a8e1de3e0cf69f6.m3u8 — для HLS.

RTMP/HDS

<default>http://bl.rutube.ru/5bc45bc80ad9f9597a8e1de3e0cf69f6.f4m
Это файл-манифест. Открыв его, смотрим на теги <baseURL> и <media>. Определяем тип отдачи по их содержимому:

  • RTMP, если baseURL == rtmp://video-N-N.rutube.ru/bla-bla-bla, а атрибут url тега media содержит расширение .mp4 в тексте ссылки.
  • Шифрованное видео по RTMP, если тот же атрибут url содержит расширение .f4f. Скачанное видео не воспроизводится.
  • Нешифрованное видео по HDS, если baseURL == http://video-N-N.rutube.ru, тег(и) media указывает на манифест (ссылка с расширением .f4m) либо сразу на mp4-файл.

Определившись со способом отдачи, приступаем к закачке.

RTMP
Тег <baseURL> содержит имя хоста, порт и переменную “app”. Атрибут url тега <media> содержит путь к потоку (playpath):
rtmp://video-N-N.rutube.ru(:1935)/<app>/mp4:volNN/movies/.*
|____________host___________|__app__|_____playpath____|

где переменная app может принимать следующие значения:

  1. vod/
  2. rutube/
  3. rutube_vod_[0-9]/
  4. rutube_vod_[0-9]/_definst_/

Из параметров, предлагаемых дампером (rtmpdump –help), нам нужны следующие:

--rtmp           URL (напр. rtmp://host[:port]/)
--app            Переменная app.
--playpath       Перезаписывает playpath, указанный в --rtmp
--swfUrl         Ссылка на swf-плеер.
--flv            Название конечного FLV-файла.
--live           Для rtmp-ссылок, переменная app которых равна "vod/".

Примеры закачки ссылок:
rtmp://video-1-12.rutube.ru:1935/rutube_vod_2/_definst_/mp4:vol12/movies/b5/e0/b5e08ad46a65d700dd0da2f7b40e2fc0.mp4?e=1288635285&s=740fa844fc6687ac03681a0eb72d003e

sh/cmd:

rtmpdump --rtmp "rtmp://video-1-12.rutube.ru:1935/"
 --app "rutube_vod_2/_definst_/"
 --swfUrl "http://rutube.ru/player.swf"
 --playpath "mp4:vol12/movies/b5/e0/b5e08ad46a65d700dd0da2f7b40e2fc0.mp4?e=1288635285&s=740fa844fc6687ac03681a0eb72d003e"
 --flv "output_video.flv"

rtmp://video-102-1.rutube.ru:1935/vod/mp4:rutube/vol41/movies/a2/05/a205ff4b2073c18522253585224f7a7c.mp4?e=1287342905&s=813f44d26fe97cd7ef670cb8d44e36e2

sh/cmd:

rtmpdump --rtmp "rtmp://video-1-12.rutube.ru:1935/"
 --app "vod/"
 --swfUrl "http://rutube.ru/player.swf"
 --playpath "mp4:rutube/vol41/movies/a2/05/a205ff4b2073c18522253585224f7a7c.mp4?e=128734&s=813f44d26fe97cd7ef670cb8d4"
 --flv "output_video.flv"
 --live

Не забудьте про параметр –live, используемый при переменной app равной “vod/”. Иначе видео будет качаться в размере, в два-три раза превышающий указанный на сайте. Также –swfUrl, он должен быть равен адресу флеш-плеера: “http://rutube.ru/player.swf”.

HDS
С HDS-ссылками проще, достаточно ссылки на f4m-файл:

sh/cmd:

php.exe AdobeHDS.php --manifest "http://bl.rutube.ru/5bc45bc80ad9f9597a8e1de3e0cf69f6.f4m"
 --outfile "output_video.mp4"

HLS

<m3u8>http://bl.rutube.ru/5bc45bc80ad9f9597a8e1de3e0cf69f6.m3u8

Для закачки можно использовать ffmpeg:

sh/cmd:

ffmpeg -i "http://bl.rutube.ru/5bc45bc80ad9f9597a8e1de3e0cf69f6.m3u8" video_out.ts

 

Credits: tradiz.org

Yota Samsung SWC-U200 in Ubuntu Linux

Установка предельно проста (проводил на 11.10):

git clone https://github.com/ago/madwimax.git
cd madwimax
autoreconf --install
sudo apt-get install libusb-1.0-0-dev liblua5.1-0-dev asciidoc docbook2x
./configure
make
sudo make install

Втыкаем модем, проверяем:

sudo ifconfig
#должен появиться wimax0 или по типу того

Заходим на Yota.ru, жмём Личный кабинет, там “привязать устройство” и всё! Покупка-продажа модема весьма проста, не надо никаких симок ни кодов. Нужен просто модем. Больше ничего. Никаких договоров. Удобно. Единственное – при привязке спрашивают как зовут, где живёшь, №паспорта. В остальном хорошо! Посмотрим, что за качество связи у Yota, на что жалуются чуть более чем 100% моих друзей 🙂

Speedtest:
speedtest yota

Google переворачивается при наборе “do a barrel roll”

Попробуйте перейти на главную страницу Google, в строке поиска ввести “do a barrel roll” и нажать enter. Вы увидите следующее:

Представленный очередной прикол от Google, демонстрирующий всю мощь CSS3, был создан software-инженером Google для развлечения пользователей. Прикол, как говорит Google, не работает в старых браузерах, не поддерживающих HTML5.

В twitter поступает много сообщений от пользователей, открывших для себя прикол “Do a barrel roll“:

> Google search “Do A Barrel Roll.” Right now.

> GOOGLE TRICKS: →type in “do a barrel roll” and hit enter, the screen should spin. (:

> Quick! Do a backflip! Actually, do a barrel roll!

Также при наборе слова “tilt” Google наклоняется!

При наборе “zerg rush” поисковую выдачу поедают буквы OOO из Gooooogle.

Весь список “пасхальных яиц” Google на Wiki:

List of Google’s hoaxes and easter eggs

How to make Wikipedia work #wikipediablackout

The Wikipedia community has blacked out the English version of Wikipedia for 24 hours to raise awareness about legislation being proposed by the U.S. Congress — the Stop Online Piracy Act (SOPA) in the U.S. House of Representatives, and the PROTECT IP Act (PIPA) in the U.S. Senate — and to encourage readers to speak out against it.

What should we do if we want knowledge? Just do the following to view Wikipedia normally:

  1. Open the desired link
  2. Wait some time (about a second or two, depends on your Internet connection speed)
  3. Just press the ESCAPE button to avoid redirect to the black page

[youtube=http://www.youtube.com/watch?v=1zmwL-09aVM&w=320&h=240]

[youtube=http://www.youtube.com/watch?v=C73iKkkreWs&w=320&h=240]

The English Wikipedia will be accessible on mobile devices and smart phones. Because the protest message is powered by JavaScript, it’s also possible to view Wikipedia by completely disabling JavaScript in your browser.

Enjoy Wikipedia and support the blackout!
I support #wikipediablackout! Show your support here http://tinyurl.com/7vq4o8g

Thanks

How do geeks shop? (Inspired by Stanford DB-Class)

Recently online shopping has become especially popular, superseding and leaving far behind its competitors who work in usual shops. It’s quite convenient, online shops are open 24h without breaks and days-off!

Sometimes I buy goods from StrawberryNET.Com for my wife and myself. Unfortunately, there is a huge problem with the seller’s website. Its interface doesn’t provide customers the ability to sort goods by price, discounts, etc. I don’t know if it is made for special reason or it’s just some human laziness, but it’s none of my business. The geek can get everything he wants from the site.

This year I am taking Stanford’s online class launched this fall by Jennifer Widom: Introduction to Databases. I like the course very much and the author of the course as well! Inspired by db-class I implemented the website’s missing sort feature and was able to sort goods as much as I wished.

To implement the feature I used SQL and sed on my Ubuntu Linux 11.10 oneiric ocelot. First of all I parsed the site’s data and received it in this form (data.txt file):

Ermenegildo Zegna - Z Zegna
Z Zegna Deodorant Stick 75g/2.5oz
Price: US$ 18.50 - (Save 8%)
Giorgio Armani - Acqua Di Gio
Acqua Di Gio Deodorant Stick 75g
Price: US$ 29.00
Joop - Joop Thrill
Joop Thrill For Him Deodorant Stick 70g
Price: US$ 13.00 - (Save 50%)
Paco Rabanne - Paco Rabanne Pour Homme
Pour Homme Deodorant Stick 75ml/2.2oz
Price: US$ 21.50 - (Save 2%)
Bvlgari - Aqva Pour Homme Marine
Aqva Pour Homme Marine Deo Stick 75g/2.7oz
Price: US$ 16.50 - (Save 41%)
Ralph Lauren - Polo Blue
Polo Blue Deodorant Stick 75g/2.5oz
Price: US$ 29.00
Hugo Boss - Hugo
Hugo Deodorant Stick 70g/2.4oz
Price: US$ 26.50
Loris Azzaro - Azzaro Elixir
Azzaro Elixir Coffret: Eau De Toilette Spray 100ml/3.3oz + Deodorant Stick 75g/2.5oz 2pcs
Price: US$ 42.50 - (Save 50%)

Then I designed my SQL database:

drop table if exists Strawberry;
create table Strawberry(brand text, series text, title text, price real, save int);
select * from Strawberry;

Using sed I converted the parsed data to SQL insert queries. sed script (sed.sed file):

1~3 s/ - /&amp;amp;quot;,&amp;amp;quot;/
1~3 s/^/INSERT INTO Strawberry VALUES (&amp;amp;quot;/
1~3 s/$/&amp;amp;quot;/
2~3 s/^/&amp;amp;quot;/
2~3 s/$/&amp;amp;quot;/
3~3 s/Price: US$ //
3~3 s/$/,0);/
3~3 s/ - (Save /,/
3~3 s/%),0//
3~3 s/%)\ ,0//

The script is ready to be executed by this bash command:

sed -f sed.sed data.txt | sed -e ':a;N;$!ba;s/&amp;amp;quot;\n/&amp;amp;quot;,/g' | xclip

xclip is a nice tool to output data to directly to OS clipboard.

The data I got using sed script:

INSERT INTO Strawberry VALUES (&amp;amp;quot;Ermenegildo Zegna&amp;amp;quot;,&amp;amp;quot;Z Zegna&amp;amp;quot;,&amp;amp;quot;Z Zegna Deodorant Stick 75g/2.5oz&amp;amp;quot;,18.50,8);
INSERT INTO Strawberry VALUES (&amp;amp;quot;Giorgio Armani&amp;amp;quot;,&amp;amp;quot;Acqua Di Gio&amp;amp;quot;,&amp;amp;quot;Acqua Di Gio Deodorant Stick 75g&amp;amp;quot;,29.00,0);
INSERT INTO Strawberry VALUES (&amp;amp;quot;Joop&amp;amp;quot;,&amp;amp;quot;Joop Thrill&amp;amp;quot;,&amp;amp;quot;Joop Thrill For Him Deodorant Stick 70g&amp;amp;quot;,13.00,50);
INSERT INTO Strawberry VALUES (&amp;amp;quot;Paco Rabanne&amp;amp;quot;,&amp;amp;quot;Paco Rabanne Pour Homme&amp;amp;quot;,&amp;amp;quot;Pour Homme Deodorant Stick 75ml/2.2oz&amp;amp;quot;,21.50,2);
INSERT INTO Strawberry VALUES (&amp;amp;quot;Bvlgari&amp;amp;quot;,&amp;amp;quot;Aqva Pour Homme Marine&amp;amp;quot;,&amp;amp;quot;Aqva Pour Homme Marine Deo Stick 75g/2.7oz&amp;amp;quot;,16.50,41);
INSERT INTO Strawberry VALUES (&amp;amp;quot;Ralph Lauren&amp;amp;quot;,&amp;amp;quot;Polo Blue&amp;amp;quot;,&amp;amp;quot;Polo Blue Deodorant Stick 75g/2.5oz&amp;amp;quot;,29.00,0);
INSERT INTO Strawberry VALUES (&amp;amp;quot;Hugo Boss&amp;amp;quot;,&amp;amp;quot;Hugo&amp;amp;quot;,&amp;amp;quot;Hugo Deodorant Stick 70g/2.4oz&amp;amp;quot;,26.50,0);
INSERT INTO Strawberry VALUES (&amp;amp;quot;Loris Azzaro&amp;amp;quot;,&amp;amp;quot;Azzaro Elixir&amp;amp;quot;,&amp;amp;quot;Azzaro Elixir Coffret: Eau De Toilette Spray 100ml/3.3oz + Deodorant Stick 75g/2.5oz 2pcs&amp;amp;quot;,42.50,50);

Using the database I was able to construct as much SQL-queries as I wished, to sort goods of my favorite brands using SELECT, SORT, ORDER and other SQL structures.

The profit I received:

  • saved some money buying the goods
  • saved some time (it’s easier to manage DB than to use that site)
  • the most important: put into practice the knowledge I gained after listening the db-class Stanford course!

Many thanks to Stanford Engineering and Prof. Jennifer Widom.

rTorrent with ruTorrent GUI from GIT on Ubuntu Linux 12.04

Bash script:

sudo apt-get --purge remove libxmlrpc* libtorrent* rtorrent
sudo apt-get install build-essential checkinstall libcurl4-openssl-dev libncurses5-dev libncursesw5-dev libsigc++-2.0-dev libtool git autoconf automake libcppunit-dev subversion

# Check that your g++ is 4.7+ (if so, skip this block)
g++ --version
sudo add-apt-repository ppa:ubuntu-toolchain-r/test 
sudo apt-get update
sudo apt-get install gcc-4.7 g++-4.7 
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-4.6 60 --slave /usr/bin/g++ g++ /usr/bin/g++-4.6
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-4.7 40 --slave /usr/bin/g++ g++ /usr/bin/g++-4.7
sudo update-alternatives --config gcc

#fresh xmlrpc-c lib install
svn co https://svn.code.sf.net/p/xmlrpc-c/code/advanced xmlrpc-c
cd xmlrpc-c
./configure --prefix=/usr
make
#change version from "C" to smth else while installing the package
sudo checkinstall -D
cd ..

#libtorrent install
git clone git://github.com/rakshasa/libtorrent.git
cd libtorrent
./autogen.sh
./configure --prefix=/usr --with-posix-fallocate
make
sudo checkinstall -D
cd ..

#rtorrent install
git clone git://github.com/rakshasa/rtorrent.git
cd rtorrent
./autogen.sh
./configure --prefix=/usr --with-xmlrpc-c
make
sudo checkinstall -D

#rutorrent web-GUI
cd /var/www/
sudo svn co http://rutorrent.googlecode.com/svn/trunk/rutorrent
sudo chown -R  www-data:www-data /var/www/
sudo chmod -R  777 /var/www/rutorrent/share

#update rutorrent
cd /var/www/rutorrent
sudo svn up

#autolaunch on startup
sudo apt-get install screen
echo "screen -fa -d -m rtorrent" >> /etc/rc.local

# nginx
sudo add-apt-repository ppa:nginx/stable
sudo apt-get update
sudo apt-get install nginx

Last revised: Nov 22, 2014 (script is originally written for Ubuntu 12.04)