Le blog de Jean David TECHER, un Réunionnais à Saint-Priest/Lyon

Mise à jour du 2009-04-25: Je tenais à remercier les retours des utilisateurs concernant les installations nécessaires dans ce billet :). Je ferais donc les correctifs nécessaires en fonction des retours

Après mettre livré à des tests avec nginx, je me suis tourné vers lighttpd ces derniers jours vu que le module h264 de code-shop.com supporte ce serveur...Je fournis donc ici les commandes que j'ai utilisé pour mettre en place mes tests. Le but justement est d'utiliser le module h264 développé par code-shop sur un serveur comme lighttpd pour faire du pseudostreaming sur du mp4 (pouvori seeker (= se déplacer sur la vidéo), etc...). J'ai choisi le lecteur Flow Player car il se montre très simple dans son utilisation et est très paramètrable

Cet article est donc un condensé de tout ce que j'ai pu trouvé sur le web

Pré-requis

1. Une version de ffmpeg compilée avec libx264 et libfaac. Si on est sous Ubuntu, on peut prendre ma version compilée en full static - quasiment peu dépendances à part les lib systèmes - disponible à http://www.davidgis.fr/download/ffmpeg-fullstatic-svnr17003.tar.bz2
2. Une bonne machine (de préférence assez récente) pour faire la conversion

Plan de l'article

Le plan de cet article est le suivant

• [Optionnel] Compilation de PHP en mode FastCGI et de xcache pour une question de performance
• Installation de lighttpd et du module h264 développé par code-shop
• Conversion en utilisant ffmpeg en mp4
• Faire cohabiter apache et lighttpd avec mod_proxy: car mon serveur Web par défaut est Apache. Le but est donc de pouvoir afficher la vidéo sans déplacer l'intégralité de mon site par simple redirection.
• Un exemple avec FlowPlayer

Remarque: comme on ne change pas une équipe comme pour l'un de mes précédents articles, le film en question est une petite vidéo sur Jana Defi....

0. Php et xcache

Lighttpd fonctionne parfaitemment avec une version de PHP compilée en version FastCGI. Ici je propose de l'installer en proposant ce mode

Php

Il faut mieux posséder une version de Php >= 5.2.Y où Y est un numéro de la version

Pour ceux qui souhaite en avoir une, vous pouvez télécharger la mienne un peu veillote mais bon à http://www.davidgis.fr/download/php-5.2.1.tar.bz2

On télécharge, on compile en précisant les 3 options minimums comme suite

wget http://www.davidgis.fr/download/php-5.2.1.tar.bz2 -O -|tar xjf -
cd php-5.2.1 && ./configure --enable-fastcgi --enable-discard-path --enable-force-cgi-redirect && make && make install

A chaque fois que je réinstalle php, j'ai pour habitude de copier le binaire résultant /usr/local/bin/php vers /usr/lig/cgi-bin et de récupérer le fichier php.ini-dist dans ce même répertoire en le renommant en php.ini

mkdir -p /usr/lib/cgi-bin/
cp /usr/local/bin/php /usr/lib/cgi-bin/
cp php.ini-dist /usr/lib/cgi-bin/php.ini

Remarque: il faudra peut-être effectuer quelques réglages pour la suite dans le fichier php.ini en fonction de ce que vous utilisez

Concernant le fichier php.ini

Xcache

Ici je partirais du principe que cette section

wget http://xcache.lighttpd.net/pub/Releases/1.2.2/xcache-1.2.2.tar.gz -O - | tar xzf -
cd xcache-1.2.2
phpize
./configure --enable-xcache
make
make install

make install aura pour effet de déployer la librairie xcache.so dans le répertoire des extensions de php. Chez moi le répertoire en question est obtenue en faisant

root@olivia:~# php-config  --extension-dir
/usr/local/lib/php/extensions/no-debug-non-zts-20060613

On vérifie donc que xcache.so a bien été installé

root@olivia:~/tmp/php-5.2.1# grep xcache -r $(php-config  --extension-dir)
Fichier binaire /usr/local/lib/php/extensions/no-debug-non-zts-20060613/xcache.so concorde

Bingo

Concernant xcache, il est nécessaire d'ajuster quelques paramètres pour la suite. Confomément à la littérature niveau performance que j'ai pu trouvé sur le Web et les diverses recommendations pour ma connexion derrière ma Freebox V4, voici ce que j'ai copié à la fin de mon fichier php.ini. Ce qui suit est donc à mettre et à adapter à la fin de votre fichier php.ini

[xcache-common]
extension = xcache.so
[xcache.admin]
xcache.admin.enable_auth = On
xcache.admin.user = "mOo"
xcache.admin.pass = ""
[xcache]
xcache.shm_scheme =        "mmap"
xcache.size  =                128M
xcache.count =                 1
xcache.slots =                8K
xcache.ttl   =                 0
xcache.gc_interval =           0
xcache.var_size  =            10M
xcache.var_count =             1
xcache.var_slots =            8K
xcache.var_ttl   =             0
xcache.var_maxttl   =          0
xcache.var_gc_interval =     300
xcache.test =                Off
xcache.readonly_protection = Off
xcache.mmap_path =    "/dev/zero"
xcache.coredump_directory =   ""
xcache.cacher =               On
xcache.stat   =               On
xcache.optimizer =           On
[xcache.coverager]
xcache.coverager =          Off
xcache.coveragedump_directory = ""
cgi.fix_pathinfo=1

1. LIGHTTPD

1. Lighttpd - Préparation avant compilation

Il faut suivre les indications de http://h264.code-shop.com/trac/wiki/Mod-H264-Streaming-Lighttpd-Version2

On télécharge donc les sources remaniées de lighttpd version 1.4.18 ainsi que les sources du module h264 streaming

svn export http://h264.code-shop.com/svn/h264/tags/mod_h264_streaming-2.0/lighttpd-1.4.18 lighttpd-1.4.18
svn export --force http://h264.code-shop.com/svn/h264/tags/mod_h264_streaming-2.0/mp4split lighttpd-1.4.18/src

On télécharge ensuite les sources de lighttp 1.4.20

wget http://opensu.se/~darix/lighttpd/lighttpd-1.4.20.prerelease.r2303.tar.gz -O - | tar xzf -

Ensuite, il faut procéder à quelques modifications et copie de fichiers

• Il faut copier les sources du modules h264 vers ceux de lighttpd 1.4.20

  cp lighttpd-1.4.18/src/moov.* lighttpd-1.4.20/src/
  cp lighttpd-1.4.18/src/mod_h264_streaming.c lighttpd-1.4.20/src/
  

• Il est ensuite nécessaire de modifier le fichier lighttpd-1.4.20/src/Makefile.am afin que le module h264 soit compilé, en ajoutant les lignes suivantes

  lib_LTLIBRARIES += mod_h264_streaming.la
  mod_h264_streaming_la_SOURCES = mod_h264_streaming.c moov.c
  mod_h264_streaming_la_LDFLAGS = -module -export-dynamic -avoid-version -no-undefined
  mod_h264_streaming_la_LIBADD = $(common_libadd)
  	

2. Lighttpd - Compilation, Installation

On lance la configuration

./configure --enable-maintainer-mode --prefix=/opt/lighttpd-1.4.20
make
make install

3. Lighttpd - configuration pour h264 et demarrage

Personnellement, j'ai récupéré le fichier conf/lighttpd.conf contenu dans les sources et je l'ai copié vers /opt/lighttpd-1.4.20/conf

mkdir /opt/lighttpd-1.4.20/conf
cp ~/lighttpd-1.4.20/openwrt/lighttpd.conf /opt/lighttpd-1.4.20/conf

Conformément aux notes de http://h264.code-shop.com/trac/wiki/Mod-H264-Streaming-Lighttpd-Version2, en fusionnant toutes les recommendations fournis, mon fichier de configuratione est

root@olivia:~# grep -v -e "^#" -e "^$" /opt/lighttpd-1.4.20/conf/lighttpd.conf 
server.modules              = (
			        "mod_access",
				"mod_expire",
				"mod_secdownload",
				"mod_h264_streaming"				
)
server.document-root             = "/www/"
server.indexfiles          = ( "index.php", "index.html",
                                "index.htm", "default.htm" )
mimetype.assign            = (
  ".pdf"          =>      "application/pdf",
  ".sig"          =>      "application/pgp-signature",
  ".spl"          =>      "application/futuresplash",
  ".class"        =>      "application/octet-stream",
  ".ps"           =>      "application/postscript",
  ".torrent"      =>      "application/x-bittorrent",
  ".dvi"          =>      "application/x-dvi",
  ".gz"           =>      "application/x-gzip",
  ".pac"          =>      "application/x-ns-proxy-autoconfig",
  ".swf"          =>      "application/x-shockwave-flash",
  ".tar.gz"       =>      "application/x-tgz",
  ".tgz"          =>      "application/x-tgz",
  ".tar"          =>      "application/x-tar",
  ".zip"          =>      "application/zip",
  ".mp3"          =>      "audio/mpeg",
  ".m3u"          =>      "audio/x-mpegurl",
  ".wma"          =>      "audio/x-ms-wma",
  ".wax"          =>      "audio/x-ms-wax",
  ".ogg"          =>      "audio/x-wav",
  ".wav"          =>      "audio/x-wav",
  ".gif"          =>      "image/gif",
  ".jpg"          =>      "image/jpeg",
  ".jpeg"         =>      "image/jpeg",
  ".png"          =>      "image/png",
  ".xbm"          =>      "image/x-xbitmap",
  ".xpm"          =>      "image/x-xpixmap",
  ".xwd"          =>      "image/x-xwindowdump",
  ".css"          =>      "text/css",
  ".html"         =>      "text/html",
  ".htm"          =>      "text/html",
  ".js"           =>      "text/javascript",
  ".asc"          =>      "text/plain",
  ".c"            =>      "text/plain",
  ".conf"         =>      "text/plain",
  ".text"         =>      "text/plain",
  ".txt"          =>      "text/plain",
  ".dtd"          =>      "text/xml",
  ".xml"          =>      "text/xml",
  ".mpeg"         =>      "video/mpeg",
  ".mpg"          =>      "video/mpeg",
  ".mov"          =>      "video/quicktime",
  ".qt"           =>      "video/quicktime",
  ".avi"          =>      "video/x-msvideo",
  ".asf"          =>      "video/x-ms-asf",
  ".asx"          =>      "video/x-ms-asf",
  ".wmv"          =>      "video/x-ms-wmv"
 )
h264-streaming.extensions = ( ".mp4", ".f4v" )

url.access-deny             = ( "~", ".inc" )
server.port                = ????
$HTTP["url"] =~ "\.(mp4|f4v)$" {
   expire.url = ( "" => "access 8 hours" )
}
secdownload.secret          = "secret"
secdownload.document-root   = "/var/www/video/"
secdownload.uri-prefix      = "/video/"
secdownload.timeout         = 3600

où ??? ligne server.port est le port pour lighttpd. On prendra soin de noter que contrairement aux recommendations, le paramètre h264-streaming.buffer-seconds = 10 n'est pas reconnu par lighttpd.

3.2 Lighttpd -test du fichier de configuration et démarrage de lighttpd

Pour tester, le fichier on fait

root@olivia:~# /opt/lighttpd-1.4.20/sbin/lighttpd  -t -f /opt/lighttpd-1.4.20/conf/lighttpd.conf
Syntax OK

Pour lancer le serveur sans le mettre en background:

root@olivia:~# /opt/lighttpd-1.4.20/sbin/lighttpd  -D -f /opt/lighttpd-1.4.20/conf/lighttpd.conf
2009-04-04 14:52:51: (log.c.97) server started 

sinon il suffit d'enlever le flag '-D'. Un simple [CTRL]+[C] pour arrêter le serveur...

3.4 Lighttpd - Intégration et activation de PHP

Comme j'ai déjà ma version de php compilé en CGI pour MapServer, il me suffit d'ajouter

• pour la partie consacrée aux modules:

  server.modules              = (
                                  ...
                                  "mod_fastcgi",
                                  ...
  )
  

• et pour fastcgi.server

  fastcgi.server = ( ".php" => ((
    "bin-path" => "/usr/lib/cgi-bin/php",
    "socket" => "/tmp/php.socket"
    ))) 
  

où /usr/lib/cgi-bin/php est mon binaire php déjà disponible car utilisé avec MapServer (comme quoi mon expérience sous les SIG est utile ici )...

Version de développement 2.1 du module h264 - Notes personnelles

La version actuellement en cours de développement est la 2.1rc. Pour la tester

LIGHTTPD_VERSION="5.0";

cd $HOME
[-d "$HOME/lighttpd-1.${LIGHTTPD_VERSION}"] && rm -rf lighttpd-1.${LIGHTTPD_VERSION}

svn export http://h264.code-shop.com/svn/h264/tags/mod_h264_streaming-2.1rc/lighttpd-1.${LIGHTTPD_VERSION} lighttpd-1.${LIGHTTPD_VERSION}
svn export --force http://h264.code-shop.com/svn/h264/tags/mod_h264_streaming-2.1rc/mp4split lighttpd-1.${LIGHTTPD_VERSION}/src

cd lighttpd-1.${LIGHTTPD_VERSION}
./configure --enable-maintainer-mode --prefix=/opt/lighttpd-1.${LIGHTTPD_VERSION}
make
make install
cd

/opt/lighttpd-1.${LIGHTTPD_VERSION}/sbin/lighttpd -D -f /opt/lighttpd-1.${LIGHTTPD_VERSION}/conf/lighttpd.conf

Je me note ici lesdifférences suivantes par rapport à lighttpd 1.4.X (à tester plus tard quand j'aurais le temps )

• la révision actuelle du dépot SVN est la 125
• l'activation de PHP utilise deux autres modes autre que mod_fascgi; (mode_proxy??? et ??? pas encore tester)...
• Au démarrage le serveur est en mode debug...beaucoup de traces concernant le déplacement pendant le lecture d'une vidéo.

Ffmpeg -conversion des films en h264/acc pour mp4

Pour la suite, il faut disposer d'une version assez récente de ffmpeg. Sur le site de code-shop.com, est proposé des options pour ffmepg disponibles à http://h264.code-shop.com/trac/wiki/Encoding. A partir de maintenant, il est aussi bien possible de reprendre les options proposées que d'utiliser les ffpresets de ffmepg.

L'utilisation depuis http://h264.code-shop.com/trac/wiki/Encoding suppose que les vidéos ne soients pas énormes en dimension ou d'avoir une bande passante assez conséquente. Elles sont adaptées pour la plupart des cas. Personnellement je me tourne maintenant vers les ffpresets.

Si on a les sources de ffmpeg, il suffit de les récupérer et de les mettre dans son home dans le sous-répertoire .ffmpeg

mkdir $HOME/.ffmpeg
cp /chemin/source/de/ffmpeg/ffpresets/*ffpreset $HOME/.ffmpeg/

Plusieurs modes sont disponibles

root@olivia:~# ls $HOME/.ffmpeg
libx264-baseline.ffpreset       libx264-hq.ffpreset       libx264-lossless_fast.ffpreset    libx264-lossless_slower.ffpreset     libx264-main.ffpreset    libx264-slowfirstpass.ffpreset
libx264-default.ffpreset        libx264-ipod320.ffpreset  libx264-lossless_max.ffpreset     libx264-lossless_slow.ffpreset       libx264-max.ffpreset
libx264-fastfirstpass.ffpreset  libx264-ipod640.ffpreset  libx264-lossless_medium.ffpreset  libx264-lossless_ultrafast.ffpreset  libx264-normal.ffpreset

Après quelques tests, j'ai donc jeté mon dévolu sur les modes normal et hq vu que mon serveur est derrière une FreeBox V4...Mais la qualité est satisfaisante

Exemple sur un avi

Sur le serveur j'ai un film de deux minutes de Jana Defi - que votre bienfaiteur aura trouvé sur le Web -. Avant de lancer la conversion, il me faut connaître les dimensions:

root@olivia:~# ffmpeg -i Jana_Defi_Nuts_Issue_3-2007.avi 2>&1|grep Video
    Stream #0.0: Video: mpeg4, yuv420p, 480x270 [PAR 1:1 DAR 16:9], 25.00 tb(r)

Déjà les dimensions sont width=480 et height=270. Si je lance la conversion immédiatemment, ffmpeg effectuera la conversion mais me renverra le message

libx264 @ 0x84d8970]width or height not divisible by 16 (480x270),compression will suffer.

Alors

• 480 / 16 = 30...c'est OK
• 270 / 16 = 16 x 16 + 14...pas OK....L'astuce va donc résider à jouer sur l'ajout horizontal de bande noir autour de la vidéo. Celà concerne les flags -padtop et -padbottom. Ces deux derniers doivent être des multiples de 2. Je vais me contenter d'opérer qu'une bande noire de longueur 2 en bas

Pour la conversion, on prend du HQ, ce qui donne donc

 ffmpeg -y -i Jana_Defi_Nuts_Issue_3-2007.avi -vcodec libx264 -padtop 0 -padbottom 2 -g 30 -vpre hq /tmp/tmpfile.mp4 ;
qt-faststart /tmp/tmpfile.mp4 Jana_Defi_Nuts_Issue_3-2007.mp4

REMARQUE:

Pour obtenir qt-faststart, il faut le compiler depuis les sources de ffmpeg et le copier dans un répertoire disponible du PATH

cd /chemin/source/de/ffmpeg/tools
gcc -o qt-faststart qt-faststart.c
cp qt-faststart /usr/local/bin

Note sur les keyframes

Pour jouer sur les keyframes, il faut paramètrer le flag -g de ffmpeg. A tester en fonction de vos vidéos!!!

Faire cohabiter Apache 1.3 et lighttpd: mod_proxy

Mon blog étant sous Apache, il est possible le temps de ce billet de les faire cohabiter, en activant le module proxy d'apache et en procédant à une redirection. Bien sûr, il est nécessaire que le port soit ouvert. Pour la suite, ici [PORT]désigne le port en question.

Dans le script /etc/apache/modules.conf, on active le mod_proxy:

root@olivia:~# grep proxy /etc/apache/modules.conf
LoadModule proxy_module  /usr/lib/apache/1.3/libproxy.so

Pour la suite, je vais me créer deux répertoires:

• /www/movies qui contiendra mes films
• /www/imagettes qui contiendra les imagettes de mes films avant le chargement de la vidéo

Pour procéder à la redirection, dans le fichier de configuration d'apache - /etc/apache/httpd.conf -, on effectue la redirection suivante

    ProxyPass  /movies http://www.davidgis.fr:[PORT]/movies
    ProxyPassReverse  /movies http://www.davidgis.fr:[PORT]/movies
    ProxyPass  /imagettes http://www.davidgis.fr:[PORT]/imagettes
    ProxyPassReverse  /imagettes http://www.davidgis.fr:[PORT]/imagettes

REMARQUE IMPORTANTE: S'assurer de laisser de ne pas activer le paramètre ProxyRequests Off

REMARQUE: Comme je parle d'imagette pour le film que j'ai précédemment converti, pour créer l'imagette, je fais

ffmpeg -y -i /www/movies/Jana_Defi_Nuts_Issue_3-2007.mp4 -an -ss 00:00:14 -r 1 -vframes 1 -f mjpeg /www/imagettes/Jana_Defi_Nuts_Issue_3-2007.png

Flow Player: lecteur Flash

Téléchargement

Récemment en date du 2009-03-07, une nouvelle version estampillé en 3.0.7 est disponible sur le site flowplayer.org...

Pour de plus amples renseignements concernant le pseudostreaming, il faut se rendre à http://flowplayer.org/plugins/streaming/pseudostreaming.html

Il est nécessaire de télécharger la version GPL ainsi qu'un le binaire swf disponible sur le précédent lien (voir fin de page)....

Bon allez, on se montre sympa, on peut tout récupérer directement tout ça à http://www.davidgis.fr/download/flowplayer-3.0.7-h264.zip

Le zip en question contiendra donc

• flowplayer-3.0.6.min.js
• flowplayer-3.0.7.swf
• flowplayer.controls-3.0.4.swf
• flowplayer.pseudostreaming-3.1.1.swf

Un exemple

<script type="text/javascript" src="flowplayer-3.0.6.min.js"></script>

<a style="display:block;width:480px;height:272px" id="jana">
	<img src='/imagettes/Jana_Defi_Nuts_Issue_3-2007.png'/>
</a>

<script type="text/javascript">
flowplayer("jana", "flowplayer-3.0.7.swf", {
  clip: {
    url: '/movies/Jana_Defi_Nuts_Issue_3-2007.mp4',
    provider: 'h264streaming'
  },
  plugins: {
    h264streaming: {
      url: 'flowplayer.pseudostreaming-3.1.1.swf'
    },
    controls: {  
      url: 'flowplayer.controls-3.0.4.swf',  
      play:false,       
      fullscreen:true,  
      scrubber: true          
    }               
  }
});

</script>

Ce qui donnera par exemple

Cliquez sur l'image pour lancer la vidéo. L'encodage est de qualité moyenne vu ma connexion chez Free!

Incorporer le button play à l'imagette

Ceci est une mise à jour de ce billet

Il faut récupérer le bouton en question à http://flowplayer.org/img/player/btn/play_text.png

donc

wget http://flowplayer.org/img/player/btn/play_text.png

Puis

ffmpeg -y -i Jana_Defi_Nuts_Issue_3-2007.mp4 -an -ss 00:00:14 -r 1 -vframes 1 -f mjpeg -vhook '/usr/lib/vhook/imlib2.so -x W/2-52  -y H/2-20  -i play_text.png' Jana_Defi_Nuts_Issue_3-2007.png

Il y a cette url http://softlibre.gloobe.org/doku.php/foss/optimisationpgsql.

Une petite vidéo que j'ai pris du temps à trouver mais tout aussi réussie...Que du charme de la belle. Il faut cliquer sur l'image pour lancer la vidéo.

Pour information:

• conversion du film en passant le film en paramètre au script suivant

  if [ ! -f ${INPUT_FILE:="$1"} ]
  then
  {
          echo "fichier inexistant!";
          exit 1;
  }
  else
  {
          PATH=/opt/ffmpeg-svn-static/bin/:$PATH
  
          TMP_FILE="/root/tmpfile.mp4";
  
          THX="${INPUT_FILE//*\//}";
  
          OUTPUT_FILE="/opt/nginx/html/${THX%.*}.mp4";
  
          FFMPEG_OPTIONS="-y -vcodec libx264 -b 512k -s 384x216 -flags +loop+mv4 -cmp 256 \
             -partitions +parti4x4+parti8x8+partp4x4+partp8x8+partb8x8 \
             -me_method hex -subq 7 -trellis 1 -refs 5 -bf 3 \
             -flags2 +bpyramid+wpred+mixed_refs+dct8x8 -coder 1 -me_range 16 \
             -g 250 -keyint_min 25 -sc_threshold 40 -i_qfactor 0.71 -qmin 10\
             -qmax 51 -qdiff 4"
  
          [ -f "$TMP_FILE" ] && rm -f "$TMP_FILE";
  
          ffmpeg -y -i "$INPUT_FILE" -an -pass 1 -threads 2 $FFMPEG_OPTIONS "$TMP_FILE"
  
          ffmpeg -y -i "$INPUT_FILE" -acodec libfaac -ar 44100 -ab 96k -pass 2  -threads 2 $FFMPEG_OPTIONS "$TMP_FILE"
  
          qt-faststart "$TMP_FILE" "$OUTPUT_FILE"
  }
  fi
  

• génération de l'image pour le film

  ffmpeg -y -i ../DM-window.mp4 -y -an -ss 00:01:45  -r 1 -vframes 1 -s 384x216 -f mjpeg ../DM-window.png

Un vrai bonheur http://forum.skins.be/18-videos/7192-denise-milani/5/ notamment pour le film "In the dark". Il faut fouiner dans le forum pour trouver les vidéos à télécharger.