Descarga de vídeos Flash, Parte 3: El formato F4F

• • 46 Comments • Castellano, Linux, Mac, Merged from w.corvera.eu, Recipes, Video

Y continuando con la serie, tenemos un nuevo formato que, de nuevo, viene a complicarnos la vida, aunque como de costumbre hay formas de descargarlo: El (relativamente) nuevo formato de Adobe "HTTP Dynamic Streaming" (o F4F). A día de hoy este formato lo utiliza, por ejemplo, La Sexta en sus programas completos.

La mayor complicación de este formato es que los vídeos vienen en múltiples fragmentos pequeños, y unirlos tiene su truco. Por suerte un tal KSV ha preparado un script que permite automatizar el proceso de descarga y unión de fragmentos. El script está escrito en PHP por lo que debería funcionar en cualquier sistema operativo, una vez instalado el intérprete de PHP.

En el caso que he probado, la descarga no puede ser más fácil: hay que obtener la URL del "manifiesto" (un archivo que indica qué archivos hay que descargar) y ya está.
Una forma fácil de obtener esta URL (aunque un pelín complicada de explicar) es abrir Firefox, presionar CTRL+SHIFT+K para desplegar la consola y asegurarse que "Net" está marcado, cargar la pagina del vídeo y darle al "play". En la consola introducimos ".f4m" en el campo Filtro y deberíamos obtener la URL indicada, haciendo click en la URL se abrirá una ventana, donde la linea Request URL (o URL de la petición) es la que nos interesa.

Por ejemplo, si obtenemos:
Request URL: http://servicio.ejemplo.com/v/programa/hd/ABCDEF.mp4/manifest.f4m?c=ABCDEF, deberemos ejecutar el script con:

$ php AdobeHDS.php --manifest "http://servicio.ejemplo.com/v/programa/hd/ABCDEF.mp4/manifest.f4m?c=ABCDEF"

con lo cual se descargarán y unirán los fragmentos, creando un archivo con extensión .flv. Los fragmentos individuales no se borrarán automáticamente.
No lo he comprobado pero dependiendo del servidor es posible que tengas que pasar también el argumento --auth {VALOR}, donde {VALOR} se obtiene de forma parecida a como con el manifiesto pero filtrando con "Seg".

Se puede obtener el script AdobeHDS.php en https://raw.github.com/K-S-V/Scripts/master/AdobeHDS.php
 (y otros scripts del mismo autor en https://github.com/K-S-V/Scripts)

Fuente: http://stream-recorder.com/forum/adobe-hds-downloader-t12074.html

VCS 1.12.3 released

• • English, Linux, Video Contact Sheet

I haven't updated VCS in a while and somehow managed to keep this update ready but unreleased for months, so today I decided it was about time to get rid of it and be free to work on 1.13 😛

This is a minor update with a couple bugfixes, but most importantly, it marks the switch to bash 3; this means a lot of small changes to the code so you should update to 1.12.3 to test if it works correctly before I release future versions (eventually 🙂 with much more important changes.

Changes (excerpt):

  • Bugfix: Actually handle –ffmpeg and –mplayer [#169]
  • Bugfix: Correct parsing of -U [#187]
  • Switch to a minimum of bash 3.1 [#173]
  • Avoid re-capturing the same frame twice [#122]
  • Use getent instead of /etc/passwd when available
  • Bugfix/Internal: Don't use mplayer's length as a ceil for timecode removal [#174]
vcs 1.12.3
http://p.outlyer.net/vcs/files/vcs-1.12.3.gz (script only)

or
http://p.outlyer.net/vcs/files/vcs-1.12.3.tar.gz (script, sample configuration, manpage and profiles)

deb, rpm, PKGBUILD & bz2
as usual at http://p.outlyer.net/vcs/

Descarga de vídeos Flash, Parte 2: rtmpsuck

• • 12 Comments • Castellano, Linux, Merged from w.corvera.eu, Recipes, Video

Los métodos que comentaba en la primera parte no siempre funcionan, principalmente porque últimamente han proliferado las webs en que el archivo no se descarga por métodos tradicionales y por lo tanto no se encuentra donde siempre. Éstas webs usan el protocolo RTMP, diseñado precisamente para dificultar que nos guardemos el vídeo. Sin embargo no es imposible, sólo más complicado.
Webs como las de las televisiones a menudo usan RTMP. Este método lo he probado con La Sexta y funciona sin problema.

Usaremos rtmpsuck. El método explicado aquí es para Linux. rtmpsuck también funciona en Windows aunque el método es algo más complicado.

Este método consiste en hacer pasar todo el tráfico RTMP (el protocolo usado con esos vídeos Flash que en teoría no se pueden descargar) por el programa rtmpsuck, que actuará de proxy y guardará los vídeos al mismo tiempo que se reproducen.

Paso 1. Descarga rtmpdump. En muchas distribuciones ya está incluido así que primero prueba con el método estándar:

# apt-get install rtmpdump
o
# yum install rtmpdump

Si necesitases bajar el código fuente y compilar, usa
$ make SYS=posix
una vez descomprimido

Paso 2. Crea un nuevo usuario. Usaremos este usuario para interceptar el tráfico RTMP.

# adduser rtmpsucker
o gráficamente, en GNOME, Sistema > Administración > Usuarios y grupos

Paso 3. Re-asigna todo el tráfico RTMP a este usuario:

# iptables -t nat -A OUTPUT -p tcp --dport 1935 -m owner  ! --uid-owner rtmpsucker  -j REDIRECT

Paso 4. Usa rtmpsuck con el nuevo usuario

# su rtmpsucker
# /usr/sbin/rtmpsuck

Esto crea un proxy que interceptará el tráfico RTMP, te permitirá ver los vídeos con normalidad pero al mismo tiempo los guardará en el disco. Usa CTRL+C para cancelar rtmpsuck cuando ya no lo necesites.

Paso 5. Abre el vídeo normalmente con el navegador.

rtmpsuck lo guardará al mismo tiempo que lo reproduces.

El programa acelerará la descarga del vídeo, descargándolo más rápido que el navegador, aunque cuando lo he probado, si pausaba la reproducción en el navegador se paraba la descarga.

Según los casos puede ser que tengas que volver a lanzar rtmpsuck para diferentes vídeos. Si éste es el caso y antes del vídeo que te interesa te ponen publicidad, lo mejor es lanzarlo mientras se reproduce la publicidad, así no la capturará pero sí el vídeo.

Fuente: http://stream-recorder.com/forum/showthread.php?t=7070

Descarga de vídeos Flash, Parte 1

• • Leave a Comment • Castellano, Linux, Merged from w.corvera.eu, Recipes, Video

Para guardar un vídeo flash, de una de esas webs estilo Youtube que se han multiplicado como conejos, una forma muy fácil y que ha funcionado durante mucho tiempo es buscar el video entre los archivos temporales y/o la caché del navegador, dependiendo de la versión de Flash instalada.
Sin embargo en Linux, con las últimas versiones, el vídeo no se encuentra en ninguno de los dos sitios.

El truco: el archivo sí que se guarda en el directorio temporal, pero se borra una vez abierto. Es una de las características de Linux: un archivo abierto puede ser borrado "virtualmente", a todos los efectos parecerá que se ha borrado pero mientras siga abierto se podrá acceder a él normalmente; cuando se cierre, el archivo se borrará de verdad.

Es una forma de crear archivos temporales auto destructibles, que se borran una vez se cierra el programa que los está usando.
El plugin de Flash usa este método, lo cual hace parecer que el archivo de vídeo que se está reproduciendo no está disponible en el disco duro. Sin embargo no es así.

Linux proporciona un método para acceder a los archivos abiertos por un proceso, lo cual nos permite hacer una copia antes de cerrar el reproductor: el sistema de archivos /proc.
Dentro de /proc hay un directorio para cada proceso, y dentro de cada uno de ellos hay un directorio que contiene enlaces a todos los archivos abiertos por el proceso. Podemos usar esos enlaces para acceder a los archivos sin problema.

El proceso es simple, primero reproducimos el vídeo en navegador, es importante no cerrar la página del vídeo y en algunos casos interesa no acabar la reproducción. En la mayoría de reproductores Flash una barra de otro color nos indicará cuánto del vídeo se ha descargado, por lo tanto bastará con reproducir hasta que se llene la barra y luego pausar el vídeo. A continuación buscaremos el enlace en /proc:

Paso 1. Obtenemos el identificador de proceso. En la mayoría de navegadores deberemos buscar el proceso del navegador. Si usamos Google Chrome (o Chromium) deberemos buscar el proceso del plugin flash ya que son procesos separados:

$ pidof firefox-bin # Firefox
4725

En este caso el identificador es 4725

$ ps -ef | grep libflashplayer # Google Chrome
toni  18393 12796 0 17:55 pts/0 00:05:28 /opt/google/chrome/chrome --type=plugin --plugin-path=/usr/lib/flashplayer-square/libflashplayer_square.so --lang=ca --plugin-data-dir=/home/toni/.config/google-chrome/Default --channel=16248.0x6d16e00.377218180

En este caso el identificador es 18393

Paso 2. Accedemos a la lista de archivos abiertos por firefox. La lista será larga pero encontrar los vídeos Flash es fácil porque todos se llaman "FlashXXXXXXXX" donde las X son letras al azar
$ cd /proc/4725/fd
$ ls -l | grep Flash........
lrwx------ 1 toni toni 64 29 mar 17:48 77 -> /tmp/FlashXXUR50Bl (deleted)

Es decir, el archivo "77" (/proc/4725/fd/77) enlaza con un video borrado del disco. Ahora podemos copiar ese archivo. Copiar, ya que es un enlace blando no podemos ni moverlo ni enlazarlo. Por eso es importante haber dejado que se llene la barra (que se descargue por completo), ya que al copiarlo sólo copiaremos la parte descargada hasta ese momento.

$ cp 77 ~/video.flv

Si hemos dejado descargar el archivo por completo tendremos una copia del vídeo 🙂

En la segunda parte, descarga de vídeos sólo en streaming (protocolo rtmp).

Quick tip: Concatenating video files (with no quality loss)

• • Leave a Comment • Command Line, English, Linux, Merged from w.corvera.eu, Recipes

Concatenation of video files can be done quickly from the command-line, video files must "match" (e.g. a movie formerly split into parts) i.e. they must use the same codec and parameters, this methods won't work as expected with random files.

  • AVI files: Use mencoder with multiple inputs
    $ mencoder -oac copy -ovc copy -o output.avi input1.avi input2.avi [...]
  • MPEG files: They can either be concatenated directly:
    $ cat input1.mpg input2.mpg > output.mpg
    Or the mencoder method, which I prefer, can be used (note the output format must now be set):
    $ mencoder -oac copy -ovc copy -of mpeg -o output.mpg input1.mpg input2.mpg [...]
  • Quirks and other formats:
    • The mencoder method won't work for multi-audio files
    • mencoder has worse support for other formats, they might require an intermediate transmuxing to avi.

I'll update this post if I find better ways or alternatives to do this.

References:

VCS 1.11 released

• • 3 Comments • English, Linux, Video Contact Sheet

In this post:

Release notes

Finally a new version of vcs, and it brings a truckload of changes. So many in fact that it will probably break in new and unexpected ways but so far it has been working quite fine.

The major improvement will probably be the tweaks to video duration detection that should get rid of the dreaded "Failed to capture…" on the last capture.

Other new features worth mentioning:

  • Height can be defined as a percentage (-H 25%) or set configuration files (th_height=160)
  • Output filename can now be set manually (-o file)
  • Lots of small cosmetic tweaks, from default font and heading background, to tighter padding or smaller timestamps. And the ability to tweak or disable padding.
  • Support for DVD has been revamped and should work much better now.
  • FreeBSD users are now (mostly) first class citizens for vcs 😉
  • More concise --help output, added --fullhelp for the whole bore
  • Handling of non-latin filenames makes a lot more sense now
  • And last but not least, the usual lot of bugfixes, better detection of video features, better aspect ratio detection, new codec names, etc.

On a more mundane note, no longer both MPlayer and FFmpeg are required, either one will do (although both will render best results), bc is no longer required.

Also, I'm providing an rpm package too this time around.

And finally this version will work on bash 2.05b, in case you're using some tight system like DSL.

In case you wonder how the hell did I count to make 1.11 follow 1.0.100a, I just remembered I should bump the version when new features are added, and re-counted versions. Lame I know but at least numbering should make more sense now.

Important I forgot to add warnings about this: If you're using a configuration file, there's been some renamings: DEFAULT_NUMCAPS is now numcaps, DEFAULT_INTERVAL is now interval and DEFAULT_COLS is now cols.

Edit: 1.11.1 fixes this: warns about their usage and accepts them for now.

A note for everyone (but specially for porn aficionados)

Please, if at all possible link directly whenever you discuss vcs. I know many communities prefer to use link redirections to keep referrer hidden but knowing how people is using or what they're saying about vcs helps me in improving and fixing it.

I know full well such a script caters to pr0n uploaders and I'm not offended, no need to hide 😉

Conversely, if you know of any discussion about vcs feel free to let me know so that I can jump in or steal get ideas from it.

BTS and Documentation

Finally, in case you didn't notice, the documentation site has received a lot of love and now is much more useful, and I've also opened a bug tracker in case you prefer it to e-mail.

Documentation: http://p.outlyer.net/dox/vcs
BTS: http://b.outlyer.net/

VCS Beyond Linux

• • Leave a Comment • English, Linux, Video Contact Sheet

Before the next release I'd like to make VCS work better in other OSes beyond Linux. Linux is my (current at least) OS
of choice and the one I'm not familiar with so it's also obviously the OS in which I develop and test VCS.
Thanks to virtualisation
gaining a lot of momentum I'm now able to try operating systems I've never worked with (and which I'm pretty sure
will make VCS choke in ways I never expected); e.g. the very last major feature, DVD vidcapping, is written in a way not compatible
with, at least, FreeBSD. I'll focus on making vcs work better (or at all) on ther systems for a while, let's see
how it turns out.

VCS 1.0.99 released

• • English, Linux, Video Contact Sheet

New version released, finally implementing DVD support (both ISO and DVD devices should work).
Also JPEG 2000 output, a more Polaroid™-like

polaroid mode 😉 (the older one has been renamed to photos); the timestamp is now reduced
for smaller captures plus the usual batch of fixes/tweaks.

DVDs

Capturing from DVDs is a bit tricky, the filename is passed as an argument to -V while
the title number must be provided as if it were the file to capture, e.g.: $ vcs -V /dev/dvd 1

will capture the first title from the inserted DVD.

Passing 0 as DVD title will use the longest title in the disc (which is usually the main title):
$ vcs -V someiso.iso 0

DVD support *requires* lsdvd and fdisk (fdisk is used to detect the size of DVDs)
in this first version.

JPEG 2000

JPEG 2000 output (*.jp2 files) is used by passing the -j2 or --jpeg 2
option.

New polaroid mode

As for bugfixes: I finally came across the previously unreproducible bug that made the polaroid
and overlap modes place all images on the same spot. Guess it was a problem with a newer version of
ImageMagick since I've also encountered a lot of problems with some of the commands I was using.
I've fixed all I was able to find.
As a side effect, I've reworked once again the alignment of the different sheets.

This will be renamed as 1.1.0 if it works well enough for others.

Valor de retorno en el prompt

• • Leave a Comment • Castellano, Code, Command Line, Hacks, Linux, Merged from w.corvera.eu, Recipes

Este código sirve para indicar si el último comando ha tenido éxito o no, de manera que siempre esté visible en el propio prompt, es ideal para depurar código entre otras cosas.

Versión rápida (aunque no muy legible :P):
export PS1='$( [ "$?" -eq 0 ] && M=")" || M="("; echo -n :$M ) '$PS1

Incluyendo este fragmento en ~/.bashrc siempre estará activo:

# Indicacion de si el ultimo comando ha tenido exito
#    inspirada por http://mendel.livejournal.com/128965.html
#export PS1='`test "$?" -eq 0 && echo -n ":)" || echo -n ":(" ` '$PS1
# Version con funcion sacada de http://linuxgazette.net/122/lg_tips.html
#Alternativamente: "More-or-less undocumented Bash-ism - a C-style trinary operator":
#smiley () { echo -e ":\$(($??50:51))"; }
_smiley() {
   if [ $? -eq 0 ]; then echo ':)'
      else echo ':('
   fi
}
#...
export PS1='$(_smiley) '$PS1

Ejemplo:

:) toni@host:~$ false
:( toni@host:~$ true
:) toni@host:~$

Revisado y corregido por última vez el 2013-10-22

Scroll to Top