Features to be removed from VCS

There's some features in vcs I plan to remove to ease working on it's absurdly big code. I haven't seen them used in the wild except long ago, plus in my samples and manuals by others. I'm calling for your opinion, however, to know for sure if I should actually remove them or not. Use the comments section below or, preferably, email me at outlyer@gmail.com.

Features marked for deletion:

Descarga de vídeos Flash, Parte 3: El formato F4F

Y continuando con la serie, tenemos un nuevo formato que, de nuevo, viene a complicarnos la vida, aunque como de costumbre hay formas de descargarlo: El (relativamente) nuevo formato de Adobe "HTTP Dynamic Streaming" (o F4F). A día de hoy este formato lo utiliza, por ejemplo, La Sexta en sus programas completos.

La mayor complicación de este formato es que los vídeos vienen en múltiples fragmentos pequeños, y unirlos tiene su truco. Por suerte un tal KSV ha preparado un script que permite automatizar el proceso de descarga y unión de fragmentos. El script está escrito en PHP por lo que debería funcionar en cualquier sistema operativo, una vez instalado el intérprete de PHP.

En el caso que he probado, la descarga no puede ser más fácil: hay que obtener la URL del "manifiesto" (un archivo que indica qué archivos hay que descargar) y ya está.
Una forma fácil de obtener esta URL (aunque un pelín complicada de explicar) es abrir Firefox, presionar CTRL+SHIFT+K para desplegar la consola y asegurarse que "Net" está marcado, cargar la pagina del vídeo y darle al "play". En la consola introducimos ".f4m" en el campo Filtro y deberíamos obtener la URL indicada, haciendo click en la URL se abrirá una ventana, donde la linea Request URL (o URL de la petición) es la que nos interesa.

Por ejemplo, si obtenemos:
Request URL: http://servicio.ejemplo.com/v/programa/hd/ABCDEF.mp4/manifest.f4m?c=ABCDEF, deberemos ejecutar el script con:

$ php AdobeHDS.php --manifest "http://servicio.ejemplo.com/v/programa/hd/ABCDEF.mp4/manifest.f4m?c=ABCDEF"

con lo cual se descargarán y unirán los fragmentos, creando un archivo con extensión .flv. Los fragmentos individuales no se borrarán automáticamente.
No lo he comprobado pero dependiendo del servidor es posible que tengas que pasar también el argumento --auth {VALOR}, donde {VALOR} se obtiene de forma parecida a como con el manifiesto pero filtrando con "Seg".

Se puede obtener el script AdobeHDS.php en https://raw.github.com/K-S-V/Scripts/master/AdobeHDS.php
 (y otros scripts del mismo autor en https://github.com/K-S-V/Scripts)


Fuente: http://stream-recorder.com/forum/adobe-hds-downloader-t12074.html

nautilus-follow-symlink 1.2 released

I've just published an updated nautilus-follow-symlink, in case anyone is actually using it 😛

I've finally tested this version against both GNOME 2 and GNOME 3, and I'm also providing a variant to build against MATE's Caja (MATE is a fork of GNOME 2, and Caja its fork of Nautilus).

I've also written a version for Thunar, though that one I'm not publishing just yet.

This is pretty much a final version, I started looking for alternative desktops after GNOME 3 clashed with my brain, and as a consequence I've reduced my use of Nautilus considerably. I'll try to keep n-f-s buildable, but that's about it.

You can download the updated version as usually at http://p.outlyer.net/nautilus-follow-symlink.
There's both sources and binaries for Debian Stable (i386 & ambd64) and Fedora 17 (i686).
Additionally there a binary package of caja-follow-symlink for LMDE (i386).

VCS 1.12.3 released

I haven't updated VCS in a while and somehow managed to keep this update ready but unreleased for months, so today I decided it was about time to get rid of it and be free to work on 1.13 😛

This is a minor update with a couple bugfixes, but most importantly, it marks the switch to bash 3; this means a lot of small changes to the code so you should update to 1.12.3 to test if it works correctly before I release future versions (eventually 🙂 with much more important changes.

Changes (excerpt):

  • Bugfix: Actually handle –ffmpeg and –mplayer [#169]
  • Bugfix: Correct parsing of -U [#187]
  • Switch to a minimum of bash 3.1 [#173]
  • Avoid re-capturing the same frame twice [#122]
  • Use getent instead of /etc/passwd when available
  • Bugfix/Internal: Don't use mplayer's length as a ceil for timecode removal [#174]

vcs 1.12.3
http://p.outlyer.net/vcs/files/vcs-1.12.3.gz (script only)

or
http://p.outlyer.net/vcs/files/vcs-1.12.3.tar.gz (script, sample configuration, manpage and profiles)

deb, rpm, PKGBUILD & bz2
as usual at http://p.outlyer.net/vcs/

Relevation 1.1 released

A small update for Relevation.

It will now handle wrong passwords a bit more gracefully and it's also easier to use on Windows now.

Full list of changes:

  • Support cryptopy if PyCrypto is not available. Enhances cross-platform support.
  • Print an error message if the decryption produced wrong data (normally caused by a bad password)
  • Add PyCrypto/cryptopy to version info (--version)
  • Windows support enhancements:
    • Minimalistic GUI
    • Py2exe support
    • Packaging scripts
  • Fix $ make uninstall procedure

Relevation 1.1

http://p.outlyer.net/relevation/files/relevation-1.1.tar.gz
or
http://p.outlyer.net/relevation/files/relevation-1.1.zip (zip includes PDF and HTML manpage)

pre-packaged
http://p.outlyer.net/relevation/files/relevation_1.1-upstream.1_all.deb

New tool released: Relevation

I've just published a new tool I named 'Relevation'.

It's a command-line tool to access the passwords stored with the excellent Revelation Password Manager, which only provides a graphical interface.

I've been using the basis of my new tool on my computers for more than 4 years now and decided I might as well release it for others to use in case anyone else is interested.

It's is written in Python and has fairly simple dependencies, so it is easy to test and requires no compilation.

Its website is located at p.outlyer.net/relevation/.

Relevation 1.0:

Tarball
http://p.outlyer.net/relevation/files/relevation-1.0.tar.gz
deb package
http://p.outlyer.net/relevation/files/relevation_1.0-upstream.1_all.deb

Descarga de vídeos Flash, Parte 2: rtmpsuck

Los métodos que comentaba en la primera parte no siempre funcionan, principalmente porque últimamente han proliferado las webs en que el archivo no se descarga por métodos tradicionales y por lo tanto no se encuentra donde siempre. Éstas webs usan el protocolo RTMP, diseñado precisamente para dificultar que nos guardemos el vídeo. Sin embargo no es imposible, sólo más complicado.
Webs como las de las televisiones a menudo usan RTMP. Este método lo he probado con La Sexta y funciona sin problema.

Usaremos rtmpsuck. El método explicado aquí es para Linux. rtmpsuck también funciona en Windows aunque el método es algo más complicado.

Este método consiste en hacer pasar todo el tráfico RTMP (el protocolo usado con esos vídeos Flash que en teoría no se pueden descargar) por el programa rtmpsuck, que actuará de proxy y guardará los vídeos al mismo tiempo que se reproducen.

Paso 1. Descarga rtmpdump. En muchas distribuciones ya está incluido así que primero prueba con el método estándar:

# apt-get install rtmpdump
o
# yum install rtmpdump

Si necesitases bajar el código fuente y compilar, usa
$ make SYS=posix
una vez descomprimido

Paso 2. Crea un nuevo usuario. Usaremos este usuario para interceptar el tráfico RTMP.

# adduser rtmpsucker
o gráficamente, en GNOME, Sistema > Administración > Usuarios y grupos

Paso 3. Re-asigna todo el tráfico RTMP a este usuario:

# iptables -t nat -A OUTPUT -p tcp --dport 1935 -m owner  ! --uid-owner rtmpsucker  -j REDIRECT

Paso 4. Usa rtmpsuck con el nuevo usuario

# su rtmpsucker
# /usr/sbin/rtmpsuck

Esto crea un proxy que interceptará el tráfico RTMP, te permitirá ver los vídeos con normalidad pero al mismo tiempo los guardará en el disco. Usa CTRL+C para cancelar rtmpsuck cuando ya no lo necesites.

Paso 5. Abre el vídeo normalmente con el navegador.

rtmpsuck lo guardará al mismo tiempo que lo reproduces.

El programa acelerará la descarga del vídeo, descargándolo más rápido que el navegador, aunque cuando lo he probado, si pausaba la reproducción en el navegador se paraba la descarga.

Según los casos puede ser que tengas que volver a lanzar rtmpsuck para diferentes vídeos. Si éste es el caso y antes del vídeo que te interesa te ponen publicidad, lo mejor es lanzarlo mientras se reproduce la publicidad, así no la capturará pero sí el vídeo.


Fuente: http://stream-recorder.com/forum/showthread.php?t=7070

Descarga de vídeos Flash, Parte 1

Para guardar un vídeo flash, de una de esas webs estilo Youtube que se han multiplicado como conejos, una forma muy fácil y que ha funcionado durante mucho tiempo es buscar el video entre los archivos temporales y/o la caché del navegador, dependiendo de la versión de Flash instalada.
Sin embargo en Linux, con las últimas versiones, el vídeo no se encuentra en ninguno de los dos sitios.

El truco: el archivo sí que se guarda en el directorio temporal, pero se borra una vez abierto. Es una de las características de Linux: un archivo abierto puede ser borrado "virtualmente", a todos los efectos parecerá que se ha borrado pero mientras siga abierto se podrá acceder a él normalmente; cuando se cierre, el archivo se borrará de verdad.

Es una forma de crear archivos temporales auto destructibles, que se borran una vez se cierra el programa que los está usando.
El plugin de Flash usa este método, lo cual hace parecer que el archivo de vídeo que se está reproduciendo no está disponible en el disco duro. Sin embargo no es así.

Linux proporciona un método para acceder a los archivos abiertos por un proceso, lo cual nos permite hacer una copia antes de cerrar el reproductor: el sistema de archivos /proc.
Dentro de /proc hay un directorio para cada proceso, y dentro de cada uno de ellos hay un directorio que contiene enlaces a todos los archivos abiertos por el proceso. Podemos usar esos enlaces para acceder a los archivos sin problema.

El proceso es simple, primero reproducimos el vídeo en navegador, es importante no cerrar la página del vídeo y en algunos casos interesa no acabar la reproducción. En la mayoría de reproductores Flash una barra de otro color nos indicará cuánto del vídeo se ha descargado, por lo tanto bastará con reproducir hasta que se llene la barra y luego pausar el vídeo. A continuación buscaremos el enlace en /proc:

Paso 1. Obtenemos el identificador de proceso. En la mayoría de navegadores deberemos buscar el proceso del navegador. Si usamos Google Chrome (o Chromium) deberemos buscar el proceso del plugin flash ya que son procesos separados:

$ pidof firefox-bin # Firefox
4725

En este caso el identificador es 4725

$ ps -ef | grep libflashplayer # Google Chrome
toni  18393 12796 0 17:55 pts/0 00:05:28 /opt/google/chrome/chrome --type=plugin --plugin-path=/usr/lib/flashplayer-square/libflashplayer_square.so --lang=ca --plugin-data-dir=/home/toni/.config/google-chrome/Default --channel=16248.0x6d16e00.377218180

En este caso el identificador es 18393

Paso 2. Accedemos a la lista de archivos abiertos por firefox. La lista será larga pero encontrar los vídeos Flash es fácil porque todos se llaman "FlashXXXXXXXX" donde las X son letras al azar
$ cd /proc/4725/fd
$ ls -l | grep Flash........
lrwx------ 1 toni toni 64 29 mar 17:48 77 -> /tmp/FlashXXUR50Bl (deleted)

Es decir, el archivo "77" (/proc/4725/fd/77) enlaza con un video borrado del disco. Ahora podemos copiar ese archivo. Copiar, ya que es un enlace blando no podemos ni moverlo ni enlazarlo. Por eso es importante haber dejado que se llene la barra (que se descargue por completo), ya que al copiarlo sólo copiaremos la parte descargada hasta ese momento.

$ cp 77 ~/video.flv

Si hemos dejado descargar el archivo por completo tendremos una copia del vídeo 🙂


En la segunda parte, descarga de vídeos sólo en streaming (protocolo rtmp).

Quick tip: Concatenating video files (with no quality loss)

Concatenation of video files can be done quickly from the command-line, video files must "match" (e.g. a movie formerly split into parts) i.e. they must use the same codec and parameters, this methods won't work as expected with random files.

  • AVI files: Use mencoder with multiple inputs
    $ mencoder -oac copy -ovc copy -o output.avi input1.avi input2.avi [...]
  • MPEG files: They can either be concatenated directly:
    $ cat input1.mpg input2.mpg > output.mpg
    Or the mencoder method, which I prefer, can be used (note the output format must now be set):
    $ mencoder -oac copy -ovc copy -of mpeg -o output.mpg input1.mpg input2.mpg [...]
  • Quirks and other formats:
    • The mencoder method won't work for multi-audio files
    • mencoder has worse support for other formats, they might require an intermediate transmuxing to avi.

I'll update this post if I find better ways or alternatives to do this.


References:

Scroll to Top