Curso avanzado de programación AWK y Bash para bioinformática y biocómputo en sistemas GNU/Linux
Pablo Vinuesa, Centro de Ciencias Genómicas - UNAM; https://www.ccg.unam.mx/~vinuesa/ | @pvinmex: https://twitter.com/pvinmex
Versión: Mon Sep 26 22:11:44 2022
- 1 Presentación
- 2 El Proyecto de Software Libre GNU
- 3 Primer contacto con un sistema Linux
- navegación del sistema
- 3.1 Conexión a un servidor y
exploración de sus características básicas
- 3.1.1 ssh establecer sesion remota encriptada (segura) via ssh al servidor con número dado de IP
- 3.1.2 hostname muestra el nombre del host (la máquina a la que estoy conectado) y la IP
- 3.1.3 uname muestra información sobre el sistema y detalles del kernel o núcleo
- 3.1.4 lsb_release muestra información sobre la distribución instalada
- 3.1.5 df reporta el uso de disco del sistema
- 3.1.6 free reporta la memoria del sistema y kernel
- 3.1.7 top o htop muestran los procesos en ejecución y los recursos que consumen
- 3.1.8 w mustra quien está logeado y qué está haciendo
- 3.2 Exploración del sistema de
archivos
- 3.2.1 Imprime la estructura de directorios de tu home u otro directorio
- 3.2.2 pwd imprime la ruta absoluta del directorio actual
- 3.2.3 ls lista contenidos del directorio
- 3.2.4 Expansión de caracteres con * y ?
- 3.2.5 Opciones más comunes e importantes del comando \(ls\)
- 3.2.6 Ejemplos de opciones del comando \(ls\)
- 3.3 Permisos (modo de un archivo)
- 3.4 Moviéndonos por el sistema de archivos: comando cd
- 3.5 Generación de directorios: comando mkdir
- 3.6 Qué es exactamente un \(comando\) en GNU/Linux?
- 3.6.1 Genera tu propio comando con un alias
- 3.6.2 Identificación del tipo de comando con type
- 3.6.3 Muestra la ruta del comando con which
- 3.6.4 Manual de cada comando: man command
- 3.6.5 Ayuda de cada comando integrado en el Shell: help shell_builtin para shell builtins
- 3.6.6 Despliega información básica de uso del comando: command –help
- 3.6.7 Encuentra comandos adecuados para un tipo de acción: apropos
- 3.6.8 Imprime desripciones de una línea de un comando con: whatis
- 3.1 Conexión a un servidor y
exploración de sus características básicas
- 4 Trabajando con archivos: copiar,
mover, renombrar y borrar archivos
- 4.1 copia de archivo simple: cp /path/to/file .
- 4.2 copiar un directorio: cp -r dir . [-r recursively, el directorio y su contenido]
- 4.3 Eliminar un directorio: rm -r[f] [recursively -r and force -f]
- 4.4 scp copia de archivos entre máquinas vía Internet
- 4.5 sftp descarga de archivos de una máquina remota a tu máquina local (laptop o desktop)
- 4.6 Generación de ligas simbólicas a archivos: comando ln -s /ruta/al/archivo/fuente nombre_liga
- 4.7 Nombres de archivos y directorios y uso de comillas sencillas y dobles
- 5 Trabajando con archivos: visualización, generación y edición de archivos de texto plano (codificación ASCII)
- 6 Salida estándar o standard output STDOUT
- 7 Descriptores de archivo: 0 == STDIN, 1 == STDOUT, 2 == STDERR
- 8 Trabajando con archivos: creación de tarros con tar y compresión gzip
- 9 Trabajando con archivos - buscando archivos en el sistema con los comandos [ml]ocate y find
- 10 ¿Cuánto espacio queda en disco? - comandos df y du
- 11 Tuberias (pipelines) de
comandos para filtrado de texto conectados mediante “pipes”
|
- 11.1 El comando | (pipe:)
- 11.2 \(grep\) Filtra las lineas de un archivo que contienen (o no) caracteres o expresiones regulares
- 11.3 \(cut\) corta las líneas por delimitadores de campo (-d) imprimiendo sólo los campos (-f) deseados
- 11.4 \(sort\) ordena las salidas atendiendo a diversos criterios
- 11.5 \(wc\) cuenta líneas, palabras y caracteres
- 11.6 \(uniq\) - reporta u omite líneas repetidas
- 11.7 Ejemplos de herramientas de filtrado de texto: pipelines con grep, cut, sort, uniq, wc en acción
- 12 El lenguaje de procesamiento de
patrones AWK y su sucesor gawk
- 12.1 Conceptos fundamentales sobre la estructura, variables internas y funcionamiento de los programas AWK
- 12.2 Inicialización de variables en bloque BEGIN{} para modelar adecuadamente la estructura de un registro
- 12.3 Sintaxis condensada de AWK
- 12.4 Expresiones regulares
(regexps) - una breve introducción
- 12.4.1 Delimitadores de expresiones regulares // y búsqueda de coincidencias
- 12.4.2 Notación de caracteres especiales más frecuentemente usados
- 12.4.3 Notación POSIX estándar de clases de caracteres BRE frecuentemente usados
- 12.4.4 Notación POSIX de clases de caracteres ERE frecuentemente usados
- 12.4.5 Un ejemplo de expresión regular compleja: validación de un correo electrónico
- 12.4.6 Manipulación de cadenas de caracteres con las funciones sub(), gsub(), substr(), match(), split() y expresiones regulares
- 12.4.7 Otras funciones para la manipulación de cadenas de caracteres
- 12.5 Ejemplos integrativos básicos
para entender cómo funciona \(AWK\)
- 12.5.1 Determinar la longitud de una cadena (de oligonucleótido de DNA) con length()
- 12.5.2 Eliminar filas en blanco de un archivo
- 12.5.3 Imprime sólo ciertas líneas del archivo
- 12.5.4 filtra la salida de \(ls\ -l\) para ver sólo los permisos asociados a archivos y directorios selectos
- 12.5.5 filtrado de archivos con AWK - procesadores en /proc/cpuinfo
- 12.5.6 filtrado de archivos con AWK - suma de tamaños de archivos en Mb
- 12.5.7 uso de función de autoincremento \(++\) para contar ocurrencias de un patrón
- 12.5.8 Transforma la salida del comando \(uniq\ -c\) en un formato de campos separados por comas (archivo \(csv\)) con cabecera
- 12.5.9 Trabajando con archivo FASTA: cuenta el número de secuencias en recA_Bradyrhizobium_vinuesa.fna
- 12.5.10 Trabajando con archivo FASTA: ¿cuántos nucleótidos hay en recA_Bradyrhizobium_vinuesa.fna?
- 12.6 Arreglos asociativos
(hashes) en \(awk\) - una
estructura de datos muy poderosa y versátil
- 12.6.1 Uso de la funciones básicas de manipulación de \(arreglos\) en \(awk\): split(), delete() …
- 12.6.2 Modelado de archivos FASTA con \(hashes\) de \(awk\)
- 12.6.3 \(hashes\) y conteo de instancias de cadenas específicas usadas como llaves
- 12.6.4 Ordenamiento de la salida de un \(hash\) de \(gawk\) por llave o valor manipulando la variable de ambiente PROCINFO[“sorted_in”]
- 12.6.5 Juntar/fusionar dos tablas que comparten un campo común (llave primaria) usando un \(hash\) o tabla asociativa (inner-join)
- 12.6.6 Fusión completa de dos tablas mediante un outer full-join
- 12.6.7 Uso de \(hashes\) para concatenar secuencias en dos o más archivos FASTA
- 12.7 Estructuras de datos complejas
- 12.8 \(awk\) scripts - aspectos
básicos
- 12.8.1 Paso de variables, argumentos y archivos a \(scripts\) de \(awk\) y uso de los arreglos \(ARGC\) y \(ARGV\)
- 12.8.2 El \(script\) count_genome_features_for_taxon.awk
- 12.8.3 Shebang line #!/usr/bin/awk y scripts autocontenidos: el \(script\) filter_fasta_sequences.awk
- 12.8.4 Filtra un archivo multifasta usando un \(hash\) y una lista de etiquetas con get_sequences_from_list.awk
- 12.8.5 El script translate_dna.awk: integración de condicionales, bucles y funciones
- 12.9 Modularización de código mediante funciones definidas por el usuario: function my_function_name(){ … }
- 12.10 \(awk\) scripts - ejemplos
avanzados
- 12.10.1 fasta_toolkit.awk, un script multifuncional para mainpular archivo FASTA que hace uso de getopt()
- 12.10.2 extract_CDSs_from_GenBank.awk, un script hace uso avanzado de hashes de hashes (AoA), regexps, banderas, estructuras de control y funciones para el parseo y transformación de archivos GenBank
- 12.11 Solución a la práctica y un ejercicio adicional
- 12.12 Reto de programación - ejercicio de parseo de archivos FASTA
- 13 Fundamentos de programación en
\(Bash\)
- 13.1 Tipos, asignación y uso de variables
- 13.2 Captura en una varialbe de la salida de un comando con var=$(comando)
- 13.3 Modificación de variables y operaciones con ellas
- 13.4
Condicionales
- 13.4.1 Comparación de íntegros en condicionales tipo \(test\) ([ ]) estándar.
- 13.4.2 Comparación de íntegros en condicionales tipo ((( ))) exclusivos para íntegros.
- 13.4.3 Comparación de cadenas de caracteres en condicionales
- 13.4.4 Comprobación de la existencia de un archivo de tamaño > 0 bytes
- 13.4.5 La versión corta de test [ condición ] && comando1 && comando2 …
- 13.4.6 Versión moderna de \(test\) para evaluar expresiones [[ $(expresión) ]] o expresiones regulares [[ $var =~ regexp ]]
- 13.4.7 if; elif; else con la versión moderna de test para evaluar expresiones regulares [[ “$var” =~ regexp ]]
- 13.5 Operaciones aritméticas con el shell - sólo con íntegros
- 13.6 el comando bc para aritmética con números flotantes de precisión arbitraria en \(Bash\)
- 13.7 Operaciones aritméticas y trigonométricas con \(awk\)
- 13.8 Bucles for
- 13.9 Bucles \(while\)
- 13.9.1 Contador en bucle \(while\) con condicional
- 13.9.2 Bucle \(while\) leyendo de un archivo, doble condicional para evaluar dos expresiones regulares y builtin let para incrementar contador
- 13.9.3 Correr iteraciones de bucles \(while\) o \(until\), hasta que se cumpla una condición, saliendo del mismo con \(break\)
- 13.10 Estructuras de datos en \(Bash\) - arreglos y hashes (en construcción)
- 14 \(Bash\) scripting - siguientes
pasos (en construcción …)
- 14.1 La “shebang line” (#!/usr/bin/env bash) y permisos de ejecución - el script ls_dir
- 14.2 ¿Dónde debo guardar mis \(scripts\) para que sean visibles desde cualquier directorio del sistema?
- 14.3 Variables de ambiente - \(printenv\)
- 14.4 Argumentos posicionales en \(Bash\) - el script find_dir
- 14.5 \(Scripts\) que reciben argumentos|parámetros posicionales con interfaz de usario simple
- 14.6 \(Scripts\) con interfaz de usuario, paso de opciones y su parseo con getopts
- 14.7 Funciones y modularización de código
- 14.8 Machote de un \(Bash\) script que llama a una librería de funciones y define otras en la cabecera del script principal
- 15 Programando un pipeline en \(Bash\)
- 15.1 Construcción de filogenias NJ|UPGMA con bootstrapping y modelos de DNA|PROT definidos por el usuario, usando programas del paquete PHYLIP
- 15.2 El \(script\) run_phylip.sh
- 15.2.1 Cabecera de run_phylip.sh - settings globales e inicialización de variables
- 15.2.2 Funciones de run_phylip.sh - modularización del código
- 15.2.3 El bloque de getopts - procesado y validación de opciones y argumentos pasados al \(script\) por el usuario
- 15.2.4 El bloque principal de run_phylip.sh
- 15.2.5 Llamada a run_phylip para construir filogenia NJ de proteínas con 100 réplicas de bootstrap y modelo JTT+G (alpha=0.6)
- 15.2.6 Llamada a run_phylip con un archivo de secuencias FASTA
- 15.2.7 Llamada a run_phylip para construir filogenia NJ de proteínas bajo modelo erróneo (de DNA)
- 15.2.8 Llamada a run_phylip para construir filogenia NJ de ADN con valor incorrecto de Ti/Tv
- 15.2.9 Llamada a run_phylip para construir filogenia NJ de proteínas bajo con número de réplicas <0, 0 < repl < 100, o > 1000 o pasando números decimales o caracteres no numéricos.
- 15.2.10 Verificación de que el modelo o matriz pasados por el usuario al \(script\) con \(-m\ modelo\) son los que puede usar PHYLIP
- 15.2.11 Comprobación de resultados
- 15.2.12 Llamada a run_phylip para construir filogenia NJ de CDSs (DNA) con valores por defecto
- 15.2.13 Llamada a run_phylip para construir filogenia NJ de CDSs (DNA) con valores extremos de gamma y ti/tv
- 15.2.14 Llamada a run_phylip para construir filogenia NJ de CDSs (DNA) con 1000 réplicas de bootstrap y modelo F84+G (alpha=0.3) y tasa de ti/tv = 5.5
- 15.2.15 Despliegue de árboles cuando no están disponibles los binarios nw_support y nw_display del paquete Newick utilities
- 15.2.16 Los archivos de parámetros
- 16 Consideraciones finales y referencias recomendadas para continuar aprendiendo programación \(Shell\)
1 Presentación
Este tutorial es desarrollado por Pablo Vinuesa, CCG-UNAM (twitter: @pvinmex) a partir de material previo, presentado en diversos cursos y talleres, como Taller 3 - Análisis comparativo de genomas microbianos: Pangenómica y filoinformática de los Talleres Internacionales de Bioinformática - TIB2019, celebrados en el Centro de Ciencias Genómicas de la Universidad Nacional Autónoma de México, del 29 de julio al 2 de agosto de 2019.
Las versión actual (v.2022-09-26) contiene extensiones significativas con respecto a cursos anteriores, así como adaptaciones para el Taller de Ciencias Genómicas: de Moléculas a Ecosistemas, que impartimos investigadores del CCG-UNAM para alumn@s de la Facultad de Ciencias - UNAM, así como para el curso de introducción a Linux que imparto en la Licenciatura en Ciencias Genómicas - LCG de la UNAM.
Si éste es tu primer contacto con Linux, te recomiendo que leas primero esta presentación sobre introducción al biocómputo en sistemas Linux - PDF.
1.1 Objetivos
Este documento sirve tanto como un tutorial completo de iniciación a la programación en \(AWK\) y \(Bash\) para bioinformática para los que no han tenido contacto previo con un sistema UNIX o GNU/Linux, como una referencia para usuarios avanzados.
Como muestra el índice, el tutorial avanza desde los aspectos más elementales de conexión a un servidor, navegación del sistema, propiedades de archivos y tuberías de filtrado de texto, a programación avanzada en AWK y BASH. Contiene muchísimos ejemplos prácticos, desde programas simples pero siempre útiles para ejecutar en la consola de comandos (1liners), a scripts avanzados, aptos para el trabajo de investigación en el área como fasta_toolkit.awk, extract_CDSs_from_GenBank.awk y run_phylip.sh. Éstos hacen uso de funciones, banderas, estructuras de control de flujo, estructuras de datos complejas, menús de usuario, y muchos otros atributos propios de programas profesionales. Estos ejemplos te servirán para aprender a programar herramientas bioinformáticas robustas y modulares, siguiendo mejores prácticas. El tutorial te enseña el uso práctico de todos los elementos sintácticos implementados en dichos scripts, los cuales puedes descargar del repositorio GitHub de este curso. Estos programas se describen en detalle en este documento.
1.2 Licencia y términos de uso
Este material didáctico lo distribuyo públicamente a través de este repositorio GitHub intro2linux bajo la Licencia No Comercial Creative Commons 4.0
This
work is licensed under a
Creative
Commons Attribution-NonCommercial 4.0
El código se distribuye bajo la licencia
GNU
General Public License v3
1.3 ¿Cómo correr los ejemplos de este manual?
Idealmente debes tener acceso local o remoto a una máquina UNIX o GNU/Linux. Si tienes una máquina Windows, otra opción es instalar mobaXterm home edition, como se explica en el esta sección README del repositorio
1.4 ¿Cómo obtener la última versión de este documento?
Tienes básicamente 2 opciones:
- clonar el repositorio
intro2linux y correr con frecuencia el comando
git pull, como se explica en el REAEME del repositorio - navegar y/o descargar directamente el archivo html del manual
La primera es la más conveniente, ya que no sólo descargas el archivo html del curso, sino todos los scripts y datos asociados para que puedas seguir cada ejemplo.
2 El Proyecto de Software Libre GNU
Bienvenid@s al mundo de cómputo y software libre del proyecto GNU. Antes de empezar este tutorial, sugiero que te informes sobre lo que es el proyecto GNU, iniciado por Richard Stallman (rms) en 1983 y desarrollado por una enorme comunidad de programadores, y su relación con Linux, para formar el sistema de cómputo libre GNU/Linux.
Así lo explica rms en su artículo Linux y el sistema GNU, del que cito los primeros dos párrafos abajo:
Muchos usuarios de ordenadores ejecutan a diario, sin saberlo, una versión modificada del sistema GNU. Debido a un peculiar giro de los acontecimientos, a la versión de GNU ampliamente utilizada hoy en día se la llama a menudo «Linux», y muchos de quienes la usan no se dan cuenta de que básicamente se trata del sistema GNU, desarrollado por el proyecto GNU.
Efectivamente existe un Linux, y estas personas lo usan, pero constituye solo una parte del sistema que utilizan. Linux es el núcleo: el programa del sistema que se encarga de asignar los recursos de la máquina a los demás programas que el usuario ejecuta. El núcleo es una parte esencial de un sistema operativo, pero inútil por sí mismo, sólo puede funcionar en el marco de un sistema operativo completo. Linux se utiliza normalmente en combinación con el sistema operativo GNU: el sistema completo es básicamente GNU al que se le ha añadido Linux, es decir, GNU/Linux. Todas las distribuciones denominadas «Linux» son en realidad distribuciones GNU/Linux.
– Richard M. Stallman
- The GNU project
- Free Software Education
- Free Software - Richard Stallman <== no dejes de ver este video
- GNU software
- la relación entre GNU y Linux
2.1 La controversia sobre el nombre: ¿GNU/Linux o sólo Linux?
Hay que aclarar que destacados miembros de la comunidad de desarrolladores de software libre esgrimen diversos argumentos por los que consideran que el sistema no se debe llamar GNU/Linux, favoreciendo el nombre de Linux.
Sirva de ejemplo uno de los comentario de Linus Torvalds:
Umm, this discussion has gone on quite long enough, thank you very much. It doesn’t really matter what people call Linux, as long as credit is given where credit is due (on both sides). Personally, I’ll very much continue to call it “Linux”, …
The GNU people tried calling it GNU/Linux, and that’s ok. It’s certainly no worse a name than “Linux Pro” or “Red Hat Linux” or “Slackware Linux” …
Lignux is just a punny name—I think Linux/GNU or GNU/Linux is a bit more “professional” …
– Linus Torvalds
Es importante notar que muchas de las distribuciones de Linux, incluyendo Ubuntu, no siguen estrictamente el principio de software libre de GNU. Ubuntu, por ejemplo, incluye el repositorio \(restricted\), que contiene paquetes soportados por los desarrolladores de Ubuntu debido a su importancia, pero que no está disponible bajo ningún tipo de licencia libre. Ejemplos notables son los controladores propietarios de algunas tarjetas gráficas, como los de ATI y NVIDIA. Ello ha permitido que Ubuntu sea una de las distribuciones de Linux con mayor compatibilidad de hardware y facilidad de instalación. Por ello recomiendo y uso esta distro.
2.2 Nota de agradecimiento y postura personal
En lo personal, soy pragmático y agnóstico en lo que respecta a la controversia. Estoy muy agradecido a toda la comunidad por haber desarrollado, integrado y puesto a nuestra disposición esta maravilla de entorno de cómputo libre: kernel, sistema operativo y software. Por ello gustosamente doy crédito al proyecto GNU y al el núcleo o kernel, desarrollado originalmente por Linus Torvalds y conocido actualmente como núcleo Linux. Desde el año 2004 realizo todo mi trabajo en este entorno.
Como académico coincido plenamente con la visión de rms en que los centros de educación pública deberían de usar el entorno GNU/Linux, idealmente desde la secundaria. En diversos lugares, notablemente en India, este mensaje de rms ha calado hondo. El estado de Kerala fue pionero: desde 2006 toda la educación pública de Kerala se hace en en el entorno GNU/Linux, habiendo eliminado Windows y software privativo de las escuelas estatales. Otros estados como Karnataka, Gujarat, Assam, West Bengal siguieron rápidamente el ejemplo, incorporando software libre y código fuente abierto - OSS´ como una clave de sus sistemas educativos. Es una tendencia respaldada actualmente por el gobierno Indio, como pueden leer aquí: Adoption of Free and Open Source Software in India. El resultado es contundente - la India es actualmente una potencia mundial en cómputo y matemáticas.
Mi modesta pero activa manera de contribuir a la promoción del uso de software libre y código fuente abierto en México y Latinoamérica es divulgando el uso del ambiente de cómputo GNU/Linux a alumnos universitarios mediante cursos en diversos países de habla hispana, y promoviendo su implementación en la universidad, particularmente en la LCG-UNAM. Me referiré a este ambiente de cómputo con ambos nombres (GNU/Linux y Linux), para expresar mi neutralidad al respecto de la controversia arriba mencionada, aunque tiendo a preferir el uso de GNU/Linux para remarcar el crédito a todos los componentes de esta extraordinaria “simbiosis”.
2.3 GNU - Documentación y
recursos
Todo software de calidad debe de estar bien documentado. Sin duda la documentación del software GNU es extraordinaria. No dejes de visitar al menos estos recursos:
2.3.1 Referencias adicionales
Una vez que domines los comandos básicos que se presentarán en este documento, recomiendo revisar tutoriales más detallados y completos como los siguientes:
- The Linux Command Line - a complete introduction. William E. Shotts, Jr. No Starch Press
- Bash Reference Manual
- Advanced Bash Scripting Guide
- Bioinformatics Data Skills: Reproducible and Robust Research with Open Source Tools. Vince Buffalo. O’Reilly Media 2014