Issue with nf-core smRNAseq Pipeline Execution

Question

[José Andrés]

Hi everyone,

I’m currently running the nf-core smRNAseq pipeline using Docker, but I've encountered an issue. I’m using the test data provided on the nf-core website, and while the pipeline executes successfully, I'm missing some directories and outputs that are listed on the website.

Specifically, I'm interested in the mirtop files, which do not appear to be generated in my output. Can anyone provide guidance on what might be going wrong or how to ensure these files are created?

I'm using the following commands:

nextflow run nf-core/smrnaseq \
  -profile docker \
  --input '/home/joshoacr13/Documentos/Test/input/test.csv' \
  --genome GRCh38 \
  --protocol illumina \
  --mirtrace_species 'hsa' \
  --outdir '/home/joshoacr13/Documentos/Test/output/' \
  --fasta '/home/joshoacr13/Documentos/Test/input/mature.fa' \
  -resume \
  -c /home/joshoacr13/Documentos/Test/nextflow_memory.config

The file called nextflow_memory.config contain the following:

// nextflow.config



// Docker configuration
process {
    executor = 'local'                     // Ejecutar en el entorno local
    container = 'nfcore/smrnaseq'           // Usar el contenedor Docker de nf-core/smrnaseq
    withLabel: docker {
        container = 'nfcore/smrnaseq'
        docker {
            enabled = true
            sudo = true                     // Forzar ejecución con sudo
        }
    }

    // Resource settings
    memory = '23 GB'          // Asignar la memoria máxima definida en params
    cpus = 4                                // Número de CPUs por proceso
}

docker {
    enabled = true                          // Habilitar Docker
    sudo = true                             // Usar sudo para ejecutar Docker
}


process {
    withName: 'NFCORE_SMRNASEQ:INDEX_GENOME' {
        memory = '14 GB'
        cpus = 4
    }
}


process {
     withName: 'NFCORE_SMRNASEQ:MIRNA_QUANT:PARSE_MATURE' {
        memory = '14 GB'
        cpus = 4
    }
}

process {
    withName: 'NFCORE_SMRNASEQ:FASTQ_FASTQC_UMITOOLS_FASTP:FASTQC_RAW' {
        memory = '14 GB'
        cpus = 4
    }
}

process {
    withName: 'NFCORE_SMRNASEQ:FASTQ_FASTQC_UMITOOLS_FASTP:FASTP' {
        memory = '14 GB'
        cpus = 4
    }
}

process {
    withName: 'NFCORE_SMRNASEQ:MIRNA_QUANT:PARSE_HAIRPIN' {
        memory = '14 GB'  // Ajustar la memoria disponible
        cpus = 4  // Ajustar los hilos
    }
}

process {
    withName: 'NFCORE_SMRNASEQ:MIRNA_QUANT:SEQCLUSTER_SEQUENCES' {
        memory = '14 GB' // Ajusta este valor según lo disponible
        cpus = 4 // Ajusta el número de CPUs según lo que tengas disponible
    }
}


process {
    withName: 'NFCORE_SMRNASEQ:FASTQ_FASTQC_UMITOOLS_FASTP:FASTQC_TRIM' {
        memory = '14 GB' // Ajusta según tus recursos disponibles
        cpus = 4 // Ajusta el número de CPUs según lo que tengas disponible
    }
}


process {
    withName: 'NFCORE_SMRNASEQ:MIRTRACE:MIRTRACE_RUN' {
        memory = '14 GB' // Ajusta según los recursos disponibles
        cpus = 4 // Ajusta el número de CPUs según tu configuración
    }
}

process {
    withName: 'NFCORE_SMRNASEQ:MIRNA_QUANT:FORMAT_HAIRPIN' {
        memory = '14 GB' // Ajusta según la memoria disponible
        cpus = 4 // Ajusta el número de CPUs según tu configuración
    }
}


process {
    withName: 'NFCORE_SMRNASEQ:MIRNA_QUANT:FORMAT_MATURE' {
        memory = '14 GB'  // Ajusta la memoria según lo que tienes disponible
        cpus = 4  // Ajusta según tu configuración de hardware
    }
}
process {
    withName: 'NFCORE_SMRNASEQ:MIRDEEP2:MIRDEEP2_MAPPER' {
        memory = '14 GB'  // Ajusta la memoria a un valor disponible
        cpus = 4  // Ajusta según la capacidad de tu hardware
    }
}
process {
    withName: 'NFCORE_SMRNASEQ:MIRNA_QUANT:INDEX_MATURE' {
        memory = '14 GB'  // Ajusta a un valor que sepas que es seguro para tu sistema
        cpus = 4  // Ajusta según la capacidad de tu hardware
    }
}

process {
    withName: 'NFCORE_SMRNASEQ:MIRNA_QUANT:INDEX_HAIRPIN' {
        memory = '14 GB'  // Ajusta la memoria disponible
        cpus = 4  // Ajusta según la capacidad de tu hardware
    }

    // Si otros procesos también requieren ajustes de memoria
    withName: 'NFCORE_SMRNASEQ:*' {
        memory = '14 GB'  // Aplicar a otros procesos si es necesario
    }
}


process {
    withName: 'NFCORE_SMRNASEQ:MIRNA_QUANT:BOWTIE_MAP_MATURE' {
        memory = '14 GB'  // Ajusta a un valor seguro
        cpus = 4  // Ajusta según tu hardware
    }
}

process {
    withName: 'NFCORE_SMRNASEQ:MIRNA_QUANT:BOWTIE_MAP_SEQCLUSTER' {
        memory = '14 GB'  // Ajusta según tu sistema
        cpus = 4          // Asegúrate de que este valor esté en línea con tu hardware
    }
}

process {
    withName: 'NFCORE_SMRNASEQ:MIRNA_QUANT:BOWTIE_MAP_HAIRPIN' {
        memory = '14 GB'  // Ajusta según la memoria disponible en tu sistema
        cpus = 4          // Asegúrate de que este valor esté alineado con tu hardware
    }
}

process {
    withName: 'NFCORE_SMRNASEQ:MIRNA_QUANT:BAM_STATS_MATURE:SAMTOOLS_SORT' {
        memory = '14 GB'  // Reduce la cantidad de memoria solicitada
        cpus = 4          // Ajusta el número de CPUs según tu hardware
    }
}


process {
    withName: 'NFCORE_SMRNASEQ:MIRDEEP2:MIRDEEP2_RUN' {
        memory = '14 GB'  // Reducir la memoria requerida
        cpus = 4          // Ajustar el número de CPUs según tu hardware
    }
}

process {
    withName: 'NFCORE_SMRNASEQ:MIRNA_QUANT:BAM_STATS_HAIRPIN:SAMTOOLS_SORT' {
        memory = '14 GB'  // Ajusta la memoria requerida
        cpus = 4          // Ajusta el número de CPUs si es necesario
    }
}

process {
    withName: 'NFCORE_SMRNASEQ:MIRNA_QUANT:BAM_STATS_HAIRPIN:SAMTOOLS_SORT' {
        memory = '14 GB'  // Ajusta la memoria a un valor que esté disponible
        cpus = 4          // Reduce el número de CPUs si es necesario
    }
}


process {
    withName: 'NFCORE_SMRNASEQ:GENOME_QUANT:BOWTIE_MAP_GENOME' {
        memory = '14 GB'  // Ajusta a un valor que esté disponible
        cpus = 4          // Reduce el número de CPUs si es necesario
    }
}


process {
    withName: 'NFCORE_SMRNASEQ:MIRNA_QUANT:MIRTOP_QUANT' {
        memory = '14 GB'  // Ajusta a un valor que esté disponible
        cpus = 4          // Reduce el número de CPUs si es necesario
    }
}


process {
    withName: 'NFCORE_SMRNASEQ:GENOME_QUANT:BAM_SORT_STATS_SAMTOOLS:SAMTOOLS_SORT' {
        memory = '14 GB'  // Cambia esto a un valor que sea razonable y esté dentro de tus límites de memoria
        cpus = 4          // Ajusta el número de CPUs si es necesario
    }
}


process {
    withName: 'NFCORE_SMRNASEQ:MIRNA_QUANT:TABLE_MERGE' {
        memory = '14 GB'  // Ajusta a un valor que tu sistema pueda manejar
        cpus = 4          // Ajusta el número de CPUs si es necesario
    }
}


process {
    withName: 'NFCORE_SMRNASEQ:MIRNA_QUANT:EDGER_QC' {
        memory = '14 GB'  // Ajusta según la capacidad de tu sistema
        cpus = 4          // Ajusta el número de CPUs si es necesario
    }
}


process {
    withName: 'NFCORE_SMRNASEQ:MIRDEEP2:MIRDEEP2_RUN' {
        memory = '14 GB'  // Ajusta según tu capacidad
        cpus = 4          // Ajusta el número de CPUs
    }
}

process {
    withName: 'NFCORE_SMRNASEQ:MIRDEEP2:MIRDEEP2_MAPPER' {
        memory = '14 GB'  // Ajusta según tu capacidad
        cpus = 4          // Ajusta el número de CPUs
    }
}

Thank you for your help!

[Pierre Lindenbaum]

upload the .nextflow.log in gist.github.com and give us the URL please.

Answer 1

[colindaven]

If the pipeline ran mirtop, then the mirtop files should be available in the nextflow work directory (called work by default in the dir you ran the pipeline in).

Then you can find the files with

find . -name "*mirtop*"

assuming they are called mirtop - you'll need to know what they are.

Else install and use the linux command tree -h to see the contents of all work subdirectories.