Reduced the number of times we load seurat objects into memory

bbimber · bbimber · commit 596b8ea9e6ab · 2021-11-05T15:32:34.000-07:00
diff --git a/singlecell/api-src/org/labkey/api/singlecell/pipeline/AbstractSingleCellPipelineStep.java b/singlecell/api-src/org/labkey/api/singlecell/pipeline/AbstractSingleCellPipelineStep.java
@@ -410,7 +410,7 @@ protected Chunk createParamChunk(List<SeuratObjectWrapper> inputObjects, String
 
     protected String printInputFile(SeuratObjectWrapper so)
     {
-        return "readRDS(file = '" + so.getFile().getName() + "')";
+        return "'" + so.getFile().getName() + "'";
     }
 
     protected Chunk createFinalChunk() throws PipelineJobException
diff --git a/singlecell/resources/chunks/AppendCiteSeq.R b/singlecell/resources/chunks/AppendCiteSeq.R
@@ -1,6 +1,5 @@
 for (datasetId in names(seuratObjects)) {
-    seuratObj <- seuratObjects[[datasetId]]
-    seuratObjects[[datasetId]] <- NULL
+    seuratObj <- readRDS(seuratObjects[[datasetId]])
 
     if (!(datasetId %in% names(featureData))) {
         stop(paste0('No CITE-seq information found for datasetId: ', datasetId))
@@ -27,7 +26,7 @@ for (datasetId in names(seuratObjects)) {
         print('matrixDir was NULL, skipping CITE-seq')
     }
 
-    newSeuratObjects[[datasetId]] <- seuratObj
+    saveData(seuratObj, datasetId)
 
     # Cleanup
     rm(seuratObj)
diff --git a/singlecell/resources/chunks/AppendMetadata.R b/singlecell/resources/chunks/AppendMetadata.R
@@ -7,12 +7,11 @@ invisible(Rlabkey::labkey.setCurlOptions(NETRC_FILE = '/homeDir/.netrc'))
 Rdiscvr::SetLabKeyDefaults(baseUrl = serverBaseUrl, defaultFolder = defaultLabKeyFolder)
 
 for (datasetId in names(seuratObjects)) {
-    seuratObj <- seuratObjects[[datasetId]]
-    seuratObjects[[datasetId]] <- NULL
+    seuratObj <- readRDS(seuratObjects[[datasetId]])
 
     seuratObj <- Rdiscvr::QueryAndApplyCdnaMetadata(seuratObj)
 
-    newSeuratObjects[[datasetId]] <- seuratObj
+    saveData(seuratObj, datasetId)
 
     # Cleanup
     rm(seuratObj)
diff --git a/singlecell/resources/chunks/AppendSaturation.R b/singlecell/resources/chunks/AppendSaturation.R
@@ -1,13 +1,12 @@
 for (datasetId in names(seuratObjects)) {
-    seuratObj <- seuratObjects[[datasetId]]
-    seuratObjects[[datasetId]] <- NULL
+    seuratObj <- readRDS(seuratObjects[[datasetId]])
 
     if (!'DatasetId' %in% names(seuratObj@meta.data)) {
         stop('Seurat object lacks a DatasetId field!')
     }
 
     seuratObj <- CellMembrane::AppendPerCellSaturationInBulk(seuratObj, molInfoList = molInfoFiles)
-    newSeuratObjects[[datasetId]] <- seuratObj
+    saveData(seuratObj, datasetId)
 
     # Cleanup
     rm(seuratObj)
diff --git a/singlecell/resources/chunks/AvgExpression.R b/singlecell/resources/chunks/AvgExpression.R
@@ -1,6 +1,5 @@
 for (datasetId in names(seuratObjects)) {
-    seuratObj <- seuratObjects[[datasetId]]
-    seuratObjects[[datasetId]] <- NULL
+    seuratObj <- readRDS(seuratObjects[[datasetId]])
 
     df <- CellMembrane::AvgExpression(seuratObj, groupField = groupField)
     write.table(df, file = paste0(outputPrefix, '.', datasetId, '.avg.', groupField, '.txt'), sep = '\t', row.names = FALSE, quote = FALSE)
diff --git a/singlecell/resources/chunks/CiteSeqDimReduxDist.R b/singlecell/resources/chunks/CiteSeqDimReduxDist.R
@@ -1,6 +1,5 @@
 for (datasetId in names(seuratObjects)) {
-    seuratObj <- seuratObjects[[datasetId]]
-    seuratObjects[[datasetId]] <- NULL
+    seuratObj <- readRDS(seuratObjects[[datasetId]])
 
     if (!('ADT' %in% names(seuratObj@assays))) {
         print('ADT assay not present, skipping')
@@ -14,7 +13,7 @@ for (datasetId in names(seuratObjects)) {
         })
     }
 
-    newSeuratObjects[[datasetId]] <- seuratObj
+    saveData(seuratObj, datasetId)
 
     # Cleanup
     rm(seuratObj)
diff --git a/singlecell/resources/chunks/CiteSeqDimReduxPca.R b/singlecell/resources/chunks/CiteSeqDimReduxPca.R
@@ -1,14 +1,13 @@
 for (datasetId in names(seuratObjects)) {
-    seuratObj <- seuratObjects[[datasetId]]
-    seuratObjects[[datasetId]] <- NULL
+    seuratObj <- readRDS(seuratObjects[[datasetId]])
 
     if (!('ADT' %in% names(seuratObj@assays))) {
         print('ADT assay not present, skipping')
     } else {
         seuratObj <- bindArgs(CellMembrane::CiteSeqDimRedux.PCA, seuratObj)()
     }
 
-    newSeuratObjects[[datasetId]] <- seuratObj
+    saveData(seuratObj, datasetId)
 
     # Cleanup
     rm(seuratObj)
diff --git a/singlecell/resources/chunks/CiteSeqPlots.R b/singlecell/resources/chunks/CiteSeqPlots.R
@@ -1,6 +1,5 @@
 for (datasetId in names(seuratObjects)) {
-    seuratObj <- seuratObjects[[datasetId]]
-    seuratObjects[[datasetId]] <- NULL
+    seuratObj <- readRDS(seuratObjects[[datasetId]])
 
     if (!('ADT' %in% names(seuratObj@assays))) {
         print('ADT assay not present, skipping')
@@ -10,7 +9,7 @@ for (datasetId in names(seuratObjects)) {
         }
     }
 
-    newSeuratObjects[[datasetId]] <- seuratObj
+    saveData(seuratObj, datasetId)
 
     # Cleanup
     rm(seuratObj)
diff --git a/singlecell/resources/chunks/CiteSeqWnn.R b/singlecell/resources/chunks/CiteSeqWnn.R
@@ -1,14 +1,13 @@
 for (datasetId in names(seuratObjects)) {
-    seuratObj <- seuratObjects[[datasetId]]
-    seuratObjects[[datasetId]] <- NULL
+    seuratObj <- readRDS(seuratObjects[[datasetId]])
 
     if (!('ADT' %in% names(seuratObj@assays))) {
         print('ADT assay not present, skipping')
     } else {
         seuratObj <- bindArgs(CellMembrane::RunSeuratWnn, seuratObj)()
     }
 
-    newSeuratObjects[[datasetId]] <- seuratObj
+    saveData(seuratObj, datasetId)
 
     # Cleanup
     rm(seuratObj)
diff --git a/singlecell/resources/chunks/DimPlots.R b/singlecell/resources/chunks/DimPlots.R
@@ -1,6 +1,5 @@
 for (datasetId in names(seuratObjects)) {
-    seuratObj <- seuratObjects[[datasetId]]
-    seuratObjects[[datasetId]] <- NULL
+    seuratObj <- readRDS(seuratObjects[[datasetId]])
 
     for (field in fieldNames) {
         if (!(field %in% names(seuratObj@meta.data))) {
diff --git a/singlecell/resources/chunks/DoubletFinder.R b/singlecell/resources/chunks/DoubletFinder.R
@@ -1,10 +1,9 @@
 for (datasetId in names(seuratObjects)) {
-    seuratObj <- seuratObjects[[datasetId]]
-    seuratObjects[[datasetId]] <- NULL
+    seuratObj <- readRDS(seuratObjects[[datasetId]])
 
     seuratObj <- CellMembrane::FindDoublets(seuratObj, dropDoublets = dropDoublets)
 
-    newSeuratObjects[[datasetId]] <- seuratObj
+    saveData(seuratObj, datasetId)
 
     # Cleanup
     rm(seuratObj)
diff --git a/singlecell/resources/chunks/Downsample.R b/singlecell/resources/chunks/Downsample.R
@@ -1,10 +1,9 @@
 for (datasetId in names(seuratObjects)) {
-    seuratObj <- seuratObjects[[datasetId]]
-    seuratObjects[[datasetId]] <- NULL
+    seuratObj <- readRDS(seuratObjects[[datasetId]])
 
     seuratObj <- CellMembrane::DownsampleSeurat(seuratObj, targetCells = targetCells, subsetFields = subsetFields, seed = seed)
 
-    newSeuratObjects[[datasetId]] <- seuratObj
+    saveData(seuratObj, datasetId)
 
     # Cleanup
     rm(seuratObj)
diff --git a/singlecell/resources/chunks/FeaturePlots.R b/singlecell/resources/chunks/FeaturePlots.R
@@ -1,6 +1,5 @@
 for (datasetId in names(seuratObjects)) {
-    seuratObj <- seuratObjects[[datasetId]]
-    seuratObjects[[datasetId]] <- NULL
+    seuratObj <- readRDS(seuratObjects[[datasetId]])
 
     for (field in fieldNames) {
         if (ncol(Seurat::FetchData(seuratObj, vars = c('ident', field))) != 2) {
diff --git a/singlecell/resources/chunks/FilterRawCounts.R b/singlecell/resources/chunks/FilterRawCounts.R
@@ -1,10 +1,9 @@
 for (datasetId in names(seuratObjects)) {
-    seuratObj <- seuratObjects[[datasetId]]
-    seuratObjects[[datasetId]] <- NULL
+    seuratObj <- readRDS(seuratObjects[[datasetId]])
 
     seuratObj <- bindArgs(CellMembrane::FilterRawCounts, seuratObj)()
 
-    newSeuratObjects[[datasetId]] <- seuratObj
+    saveData(seuratObj, datasetId)
 
     # Cleanup
     rm(seuratObj)
diff --git a/singlecell/resources/chunks/FindClustersAndDimRedux.R b/singlecell/resources/chunks/FindClustersAndDimRedux.R
@@ -1,10 +1,9 @@
 for (datasetId in names(seuratObjects)) {
-    seuratObj <- seuratObjects[[datasetId]]
-    seuratObjects[[datasetId]] <- NULL
+    seuratObj <- readRDS(seuratObjects[[datasetId]])
 
     seuratObj <- CellMembrane::FindClustersAndDimRedux(seuratObj, minDimsToUse = minDimsToUse)
 
-    newSeuratObjects[[datasetId]] <- seuratObj
+    saveData(seuratObj, datasetId)
 
     # Cleanup
     rm(seuratObj)
diff --git a/singlecell/resources/chunks/FindMarkers.R b/singlecell/resources/chunks/FindMarkers.R
@@ -1,9 +1,8 @@
 plotList <- list()
 for (datasetId in names(seuratObjects)) {
-    seuratObj <- seuratObjects[[datasetId]]
-    seuratObjects[[datasetId]] <- NULL
+    seuratObj <- readRDS(seuratObjects[[datasetId]])
 
-    outFile = paste0(outputPrefix, '.', datasetId, '.markers.txt')
+    outFile <- paste0(outputPrefix, '.', datasetId, '.markers.txt')
     datasetName <- datasetIdToName[[datasetId]]
 
     dt <- bindArgs(CellMembrane::Find_Markers, seuratObj)()
diff --git a/singlecell/resources/chunks/Functions.R b/singlecell/resources/chunks/Functions.R
@@ -35,12 +35,37 @@ bindArgs <- function(fun, seuratObj, allowableArgNames = NULL, disallowedArgName
     fun
 }
 
+savedFiles <- data.frame(datasetId = character(), datasetName = character(), filename = character(), outputFileId = character())
+write.table(savedFiles, file = 'savedSeuratObjects.txt', quote = FALSE, sep = '\t', row.names = FALSE, col.names = FALSE)
+
+saveData <- function(seuratObj, datasetId) {
+    print(paste0('Saving dataset: ', datasetId))
+    print(seuratObj)
+
+    fn <- paste0(outputPrefix, '.', datasetId, '.seurat.rds')
+    barcodeFile <- paste0(outputPrefix, '.', datasetId, '.cellBarcodes.csv')
+    metaFile <- paste0(outputPrefix, '.', datasetId, '.seurat.meta.txt')
+
+    saveRDS(seuratObj, file = fn)
+
+    datasetName <- ifelse(datasetId %in% names(datasetIdToName), yes = datasetIdToName[[datasetId]], no = datasetId)
+
+    # NOTE: this is the ID of the original loupe file. Needed for operations like appending cell hashing or CITE-seq
+    outputFileId <- ifelse(datasetId %in% names(datasetIdTOutputFileId), yes = datasetIdTOutputFileId[[datasetId]], no = NA)
+
+    toAppend <- data.frame(datasetId = datasetId, datasetName = datasetName, filename = fn, outputFileId = outputFileId)
+    write.table(toAppend, file = 'savedSeuratObjects.txt', quote = FALSE, sep = '\t', row.names = FALSE, col.names = FALSE, append = TRUE)
+
+    # Write cell barcodes and metadata:
+    metaDf <- seuratObj@meta.data
+    metaDf$cellbarcode <- colnames(seuratObj)
+    write.table(metaDf, file = metaFile, quote = F, row.names = F, sep = ',', col.names = T)
+    write.table(data.frame(CellBarcode = colnames(seuratObj)), file = barcodeFile, quote = F, row.names = F, sep = ',', col.names = F)
+}
+
 intermediateFiles <- c()
 addIntermediateFile <- function(f) { intermediateFiles <<- c(intermediateFiles, f) }
 
-# This will store any modified/transformed Seurat objects:
-newSeuratObjects <- list()
-
 print('Updating future.globals.maxSize')
 options(future.globals.maxSize = Inf)
 
diff --git a/singlecell/resources/chunks/MergeSeurat.R b/singlecell/resources/chunks/MergeSeurat.R
@@ -1,18 +1,23 @@
 if (length(seuratObjects) == 1) {
     print('There is only one seurat object, no need to merge')
-    newSeuratObjects <- seuratObjects
+    datasetId <- names(seuratObjects)[[1]]
+    saveData(seuratObjects[[datasetId]], datasetId)
 } else {
-    doDiet <- exists('doDiet') && doDiet
-    if (exists('doDiet') && doDiet) {
-        print('Running DietSeurat on inputs')
-        for (datasetId in seuratObjects) {
-            seuratObjects[[datasetId]] <- Seurat::DietSeurat(seuratObjects[[datasetId]])
+    toMerge <- list()
+    for (datasetId in seuratObjects) {
+        doDiet <- exists('doDiet') && doDiet
+        if (exists('doDiet') && doDiet) {
+            print('Running DietSeurat on inputs')
+            toMerge[[datasetId]] <- Seurat::DietSeurat(readRDS(seuratObjects[[datasetId]]))
+            gc()
+        } else {
+            toMerge[[datasetId]] <- readRDS(seuratObjects[[datasetId]])
         }
-
-        gc()
     }
 
-    newSeuratObjects[[projectName]] <- CellMembrane::MergeSeuratObjs(seuratObjects, projectName = projectName, doGC = doDiet, errorOnBarcodeSuffix = errorOnBarcodeSuffix)
+    seuratObj <- CellMembrane::MergeSeuratObjs(toMerge, projectName = projectName, doGC = doDiet, errorOnBarcodeSuffix = errorOnBarcodeSuffix)
+    rm(toMerge)
+    saveData(seuratObj, projectName)
 }
 
 # Cleanup
diff --git a/singlecell/resources/chunks/NormalizeAndScale.R b/singlecell/resources/chunks/NormalizeAndScale.R
@@ -1,11 +1,10 @@
 for (datasetId in names(seuratObjects)) {
-    seuratObj <- seuratObjects[[datasetId]]
-    seuratObjects[[datasetId]] <- NULL
+    seuratObj <- readRDS(seuratObjects[[datasetId]])
     gc()
 
     seuratObj <- bindArgs(CellMembrane::NormalizeAndScale, seuratObj)()
 
-    newSeuratObjects[[datasetId]] <- seuratObj
+    saveData(seuratObj, datasetId)
 
     write.table(data.frame(Feature = Seurat::VariableFeatures(seuratObj), DatasetId = datasetId), file = paste0(outputPrefix, '.', datasetId, '.seurat.vf.txt'), quote = F, row.names = F, sep = '\t', col.names = F)
 
diff --git a/singlecell/resources/chunks/PhenotypePlots.R b/singlecell/resources/chunks/PhenotypePlots.R
@@ -1,6 +1,5 @@
 for (datasetId in names(seuratObjects)) {
-    seuratObj <- seuratObjects[[datasetId]]
-    seuratObjects[[datasetId]] <- NULL
+    seuratObj <- readRDS(seuratObjects[[datasetId]])
 
     CellMembrane::PlotImmuneMarkers(seuratObj)
 
diff --git a/singlecell/resources/chunks/PrepareRawCounts.R b/singlecell/resources/chunks/PrepareRawCounts.R
@@ -4,7 +4,7 @@ for (datasetId in names(seuratObjects)) {
     datasetName <- datasetIdToName[[datasetId]]
     seuratObj <- CellMembrane::ReadAndFilter10xData(dataDir = rawCountDir, datasetId = datasetId, datasetName = datasetName)
 
-    newSeuratObjects[[datasetId]] <- seuratObj
+    saveData(seuratObj, datasetId)
 
     # Cleanup
     rm(seuratObj)
diff --git a/singlecell/resources/chunks/RemoveCellCycle.R b/singlecell/resources/chunks/RemoveCellCycle.R
@@ -1,10 +1,9 @@
 for (datasetId in names(seuratObjects)) {
-    seuratObj <- seuratObjects[[datasetId]]
-    seuratObjects[[datasetId]] <- NULL
+    seuratObj <- readRDS(seuratObjects[[datasetId]])
 
     seuratObj <- bindArgs(CellMembrane::RegressCellCycle, seuratObj)()
 
-    newSeuratObjects[[datasetId]] <- seuratObj
+    saveData(seuratObj, datasetId)
 
     # Cleanup
     rm(seuratObj)
diff --git a/singlecell/resources/chunks/RunCellHashing.R b/singlecell/resources/chunks/RunCellHashing.R
@@ -1,6 +1,5 @@
 for (datasetId in names(seuratObjects)) {
-    seuratObj <- seuratObjects[[datasetId]]
-    seuratObjects[[datasetId]] <- NULL
+    seuratObj <- readRDS(seuratObjects[[datasetId]])
 
     for (id in unique(seuratObj$DatasetId)) {
         if (!(id %in% names(featureData))) {
@@ -30,7 +29,7 @@ for (datasetId in names(seuratObjects)) {
         }
     }
 
-    newSeuratObjects[[datasetId]] <- seuratObj
+    saveData(seuratObj, datasetId)
 
     # Cleanup
     rm(seuratObj)
diff --git a/singlecell/resources/chunks/RunPCA.R b/singlecell/resources/chunks/RunPCA.R
@@ -1,10 +1,9 @@
 for (datasetId in names(seuratObjects)) {
-    seuratObj <- seuratObjects[[datasetId]]
-    seuratObjects[[datasetId]] <- NULL
+    seuratObj <- readRDS(seuratObjects[[datasetId]])
 
     seuratObj <- CellMembrane::RunPcaSteps(seuratObj, npcs = npcs)
 
-    newSeuratObjects[[datasetId]] <- seuratObj
+    saveData(seuratObj, datasetId)
 
     # Cleanup
     rm(seuratObj)
diff --git a/singlecell/resources/chunks/RunSingleR.R b/singlecell/resources/chunks/RunSingleR.R
@@ -1,14 +1,13 @@
 for (datasetId in names(seuratObjects)) {
-    seuratObj <- seuratObjects[[datasetId]]
-    seuratObjects[[datasetId]] <- NULL
+    seuratObj <- readRDS(seuratObjects[[datasetId]])
 
     if (!is.na(Sys.getenv('SEQUENCEANALYSIS_MAX_THREADS', unset = NA))) {
         nThreads <- Sys.getenv('SEQUENCEANALYSIS_MAX_THREADS')
     }
 
     seuratObj <- bindArgs(CellMembrane::RunSingleR, seuratObj, disallowedArgNames = c('assay'))()
 
-    newSeuratObjects[[datasetId]] <- seuratObj
+    saveData(seuratObj, datasetId)
 
     # Cleanup
     rm(seuratObj)
diff --git a/singlecell/resources/chunks/SaveData.R b/singlecell/resources/chunks/SaveData.R
diff --git a/singlecell/resources/chunks/SplitSeurat.R b/singlecell/resources/chunks/SplitSeurat.R
diff --git a/singlecell/resources/chunks/SubsetSeurat.R b/singlecell/resources/chunks/SubsetSeurat.R
diff --git a/singlecell/src/org/labkey/singlecell/pipeline/singlecell/PrepareRawCounts.java b/singlecell/src/org/labkey/singlecell/pipeline/singlecell/PrepareRawCounts.java

Original file line number	Diff line number	Diff line change
`@@ -410,7 +410,7 @@ protected Chunk createParamChunk(List<SeuratObjectWrapper> inputObjects, String`
`410`	`410`
`411`	`411`	`protected String printInputFile(SeuratObjectWrapper so)`
`412`	`412`	`{`
`413`		`- return "readRDS(file = '" + so.getFile().getName() + "')";`
	`413`	`+ return "'" + so.getFile().getName() + "'";`
`414`	`414`	`}`
`415`	`415`
`416`	`416`	`protected Chunk createFinalChunk() throws PipelineJobException`
Original file line number	Diff line number	Diff line change
`@@ -1,6 +1,5 @@`
`1`	`1`	`for (datasetId in names(seuratObjects)) {`
`2`		`- seuratObj <- seuratObjects[[datasetId]]`
`3`		`- seuratObjects[[datasetId]] <- NULL`
	`2`	`+ seuratObj <- readRDS(seuratObjects[[datasetId]])`
`4`	`3`
`5`	`4`	`if (!('ADT' %in% names(seuratObj@assays))) {`
`6`	`5`	`print('ADT assay not present, skipping')`
`@@ -10,7 +9,7 @@ for (datasetId in names(seuratObjects)) {`
`10`	`9`	`}`
`11`	`10`	`}`
`12`	`11`
`13`		`- newSeuratObjects[[datasetId]] <- seuratObj`
	`12`	`+ saveData(seuratObj, datasetId)`
`14`	`13`
`15`	`14`	`# Cleanup`
`16`	`15`	`rm(seuratObj)`