Node.js Stream으로 대용량 파일 처리하기

const fs = require('fs');

// ❌ 메모리 폭발 위험
const content = fs.readFileSync('large.csv'); // 5GB 파일이면 RAM 5GB 사용
fs.writeFileSync('copy.csv', content);

// ✅ Stream 파이프 - 메모리 일정 유지
fs.createReadStream('large.csv')
  .pipe(fs.createWriteStream('copy.csv'))
  .on('finish', () => console.log('복사 완료'));

const fs = require('fs');
const zlib = require('zlib');
const { pipeline } = require('stream/promises');

async function compressFile(input, output) {
  await pipeline(
    fs.createReadStream(input),
    zlib.createGzip(),
    fs.createWriteStream(output)
  );
  console.log(`압축 완료: ${output}`);
}

compressFile('data.csv', 'data.csv.gz');

const fs = require('fs');
const readline = require('readline');

async function processCSV(filePath) {
  const rl = readline.createInterface({
    input: fs.createReadStream(filePath),
    crlfDelay: Infinity,
  });

  let lineCount = 0;
  for await (const line of rl) {
    const fields = line.split(',');
    // 각 줄 처리 (메모리에는 한 줄만 유지)
    lineCount++;
    if (lineCount % 100000 === 0) {
      console.log(`${lineCount}줄 처리 완료`);
    }
  }
  console.log(`총 ${lineCount}줄 처리`);
}

const { Transform } = require('stream');

class UpperCaseTransform extends Transform {
  _transform(chunk, encoding, callback) {
    this.push(chunk.toString().toUpperCase());
    callback();
  }
}

fs.createReadStream('input.txt')
  .pipe(new UpperCaseTransform())
  .pipe(fs.createWriteStream('output.txt'));

const readable = fs.createReadStream('large.bin');
const writable = fs.createWriteStream('dest.bin');

readable.on('data', (chunk) => {
  const ok = writable.write(chunk);
  if (!ok) {
    // 쓰기 버퍼가 가득 참 → 읽기 일시 중단
    readable.pause();
    writable.once('drain', () => readable.resume());
  }
});

readable.on('end', () => writable.end());