-
Notifications
You must be signed in to change notification settings - Fork 2.9k
feat: add sandbox-npm-install skill to community collection #989
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
base: staged
Are you sure you want to change the base?
Changes from all commits
File filter
Filter by extension
Conversations
Jump to
Diff view
Diff view
There are no files selected for viewing
| Original file line number | Diff line number | Diff line change |
|---|---|---|
| @@ -0,0 +1,80 @@ | ||
| --- | ||
| name: sandbox-npm-install | ||
| description: 'Install npm packages in a Docker sandbox environment. Use this skill whenever you need to install, reinstall, or update node_modules inside a container where the workspace is mounted via virtiofs. Native binaries (esbuild, lightningcss, rollup) crash on virtiofs, so packages must be installed on the local ext4 filesystem and symlinked back.' | ||
| --- | ||
|
|
||
| # Sandbox npm Install | ||
|
|
||
| ## When to Use This Skill | ||
|
|
||
| Use this skill whenever: | ||
| - You need to install npm packages for the first time in a new sandbox session | ||
| - `package.json` or `package-lock.json` has changed and you need to reinstall | ||
| - You encounter native binary crashes with errors like `SIGILL`, `SIGSEGV`, `mmap`, or `unaligned sysNoHugePageOS` | ||
| - The `node_modules` directory is missing or corrupted | ||
|
|
||
| ## Prerequisites | ||
|
|
||
| - A Docker sandbox environment with a virtiofs-mounted workspace | ||
| - Node.js and npm available in the container | ||
| - A `package.json` file in the target workspace | ||
|
|
||
| ## Background | ||
|
|
||
| Docker sandbox workspaces are typically mounted via **virtiofs** (file sync between the host and Linux VM). Native Go and Rust binaries (esbuild, lightningcss, rollup, etc.) crash with mmap alignment failures when executed from virtiofs on aarch64. The fix is to install on the container's local ext4 filesystem and symlink back into the workspace. | ||
|
|
||
| ## Step-by-Step Installation | ||
|
|
||
| Run the bundled install script from the workspace root: | ||
|
|
||
| ```bash | ||
| bash scripts/install.sh | ||
| ``` | ||
|
|
||
| ### Common Options | ||
|
|
||
| | Option | Description | | ||
| |---|---| | ||
| | `--workspace <path>` | Path to directory containing `package.json` (auto-detected if omitted) | | ||
| | `--playwright` | Also install Playwright Chromium browser for E2E testing | | ||
|
|
||
GeekTrainer marked this conversation as resolved.
Show resolved
Hide resolved
|
||
| ### What the Script Does | ||
|
|
||
| 1. Copies `package.json`, `package-lock.json`, and `.npmrc` (if present) to a local ext4 directory | ||
| 2. Runs `npm ci` (or `npm install` if no lockfile) on the local filesystem | ||
| 3. Symlinks `node_modules` back into the workspace | ||
| 4. Verifies known native binaries (esbuild, rollup, lightningcss, vite) if present | ||
| 5. Optionally installs Playwright browsers and system dependencies (uses `sudo` when available) | ||
|
|
||
| If verification fails, run the script again — crashes can be intermittent during initial setup. | ||
|
|
||
| ## Post-Install Verification | ||
|
|
||
| After the script completes, verify your toolchain works. For example: | ||
|
|
||
| ```bash | ||
| npm test # Run project tests | ||
| npm run build # Build the project | ||
| npm run dev # Start dev server | ||
| ``` | ||
|
|
||
| ## Important Notes | ||
|
|
||
| - The local install directory (e.g., `/home/agent/project-deps`) is **container-local** and is NOT synced back to the host | ||
| - The `node_modules` symlink appears as a broken link on the host — this is harmless since `node_modules` is typically gitignored | ||
| - Running `npm ci` or `npm install` on the host naturally replaces the symlink with a real directory | ||
| - After any `package.json` or `package-lock.json` change, re-run the install script | ||
| - Do NOT run `npm ci` or `npm install` directly in the mounted workspace — native binaries will crash | ||
|
|
||
| ## Troubleshooting | ||
|
|
||
| | Problem | Solution | | ||
| |---|---| | ||
| | `SIGILL` or `SIGSEGV` when running dev server | Re-run the install script; ensure you're not running `npm install` directly in the workspace | | ||
| | `node_modules` not found after install | Check that the symlink exists: `ls -la node_modules` | | ||
| | Permission errors during install | Ensure the local deps directory is writable by the current user | | ||
| | Verification fails intermittently | Run the script again — native binary crashes can be non-deterministic on first load | | ||
|
|
||
| ## Vite Compatibility | ||
|
|
||
| If your project uses Vite, you may need to allow the symlinked path in `server.fs.allow`. Add the symlink target's parent directory (e.g., `/home/agent/project-deps/`) to your Vite config so that Vite can serve files through the symlink. | ||
| Original file line number | Diff line number | Diff line change | ||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| @@ -0,0 +1,193 @@ | ||||||||||||||||||||||||||||||||||||||
| #!/usr/bin/env bash | ||||||||||||||||||||||||||||||||||||||
| set -euo pipefail | ||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||
| # Sandbox npm Install Script | ||||||||||||||||||||||||||||||||||||||
| # Installs node_modules on local ext4 filesystem and symlinks into the workspace. | ||||||||||||||||||||||||||||||||||||||
| # This avoids native binary crashes (esbuild, lightningcss, rollup) on virtiofs. | ||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||
| SCRIPT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)" | ||||||||||||||||||||||||||||||||||||||
| REPO_ROOT="$(cd "$SCRIPT_DIR/../../.." && pwd)" | ||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||
| # Local ext4 base directory where node_modules is installed to avoid virtiofs crashes. | ||||||||||||||||||||||||||||||||||||||
| # Change this path if your sandbox uses a different local filesystem location. | ||||||||||||||||||||||||||||||||||||||
| readonly DEPS_BASE="/home/agent/project-deps" | ||||||||||||||||||||||||||||||||||||||
| WORKSPACE_CLIENT="" | ||||||||||||||||||||||||||||||||||||||
| INSTALL_PLAYWRIGHT="false" | ||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||
| usage() { | ||||||||||||||||||||||||||||||||||||||
| cat <<EOF | ||||||||||||||||||||||||||||||||||||||
| Usage: $(basename "$0") [options] | ||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||
| Options: | ||||||||||||||||||||||||||||||||||||||
| --workspace <path> Client workspace containing package.json | ||||||||||||||||||||||||||||||||||||||
| --playwright Install Playwright Chromium browser | ||||||||||||||||||||||||||||||||||||||
| --help Show this help message | ||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||
| Examples: | ||||||||||||||||||||||||||||||||||||||
| bash scripts/install.sh | ||||||||||||||||||||||||||||||||||||||
| bash scripts/install.sh --workspace app/client --playwright | ||||||||||||||||||||||||||||||||||||||
GeekTrainer marked this conversation as resolved.
Show resolved
Hide resolved
|
||||||||||||||||||||||||||||||||||||||
| EOF | ||||||||||||||||||||||||||||||||||||||
| } | ||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||
| while [[ $# -gt 0 ]]; do | ||||||||||||||||||||||||||||||||||||||
| case "$1" in | ||||||||||||||||||||||||||||||||||||||
| --workspace) | ||||||||||||||||||||||||||||||||||||||
| if [[ -z "${2:-}" ]]; then | ||||||||||||||||||||||||||||||||||||||
| echo "Error: --workspace requires a path argument" | ||||||||||||||||||||||||||||||||||||||
| usage | ||||||||||||||||||||||||||||||||||||||
| exit 1 | ||||||||||||||||||||||||||||||||||||||
| fi | ||||||||||||||||||||||||||||||||||||||
| WORKSPACE_CLIENT="$2" | ||||||||||||||||||||||||||||||||||||||
| shift 2 | ||||||||||||||||||||||||||||||||||||||
| ;; | ||||||||||||||||||||||||||||||||||||||
| --playwright) | ||||||||||||||||||||||||||||||||||||||
| INSTALL_PLAYWRIGHT="true" | ||||||||||||||||||||||||||||||||||||||
| shift | ||||||||||||||||||||||||||||||||||||||
| ;; | ||||||||||||||||||||||||||||||||||||||
| --help|-h) | ||||||||||||||||||||||||||||||||||||||
| usage | ||||||||||||||||||||||||||||||||||||||
| exit 0 | ||||||||||||||||||||||||||||||||||||||
| ;; | ||||||||||||||||||||||||||||||||||||||
| *) | ||||||||||||||||||||||||||||||||||||||
| echo "Unknown option: $1" | ||||||||||||||||||||||||||||||||||||||
| usage | ||||||||||||||||||||||||||||||||||||||
| exit 1 | ||||||||||||||||||||||||||||||||||||||
| ;; | ||||||||||||||||||||||||||||||||||||||
| esac | ||||||||||||||||||||||||||||||||||||||
| done | ||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||
| if [[ -z "$WORKSPACE_CLIENT" ]]; then | ||||||||||||||||||||||||||||||||||||||
| if [[ -f "$PWD/package.json" ]]; then | ||||||||||||||||||||||||||||||||||||||
| WORKSPACE_CLIENT="$PWD" | ||||||||||||||||||||||||||||||||||||||
| elif [[ -f "$REPO_ROOT/package.json" ]]; then | ||||||||||||||||||||||||||||||||||||||
| WORKSPACE_CLIENT="$REPO_ROOT" | ||||||||||||||||||||||||||||||||||||||
| fi | ||||||||||||||||||||||||||||||||||||||
| fi | ||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||
| if [[ -n "$WORKSPACE_CLIENT" ]]; then | ||||||||||||||||||||||||||||||||||||||
| WORKSPACE_CLIENT="$(cd "$WORKSPACE_CLIENT" 2>/dev/null && pwd || true)" | ||||||||||||||||||||||||||||||||||||||
| fi | ||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||
| if [[ -z "$WORKSPACE_CLIENT" || ! -f "$WORKSPACE_CLIENT/package.json" ]]; then | ||||||||||||||||||||||||||||||||||||||
| echo "Could not find a valid workspace client path containing package.json." | ||||||||||||||||||||||||||||||||||||||
| echo "Use --workspace <path> to specify it explicitly." | ||||||||||||||||||||||||||||||||||||||
| exit 1 | ||||||||||||||||||||||||||||||||||||||
| fi | ||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||
| echo "=== Sandbox npm Install ===" | ||||||||||||||||||||||||||||||||||||||
| echo "Workspace: $WORKSPACE_CLIENT" | ||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||
| # Derive a unique subdirectory from the workspace path relative to the repo root. | ||||||||||||||||||||||||||||||||||||||
| # e.g. /repo/apps/web -> apps-web, /repo -> <repo-basename> | ||||||||||||||||||||||||||||||||||||||
| REL_PATH="${WORKSPACE_CLIENT#"$REPO_ROOT"}" | ||||||||||||||||||||||||||||||||||||||
| REL_PATH="${REL_PATH#/}" | ||||||||||||||||||||||||||||||||||||||
| if [[ -z "$REL_PATH" ]]; then | ||||||||||||||||||||||||||||||||||||||
| REL_PATH="$(basename "$REPO_ROOT")" | ||||||||||||||||||||||||||||||||||||||
| fi | ||||||||||||||||||||||||||||||||||||||
| # Sanitize: replace path separators with hyphens | ||||||||||||||||||||||||||||||||||||||
| DEPS_SUBDIR="${REL_PATH//\//-}" | ||||||||||||||||||||||||||||||||||||||
| DEPS_DIR="${DEPS_BASE}/${DEPS_SUBDIR}" | ||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||
| echo "Deps dir: $DEPS_DIR" | ||||||||||||||||||||||||||||||||||||||
|
|
||||||||||||||||||||||||||||||||||||||
| # Step 1: Prepare local deps directory | ||||||||||||||||||||||||||||||||||||||
| echo "→ Preparing $DEPS_DIR..." | ||||||||||||||||||||||||||||||||||||||
|
||||||||||||||||||||||||||||||||||||||
| echo "→ Preparing $DEPS_DIR..." | |
| echo "→ Preparing $DEPS_DIR..." | |
| # Safety checks before recursive delete | |
| if [[ -z "${DEPS_DIR:-}" ]]; then | |
| echo "Error: DEPS_DIR is empty; aborting to avoid unsafe rm -rf." | |
| exit 1 | |
| fi | |
| if [[ "$DEPS_DIR" == "/" ]]; then | |
| echo "Error: DEPS_DIR is '/' ; aborting to avoid unsafe rm -rf." | |
| exit 1 | |
| fi | |
| if [[ "$DEPS_DIR" != "$DEPS_BASE"/* ]]; then | |
| echo "Error: DEPS_DIR ('$DEPS_DIR') is not under DEPS_BASE ('$DEPS_BASE'); aborting." | |
| exit 1 | |
| fi |
Copilot
AI
Mar 12, 2026
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
Copying .npmrc into the deps directory can duplicate registry auth tokens (common in .npmrc). To reduce token exposure on multi-user systems, consider creating the directory with restrictive permissions (e.g., 700) and setting the copied .npmrc to 600 after copying.
| mkdir -p "$DEPS_DIR" | |
| cp "$WORKSPACE_CLIENT/package.json" "$DEPS_DIR/" | |
| # Copy .npmrc if present (needed for private registries / scoped packages) | |
| if [[ -f "$WORKSPACE_CLIENT/.npmrc" ]]; then | |
| cp "$WORKSPACE_CLIENT/.npmrc" "$DEPS_DIR/" | |
| mkdir -p "$DEPS_DIR" | |
| chmod 700 "$DEPS_DIR" | |
| cp "$WORKSPACE_CLIENT/package.json" "$DEPS_DIR/" | |
| # Copy .npmrc if present (needed for private registries / scoped packages) | |
| if [[ -f "$WORKSPACE_CLIENT/.npmrc" ]]; then | |
| cp "$WORKSPACE_CLIENT/.npmrc" "$DEPS_DIR/" | |
| chmod 600 "$DEPS_DIR/.npmrc" |
Uh oh!
There was an error while loading. Please reload this page.