Compare commits
1 Commits
main
...
bb2f86b8ea
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
bb2f86b8ea |
24
flake.lock
generated
24
flake.lock
generated
@@ -76,11 +76,11 @@
|
|||||||
},
|
},
|
||||||
"locked": {
|
"locked": {
|
||||||
"dir": "pkgs/firefox-addons",
|
"dir": "pkgs/firefox-addons",
|
||||||
"lastModified": 1774497795,
|
"lastModified": 1774411399,
|
||||||
"narHash": "sha256-tzgxKaCEMcU6XT0fjV/vEqDCM9yij6wBgPPBKiK8Dfk=",
|
"narHash": "sha256-Qi3kg32UZe3eydNCrNMbKblBRM7OB+m+IQsL9uxlzPQ=",
|
||||||
"owner": "rycee",
|
"owner": "rycee",
|
||||||
"repo": "nur-expressions",
|
"repo": "nur-expressions",
|
||||||
"rev": "11af6f465a038233b8123022dcb7e293f3229f11",
|
"rev": "12af22aad517da1a19bf860e63666d063c1bc7b6",
|
||||||
"type": "gitlab"
|
"type": "gitlab"
|
||||||
},
|
},
|
||||||
"original": {
|
"original": {
|
||||||
@@ -417,11 +417,11 @@
|
|||||||
},
|
},
|
||||||
"nixos-hardware": {
|
"nixos-hardware": {
|
||||||
"locked": {
|
"locked": {
|
||||||
"lastModified": 1774465523,
|
"lastModified": 1774422943,
|
||||||
"narHash": "sha256-4v7HPm63Q90nNn4fgkgKsjW1AH2Klw7XzPtHJr562nM=",
|
"narHash": "sha256-o1xgNumjljdBBfOrcQX95hhKGFOJQYNZqpF3EfaScMk=",
|
||||||
"owner": "NixOS",
|
"owner": "NixOS",
|
||||||
"repo": "nixos-hardware",
|
"repo": "nixos-hardware",
|
||||||
"rev": "de895be946ad1d8aafa0bb6dfc7e7e0e9e466a29",
|
"rev": "632e4bfc21c01e5be900d0d8255a5368a5d6082f",
|
||||||
"type": "github"
|
"type": "github"
|
||||||
},
|
},
|
||||||
"original": {
|
"original": {
|
||||||
@@ -502,11 +502,11 @@
|
|||||||
},
|
},
|
||||||
"nixpkgs_2": {
|
"nixpkgs_2": {
|
||||||
"locked": {
|
"locked": {
|
||||||
"lastModified": 1774386573,
|
"lastModified": 1774106199,
|
||||||
"narHash": "sha256-4hAV26quOxdC6iyG7kYaZcM3VOskcPUrdCQd/nx8obc=",
|
"narHash": "sha256-US5Tda2sKmjrg2lNHQL3jRQ6p96cgfWh3J1QBliQ8Ws=",
|
||||||
"owner": "nixos",
|
"owner": "nixos",
|
||||||
"repo": "nixpkgs",
|
"repo": "nixpkgs",
|
||||||
"rev": "46db2e09e1d3f113a13c0d7b81e2f221c63b8ce9",
|
"rev": "6c9a78c09ff4d6c21d0319114873508a6ec01655",
|
||||||
"type": "github"
|
"type": "github"
|
||||||
},
|
},
|
||||||
"original": {
|
"original": {
|
||||||
@@ -596,11 +596,11 @@
|
|||||||
]
|
]
|
||||||
},
|
},
|
||||||
"locked": {
|
"locked": {
|
||||||
"lastModified": 1774494762,
|
"lastModified": 1774408260,
|
||||||
"narHash": "sha256-lt22GCJZ6qBQLgNZZl3S/RUjTLXTlEy0Fn0sqMttLxQ=",
|
"narHash": "sha256-Jn9d9r85dmf3gTMnSRt6t+DP2nQ5uJns/MMXg2FpzfM=",
|
||||||
"owner": "oxalica",
|
"owner": "oxalica",
|
||||||
"repo": "rust-overlay",
|
"repo": "rust-overlay",
|
||||||
"rev": "ce3b3a61ebf28670dfc8b97eb35ed9e24474a2cf",
|
"rev": "d6471ee5a8f470251e6e5b83a20a182eb6c46c9b",
|
||||||
"type": "github"
|
"type": "github"
|
||||||
},
|
},
|
||||||
"original": {
|
"original": {
|
||||||
|
|||||||
@@ -46,10 +46,10 @@
|
|||||||
kubernetes
|
kubernetes
|
||||||
];
|
];
|
||||||
|
|
||||||
## Enable containerd for Kubernetes
|
# Enable containerd for Kubernetes
|
||||||
#virtualisation.containerd.enable = true;
|
virtualisation.containerd.enable = true;
|
||||||
|
|
||||||
## Enable kubelet
|
# Enable kubelet
|
||||||
#services.kubelet = {
|
#services.kubelet = {
|
||||||
# enable = true;
|
# enable = true;
|
||||||
# extraFlags = {
|
# extraFlags = {
|
||||||
|
|||||||
@@ -1,7 +1,6 @@
|
|||||||
{
|
{
|
||||||
lib,
|
lib,
|
||||||
pkgs,
|
pkgs,
|
||||||
config,
|
|
||||||
...
|
...
|
||||||
}:
|
}:
|
||||||
{
|
{
|
||||||
@@ -18,7 +17,6 @@
|
|||||||
./stylix.nix
|
./stylix.nix
|
||||||
./wifi.nix
|
./wifi.nix
|
||||||
./zerotier.nix
|
./zerotier.nix
|
||||||
../palatine-hill/ollama.nix
|
|
||||||
];
|
];
|
||||||
|
|
||||||
time.timeZone = "America/New_York";
|
time.timeZone = "America/New_York";
|
||||||
@@ -41,19 +39,6 @@
|
|||||||
sops.age.sshKeyPaths = [ "/etc/ssh/ssh_host_ed25519_key" ];
|
sops.age.sshKeyPaths = [ "/etc/ssh/ssh_host_ed25519_key" ];
|
||||||
|
|
||||||
services = {
|
services = {
|
||||||
ollama = {
|
|
||||||
package = lib.mkForce pkgs.ollama-rocm;
|
|
||||||
models = lib.mkForce "${config.services.ollama.home}/models";
|
|
||||||
loadModels = lib.mkForce [
|
|
||||||
"deepseek-r1:1.5b"
|
|
||||||
"lennyerik/zeta"
|
|
||||||
"nomic-embed-text:latest"
|
|
||||||
"glm-4.7-flash"
|
|
||||||
"magistral"
|
|
||||||
"devstral-small-2"
|
|
||||||
"starcoder2:7b"
|
|
||||||
];
|
|
||||||
};
|
|
||||||
flatpak.enable = true;
|
flatpak.enable = true;
|
||||||
calibre-web = {
|
calibre-web = {
|
||||||
# temp disable this
|
# temp disable this
|
||||||
|
|||||||
@@ -27,7 +27,6 @@
|
|||||||
fd
|
fd
|
||||||
file
|
file
|
||||||
firefox
|
firefox
|
||||||
|
|
||||||
# gestures replacement
|
# gestures replacement
|
||||||
git
|
git
|
||||||
glances
|
glances
|
||||||
@@ -35,8 +34,12 @@
|
|||||||
grim
|
grim
|
||||||
htop
|
htop
|
||||||
hwloc
|
hwloc
|
||||||
|
ipmiview
|
||||||
iperf3
|
iperf3
|
||||||
# ipscan
|
# ipscan
|
||||||
|
javaPackages.compiler.temurin-bin.jdk-25
|
||||||
|
javaPackages.compiler.temurin-bin.jdk-21
|
||||||
|
javaPackages.compiler.temurin-bin.jdk-17
|
||||||
jp2a
|
jp2a
|
||||||
jq
|
jq
|
||||||
kdePackages.kdenlive
|
kdePackages.kdenlive
|
||||||
|
|||||||
@@ -17,6 +17,7 @@
|
|||||||
./minio.nix
|
./minio.nix
|
||||||
./networking.nix
|
./networking.nix
|
||||||
./nextcloud.nix
|
./nextcloud.nix
|
||||||
|
./ollama.nix
|
||||||
#./plex
|
#./plex
|
||||||
./postgresql.nix
|
./postgresql.nix
|
||||||
./samba.nix
|
./samba.nix
|
||||||
@@ -25,9 +26,11 @@
|
|||||||
|
|
||||||
programs.git.lfs.enable = false;
|
programs.git.lfs.enable = false;
|
||||||
|
|
||||||
nixpkgs.config.packageOverrides = pkgs: {
|
nixpkgs.config = {
|
||||||
|
packageOverrides = pkgs: {
|
||||||
vaapiIntel = pkgs.vaapiIntel.override { enableHybridCodec = true; };
|
vaapiIntel = pkgs.vaapiIntel.override { enableHybridCodec = true; };
|
||||||
};
|
};
|
||||||
|
};
|
||||||
|
|
||||||
boot = {
|
boot = {
|
||||||
loader.grub.device = "/dev/sda";
|
loader.grub.device = "/dev/sda";
|
||||||
@@ -97,6 +100,13 @@
|
|||||||
smartd.enable = true;
|
smartd.enable = true;
|
||||||
calibre-server.enable = false;
|
calibre-server.enable = false;
|
||||||
|
|
||||||
|
# Kubernetes example configuration
|
||||||
|
# To enable Kubernetes, uncomment the following:
|
||||||
|
# kubernetes = {
|
||||||
|
# enable = true;
|
||||||
|
# clusterName = "palatine-hill-cluster";
|
||||||
|
# controlPlaneEndpoint = "localhost:6443";
|
||||||
|
# };
|
||||||
};
|
};
|
||||||
|
|
||||||
nix.gc.options = "--delete-older-than 150d";
|
nix.gc.options = "--delete-older-than 150d";
|
||||||
|
|||||||
@@ -15,26 +15,27 @@ in
|
|||||||
"deepseek-r1:1.5b"
|
"deepseek-r1:1.5b"
|
||||||
"deepseek-r1:32b"
|
"deepseek-r1:32b"
|
||||||
"deepseek-r1:70b"
|
"deepseek-r1:70b"
|
||||||
#"qwen3"
|
"qwen3"
|
||||||
#"qwen3.5:latest"
|
#"qwen3-coder-next"
|
||||||
"qwen3-coder-next"
|
"qwen3-coder-next"
|
||||||
"lennyerik/zeta"
|
"lennyerik/zeta"
|
||||||
|
"qwen2.5-coder:14b"
|
||||||
|
"qwen2.5-coder:32b"
|
||||||
"nomic-embed-text:latest"
|
"nomic-embed-text:latest"
|
||||||
|
"llama4:scout"
|
||||||
|
"mistral:7b"
|
||||||
|
"minimax-m2.7:cloud"
|
||||||
"lfm2:24b"
|
"lfm2:24b"
|
||||||
"glm-4.7-flash"
|
"glm-4.7-flash"
|
||||||
"nemotron-cascade-2:30b"
|
|
||||||
"magistral"
|
|
||||||
"devstral-small-2"
|
|
||||||
"starcoder2:15b"
|
|
||||||
];
|
];
|
||||||
models = vars.primary_ollama;
|
models = vars.primary_ollama;
|
||||||
environmentVariables = {
|
environmentVariables = {
|
||||||
FLASH_ATTENTION = "1";
|
FLASH_ATTENTION = "1";
|
||||||
OLLAMA_KV_CACHE_TYPE = "q4_0";
|
OLLAMA_KV_CACHE_TYPE = "q8_0";
|
||||||
# Ollama memory configuration
|
# Ollama memory configuration
|
||||||
OLLAMA_MAX_LOADED_MODELS = "3";
|
OLLAMA_MAX_LOADED_MODELS = "3";
|
||||||
OLLAMA_MAX_QUEUE = "512";
|
OLLAMA_MAX_QUEUE = "512";
|
||||||
OLLAMA_NUM_PARALLEL = "1";
|
OLLAMA_NUM_PARALLEL = "3";
|
||||||
|
|
||||||
# ROCm memory optimization
|
# ROCm memory optimization
|
||||||
#HIP_VISIBLE_DEVICES = "0";
|
#HIP_VISIBLE_DEVICES = "0";
|
||||||
|
|||||||
@@ -31,6 +31,7 @@
|
|||||||
grim
|
grim
|
||||||
htop
|
htop
|
||||||
hwloc
|
hwloc
|
||||||
|
ipmiview
|
||||||
iperf3
|
iperf3
|
||||||
# ipscan
|
# ipscan
|
||||||
jp2a
|
jp2a
|
||||||
|
|||||||
@@ -63,81 +63,8 @@
|
|||||||
"latex"
|
"latex"
|
||||||
"terraform"
|
"terraform"
|
||||||
"log"
|
"log"
|
||||||
"context7-mcp-server"
|
|
||||||
"github-mcp-server"
|
|
||||||
];
|
];
|
||||||
userSettings = {
|
userSettings = {
|
||||||
context_servers = {
|
|
||||||
nixos = {
|
|
||||||
command = "nix";
|
|
||||||
args = [
|
|
||||||
"run"
|
|
||||||
"github:utensils/mcp-nixos"
|
|
||||||
"--"
|
|
||||||
];
|
|
||||||
};
|
|
||||||
};
|
|
||||||
language_models = {
|
|
||||||
ollama = {
|
|
||||||
api_url = "http://192.168.76.2:11434";
|
|
||||||
context_window = 128000;
|
|
||||||
# global keep alive doesnt work
|
|
||||||
#keep_alive = "15m";
|
|
||||||
available_models = [
|
|
||||||
{
|
|
||||||
name = "deepseek-r1:1.5b";
|
|
||||||
max_tokens = 128000;
|
|
||||||
keep_alive = "15m";
|
|
||||||
}
|
|
||||||
{
|
|
||||||
name = "deepseek-r1:32b";
|
|
||||||
max_tokens = 128000;
|
|
||||||
keep_alive = "15m";
|
|
||||||
}
|
|
||||||
{
|
|
||||||
name = "deepseek-r1:70b";
|
|
||||||
max_tokens = 128000;
|
|
||||||
keep_alive = "15m";
|
|
||||||
}
|
|
||||||
{
|
|
||||||
name = "qwen3-coder-next";
|
|
||||||
max_tokens = 128000;
|
|
||||||
keep_alive = "15m";
|
|
||||||
}
|
|
||||||
{
|
|
||||||
name = "lennyerik/zeta";
|
|
||||||
max_tokens = 128000;
|
|
||||||
keep_alive = "15m";
|
|
||||||
}
|
|
||||||
{
|
|
||||||
name = "nomic-embed-text:latest";
|
|
||||||
max_tokens = 128000;
|
|
||||||
keep_alive = "15m";
|
|
||||||
}
|
|
||||||
{
|
|
||||||
name = "lfm2:24b";
|
|
||||||
max_tokens = 128000;
|
|
||||||
keep_alive = "15m";
|
|
||||||
}
|
|
||||||
{
|
|
||||||
name = "glm-4.7-flash";
|
|
||||||
max_tokens = 128000;
|
|
||||||
keep_alive = "15m";
|
|
||||||
}
|
|
||||||
{
|
|
||||||
name = "nemotron-cascade-2:30b";
|
|
||||||
max_tokens = 128000;
|
|
||||||
keep_alive = "15m";
|
|
||||||
}
|
|
||||||
{
|
|
||||||
name = "magistral";
|
|
||||||
max_tokens = 128000;
|
|
||||||
keep_alive = "15m";
|
|
||||||
}
|
|
||||||
|
|
||||||
];
|
|
||||||
};
|
|
||||||
};
|
|
||||||
colorize_brackets = true;
|
colorize_brackets = true;
|
||||||
hard_tabs = false;
|
hard_tabs = false;
|
||||||
vim_mode = true;
|
vim_mode = true;
|
||||||
@@ -150,7 +77,7 @@
|
|||||||
agent = {
|
agent = {
|
||||||
default_model = {
|
default_model = {
|
||||||
provider = "ollama";
|
provider = "ollama";
|
||||||
model = "glm-4.7-flash";
|
model = "qwen2.5-coder:latest";
|
||||||
};
|
};
|
||||||
favorite_models = [ ];
|
favorite_models = [ ];
|
||||||
model_parameters = [ ];
|
model_parameters = [ ];
|
||||||
@@ -162,16 +89,13 @@
|
|||||||
journal = {
|
journal = {
|
||||||
hour_format = "hour24";
|
hour_format = "hour24";
|
||||||
};
|
};
|
||||||
edit_predictions = {
|
edit_preditions = {
|
||||||
provider = "ollama";
|
provider = "open_ai_compatible_api";
|
||||||
ollama = {
|
open_ai_compatible_api = {
|
||||||
#api_url = "http://192.168.76.2:11434/v1/completions";
|
api_url = "http://localhost:11434/v1/completions";
|
||||||
api_url = "http://192.168.76.2:11434";
|
model = "zeta:latest";
|
||||||
context_window = 128000;
|
prompt_format = "infer";
|
||||||
model = "lennyerik/zeta";
|
|
||||||
prompt_format = "qwen";
|
|
||||||
max_requests = 64;
|
max_requests = 64;
|
||||||
max_output_tokens = 256;
|
|
||||||
};
|
};
|
||||||
};
|
};
|
||||||
texlab = {
|
texlab = {
|
||||||
@@ -220,8 +144,6 @@
|
|||||||
# markdown
|
# markdown
|
||||||
nodePackages.markdownlint-cli
|
nodePackages.markdownlint-cli
|
||||||
|
|
||||||
# insert essential rust dependencies
|
|
||||||
|
|
||||||
# doom emacs dependencies
|
# doom emacs dependencies
|
||||||
yaml-language-server
|
yaml-language-server
|
||||||
nodePackages.typescript-language-server
|
nodePackages.typescript-language-server
|
||||||
@@ -262,6 +184,5 @@
|
|||||||
|
|
||||||
# arch zed deps
|
# arch zed deps
|
||||||
nixd
|
nixd
|
||||||
uv
|
|
||||||
];
|
];
|
||||||
}
|
}
|
||||||
|
|||||||
Reference in New Issue
Block a user