Compare commits
1 Commits
1fbe15c0a0
...
7fd6cc9911
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
7fd6cc9911 |
@@ -46,33 +46,8 @@
|
|||||||
kubernetes
|
kubernetes
|
||||||
];
|
];
|
||||||
|
|
||||||
## Enable containerd for Kubernetes
|
# Enable containerd for Kubernetes
|
||||||
#virtualisation.containerd.enable = true;
|
virtualisation.containerd.enable = true;
|
||||||
|
|
||||||
## Enable kubelet
|
|
||||||
#services.kubelet = {
|
|
||||||
# enable = true;
|
|
||||||
# extraFlags = {
|
|
||||||
# "pod-infra-container-image" = "registry.k8s.io/pause:3.9";
|
|
||||||
# };
|
|
||||||
#};
|
|
||||||
|
|
||||||
## Enable kubeadm for cluster initialization
|
|
||||||
#environment.etc."kubeadm.yaml".text = ''
|
|
||||||
# apiVersion: kubeadm.k8s.io/v1beta3
|
|
||||||
# kind: InitConfiguration
|
|
||||||
# localAPIEndpoint:
|
|
||||||
# advertiseAddress: 127.0.0.1
|
|
||||||
# bindPort: 6443
|
|
||||||
# ---
|
|
||||||
# apiVersion: kubeadm.k8s.io/v1beta3
|
|
||||||
# kind: ClusterConfiguration
|
|
||||||
# clusterName: ${config.services.kubernetes.clusterName}
|
|
||||||
# controlPlaneEndpoint: ${config.services.kubernetes.controlPlaneEndpoint}
|
|
||||||
# networking:
|
|
||||||
# serviceSubnet: 10.96.0.0/12
|
|
||||||
# podSubnet: 10.244.0.0/16
|
|
||||||
# dnsDomain: cluster.local
|
|
||||||
#'';
|
|
||||||
};
|
};
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -1,7 +1,6 @@
|
|||||||
{
|
{
|
||||||
lib,
|
lib,
|
||||||
pkgs,
|
pkgs,
|
||||||
config,
|
|
||||||
...
|
...
|
||||||
}:
|
}:
|
||||||
{
|
{
|
||||||
@@ -18,7 +17,6 @@
|
|||||||
./stylix.nix
|
./stylix.nix
|
||||||
./wifi.nix
|
./wifi.nix
|
||||||
./zerotier.nix
|
./zerotier.nix
|
||||||
../palatine-hill/ollama.nix
|
|
||||||
];
|
];
|
||||||
|
|
||||||
time.timeZone = "America/New_York";
|
time.timeZone = "America/New_York";
|
||||||
@@ -41,20 +39,6 @@
|
|||||||
sops.age.sshKeyPaths = [ "/etc/ssh/ssh_host_ed25519_key" ];
|
sops.age.sshKeyPaths = [ "/etc/ssh/ssh_host_ed25519_key" ];
|
||||||
|
|
||||||
services = {
|
services = {
|
||||||
ollama = {
|
|
||||||
package = lib.mkForce pkgs.ollama-rocm;
|
|
||||||
models = lib.mkForce "${config.services.ollama.home}/models";
|
|
||||||
loadModels = lib.mkForce [
|
|
||||||
"deepseek-r1:1.5b"
|
|
||||||
"qwen3-coder-next"
|
|
||||||
"lennyerik/zeta"
|
|
||||||
"nomic-embed-text:latest"
|
|
||||||
"glm-4.7-flash"
|
|
||||||
"magistral"
|
|
||||||
"devstral-small-2"
|
|
||||||
"starcoder2:7b"
|
|
||||||
];
|
|
||||||
};
|
|
||||||
flatpak.enable = true;
|
flatpak.enable = true;
|
||||||
calibre-web = {
|
calibre-web = {
|
||||||
# temp disable this
|
# temp disable this
|
||||||
|
|||||||
@@ -17,6 +17,7 @@
|
|||||||
./minio.nix
|
./minio.nix
|
||||||
./networking.nix
|
./networking.nix
|
||||||
./nextcloud.nix
|
./nextcloud.nix
|
||||||
|
./ollama.nix
|
||||||
#./plex
|
#./plex
|
||||||
./postgresql.nix
|
./postgresql.nix
|
||||||
./samba.nix
|
./samba.nix
|
||||||
|
|||||||
@@ -25,14 +25,13 @@ in
|
|||||||
"nemotron-cascade-2:30b"
|
"nemotron-cascade-2:30b"
|
||||||
"magistral"
|
"magistral"
|
||||||
"devstral-small-2"
|
"devstral-small-2"
|
||||||
"starcoder2:15b"
|
|
||||||
];
|
];
|
||||||
models = vars.primary_ollama;
|
models = vars.primary_ollama;
|
||||||
environmentVariables = {
|
environmentVariables = {
|
||||||
FLASH_ATTENTION = "1";
|
FLASH_ATTENTION = "1";
|
||||||
OLLAMA_KV_CACHE_TYPE = "q4_0";
|
OLLAMA_KV_CACHE_TYPE = "q8_0";
|
||||||
# Ollama memory configuration
|
# Ollama memory configuration
|
||||||
OLLAMA_MAX_LOADED_MODELS = "3";
|
OLLAMA_MAX_LOADED_MODELS = "2";
|
||||||
OLLAMA_MAX_QUEUE = "512";
|
OLLAMA_MAX_QUEUE = "512";
|
||||||
OLLAMA_NUM_PARALLEL = "1";
|
OLLAMA_NUM_PARALLEL = "1";
|
||||||
|
|
||||||
|
|||||||
@@ -85,32 +85,7 @@
|
|||||||
#keep_alive = "15m";
|
#keep_alive = "15m";
|
||||||
available_models = [
|
available_models = [
|
||||||
{
|
{
|
||||||
name = "deepseek-r1:1.5b";
|
name = "glm-4.7-flash";
|
||||||
max_tokens = 128000;
|
|
||||||
keep_alive = "15m";
|
|
||||||
}
|
|
||||||
{
|
|
||||||
name = "deepseek-r1:32b";
|
|
||||||
max_tokens = 128000;
|
|
||||||
keep_alive = "15m";
|
|
||||||
}
|
|
||||||
{
|
|
||||||
name = "deepseek-r1:70b";
|
|
||||||
max_tokens = 128000;
|
|
||||||
keep_alive = "15m";
|
|
||||||
}
|
|
||||||
{
|
|
||||||
name = "qwen3-coder-next";
|
|
||||||
max_tokens = 128000;
|
|
||||||
keep_alive = "15m";
|
|
||||||
}
|
|
||||||
{
|
|
||||||
name = "lennyerik/zeta";
|
|
||||||
max_tokens = 128000;
|
|
||||||
keep_alive = "15m";
|
|
||||||
}
|
|
||||||
{
|
|
||||||
name = "nomic-embed-text:latest";
|
|
||||||
max_tokens = 128000;
|
max_tokens = 128000;
|
||||||
keep_alive = "15m";
|
keep_alive = "15m";
|
||||||
}
|
}
|
||||||
@@ -119,22 +94,6 @@
|
|||||||
max_tokens = 128000;
|
max_tokens = 128000;
|
||||||
keep_alive = "15m";
|
keep_alive = "15m";
|
||||||
}
|
}
|
||||||
{
|
|
||||||
name = "glm-4.7-flash";
|
|
||||||
max_tokens = 128000;
|
|
||||||
keep_alive = "15m";
|
|
||||||
}
|
|
||||||
{
|
|
||||||
name = "nemotron-cascade-2:30b";
|
|
||||||
max_tokens = 128000;
|
|
||||||
keep_alive = "15m";
|
|
||||||
}
|
|
||||||
{
|
|
||||||
name = "magistral";
|
|
||||||
max_tokens = 128000;
|
|
||||||
keep_alive = "15m";
|
|
||||||
}
|
|
||||||
|
|
||||||
];
|
];
|
||||||
};
|
};
|
||||||
};
|
};
|
||||||
|
|||||||
Reference in New Issue
Block a user