Live Last read · last published · next check
はじめに transformerとtext_encoderをSDNQ(SD.Next Quantization)で4bit量子化しました。 torchao、bitsandbytesでもやってみましたが、4bit量子化は実行できても実際にモデルを実行する時にgroup_offloadingのところで躓いてうまくできませんでした。 環境 uvを使っています。 pyproject.tomlを載せておきます。 [project] name = "minimax" version = "0.1.0" description = "Add your description here" readme = "…
はじめに touch-sp.hatenablog.com 前回の続きです。Two-stage distilled generationでは縦、横それぞれ倍の動画が作成されます。 latent_upsampleのダウンロード uvx hf download Lightricks/LTX-2.5-Diffusers \ --local-dir LTX-2.5-Diffusers \ --include "latent_upsampler/*" 実行 import torch from transformers import AutoModel as transformersModel from d…
はじめに touch-sp.hatenablog.com 前回はモデルをロードするたびに量子化を行っていました。それでは無駄が多いので量子化したモデルを保存して再利用することにしました。 量子化 text_encoderの量子化と保存 import torch from transformers import Gemma4UnifiedForConditionalGeneration from transformers import BitsAndBytesConfig as transformer_config MODEL_ID = "LTX-2.5-Diffusers" transform…
環境 Ubuntu 24.04 on WSL2 Python環境構築 uvを使用しています。pyproject.tomlを載せておきます。 [project] name = "ltx" version = "0.1.0" description = "Add your description here" readme = "README.md" requires-python = ">=3.13" dependencies = [ "accelerate==1.14.0", "av==18.0.0", "bitsandbytes==0.50.0", "diffusers @ git+https…
llama.cpp 環境 Ubuntu 24.04 on WSL2 ビルド llama.cppはこちらの方法でビルドしました。 モデルのダウンロード uvx hf download meta-models/Muse-Glimmer-30B-GGUF \ --local-dir Muse-Glimmer-30B-GGUF \ --include "muse-glimmer-30B-kquant-17gb.gguf" \ --include "dflash-kquant.gguf" 実行 ./build/bin/llama-server \ -m Muse-Glimmer-30B-GGUF/mus…
環境 Ubuntu 24.04 on WSL2 Python環境構築 uvを使用しています。pyproject.tomlを載せておきます。 [project] name = "ltx" version = "0.1.0" description = "Add your description here" readme = "README.md" requires-python = ">=3.13" dependencies = [ "accelerate==1.14.0", "av==18.0.0", "bitsandbytes==0.50.0", "diffusers==0.39.0", "…
環境 Ubuntu 24.04 on WSL2 Python環境構築 uvを使っています。 pyproject.tomlを載せておきます。 [project] name = "ocr" version = "0.1.0" description = "Add your description here" readme = "README.md" requires-python = ">=3.12,<3.13" dependencies = [ "torch==2.10.0+cu129", "torchvision==0.25.0+cu129", "transformers==4.57.1", …
使用したPC こちらのPCを使っています。 Windows 11 Home Core i7-12700H GeForce RTX 3080 Laptop VRAM 16GB RAM: 32GB SSD: 1TB NVMe SSD 環境 Ubuntu 24.04 on WSL2 事前準備 Ubuntuに以下をインストールする必要がありました。 sudo apt install -y build-essential gcc g++ Python環境構築 uvを使用しています。pyproject.tomlを載せておきます。 [project] name = "minimax" version = "…
環境 Ubuntu 24.04 on WSL2 Python環境構築 事前にCUDA toolkitをインストールしておく必要はありません。 git clone https://github.com/Aratako/Irodori-TTS.git cd Irodori-TTS uv sync --extra cu128 # NVIDIA CUDA 12.8 実行 Voice cloning uv run --no-sync python infer.py \ --hf-checkpoint Aratako/Irodori-TTS-v4-Small \ --text "あしたの甲府の天気は、最高…
環境 Windows 11 Python環境構築 pyproject.tomlを載せておきます。 uv syncで簡単に構築できます。 [project] name = "voice-clone" version = "0.1.0" description = "Add your description here" readme = "README.md" requires-python = ">=3.13" dependencies = [ "torch==2.13.0+cu126", "torchaudio==2.11.0+cu126", "voxcpm==2.0.3", ] [[tool…
