Bleach체험해 보기
여러 PC의 GPU로 하나의 모델을 실행

한 대로는 부족한 모델,
GPU를 모아 나눠 돌리세요.

Bleach는 모델의 레이어를 여러 PC의 GPU에 나눠 올려 추론하는 분산 추론 플랫폼입니다. PC 등록부터 배포, 채팅까지 한 콘솔에서 관리합니다.

체험해 보기 에이전트 다운로드

Windows 10/11 x64 · Bleach Agent 0.5.1 · 3.1 GiB

모델과 대화 기록은 직접 운영하는 서버와 PC에만 저장됩니다

배포 예시
Qwen2.5-7B-Instruct · 28 layers
ready
PC Astage 0 · head
RTX 4070 · 12GB
layers [0–13]
PC Bstage 1 · middle
RTX 3060 · 12GB
layers [14–20]
PC Cstage 2 · tail
RTX 3060 · 8GB
layers [21–27]
activation → 다음 stagetoken id → head직접 WSS 또는 서버 중계

세 단계면 충분합니다

에이전트를 설치한 PC만 있으면 콘솔에서 배포하고 바로 대화할 수 있습니다.

  1. 01

    PC에 에이전트 설치

    설치 파일을 실행하면 토큰 없이 서버에 자동 등록됩니다. GPU·VRAM·RAM·디스크 상태가 바로 콘솔에 나타납니다.

  2. 02

    stage를 고르고 배포

    사용할 GPU를 순서대로 고르고 레이어 구간을 나눕니다. 균등·예산 균형 분배와 stage별 VRAM 추정으로 배포 전에 검증합니다.

  3. 03

    채팅으로 추론

    ready 상태인 배포를 골라 바로 대화합니다. 대화와 응답 측정값은 서버에 저장되어 어느 브라우저에서든 이어 볼 수 있습니다.

분산 추론에 필요한 것들

자동 PC 등록

에이전트가 LAN IP를 찾아 인증 정보를 만들고 재접속합니다.

N-stage 레이어 분할

GPU 2개 이상에 head부터 tail까지 레이어를 원하는 만큼 나눕니다.

직접 연결 · 서버 중계

PC 간 WSS 직접 연결이 막히면 서버를 통해 자동으로 중계합니다.

VRAM 예산 검사

embedding·lm_head까지 포함한 추정치로 부족한 배치를 미리 막습니다.

실시간 클러스터 상태

stage별 로딩·실행·자원 반환과 큐, 성공률을 한 화면에서 봅니다.

직접 운영하는 인프라

모델과 대화 기록은 직접 운영하는 서버와 PC에만 머뭅니다.

지금 클러스터를 둘러보세요

에이전트를 설치하면 PC가 자동으로 등록되고, 관리자 로그인 후 채팅·클러스터 상태·배포 관리를 사용할 수 있습니다.

체험해 보기 에이전트 다운로드