A Apple reduz pela metade sua síntese de imagem AI com o novo patch Stable Diffusion

Prolongar / Dois exemplos de ilustrações geradas por difusão estável fornecidas pela Apple.

Maçã

Quarta-feira, Maçã Publicados otimizações que permitem transmissão constante Gerador de imagem AI para rodar no Apple Silicon usando ML básico, estrutura proprietária da Apple para modelos de aprendizado de máquina. As otimizações permitirão que os desenvolvedores de aplicativos usem Mecanismo Neural da Apple hardware para executar o Stable Diffusion cerca de duas vezes mais rápido que os métodos anteriores baseados em Mac.

O Stable Diffusion (SD), lançado em agosto, é um modelo de síntese de imagem AI de código aberto que gera novas imagens usando entrada de texto. Por exemplo, digitar “astronaut on a dragon” no SD geralmente criará uma imagem exatamente disso.

Ao liberar as novas otimizações SD, disponíveis como scripts de conversão em GitHub—A Apple quer liberar todo o potencial da computação gráfica em seus dispositivos, o que ela Observações na página de anúncios da Apple Research. “Com o número crescente de aplicativos da Stable Diffusion, é importante garantir que os desenvolvedores possam aproveitar essa tecnologia de maneira eficaz para criar aplicativos que criativos em todos os lugares possam usar.”

A Apple também cita a privacidade e a redução dos custos de computação em nuvem como benefícios de executar um modelo de construção de IA localmente em um Mac ou dispositivo Apple.

“A privacidade do usuário final é protegida porque todos os dados fornecidos pelo usuário como entrada para o modelo permanecem no dispositivo do usuário”, explica a Apple. “Em segundo lugar, após o download inicial, os usuários não precisam de uma conexão com a Internet para usar o modelo. Por fim, a implantação local desse modelo permite que os desenvolvedores reduzam ou eliminem seus custos com servidores.”

Atualmente, Stable Diffusion renderiza quadros mais rapidamente em GPUs Nvidia de última geração quando executar localmente em um PC com Windows ou Linux. Por exemplo, gerar um quadro de 512×512 em 50 etapas em um RTX 3060 leva cerca de 8,7 segundos em nossa máquina.

Em comparação, o método convencional de execução do Stable Diffusion em um Apple Silicon Mac é muito mais lento, levando cerca de 69,8 segundos para gerar uma imagem de 512 × 512 em 50 etapas usando abelha de transmissão durante nossos testes em um Mac Mini M1.

De acordo com a Apple marcos no GitHub, as novas otimizações Core ML SD da Apple podem gerar uma imagem de 512 × 512 em 50 etapas em um chip M1 em 35 segundos. Um M2 faz o trabalho em 23 segundos, e o chip de silício mais poderoso da Apple, o M1 Ultra, pode alcançar o mesmo resultado em apenas nove segundos. É uma melhoria dramática, reduzindo o tempo de construção quase pela metade no caso do M1.

Maçãs Lançamento do GitHub é um pacote Python que converte modelos stablecast de TorchPy para Core ML e inclui um pacote Swift para implantação de modelo. As otimizações funcionam para Stable Diffusion 1.4, 1.5 e versões mais recentes 2.0.

Atualmente, a experiência de configuração Stable Diffusion com Core ML localmente em um Mac é voltada para desenvolvedores e requer habilidades básicas de linha de comando, mas Hugging Face publicou um guia detalhado para definir as otimizações do Core ML da Apple para quem deseja experimentar.

Para aqueles menos inclinados tecnicamente, o aplicativo mencionado anteriormente chamado abelha de transmissão facilita a execução do Stable Diffusion no Apple Silicon, mas ainda não incorpora as novas otimizações da Apple. Além disso, você pode executar o Stable Diffusion em um iPhone ou iPad usando o desenhar coisas inscrição.