构建一个Figma AI助手- Ollie The Dev
2024 年 1 月 15 日

构建一个Figma AI助手- Ollie The Dev - Medium

[

Ollie The Dev

](https://medium.com/@olliethedev?source=post_page-----a33a1c32a377--------------------------------)

Figma文字到设计 (opens new window)插件可能看起来像是魔法。但是插件的最新改进并非偶然。

这是多个月来对AI提示、UI/UX和多模式LLMs进行实验的结果。

以下是一些有趣的发现:

提高每个标记的信息密度 #

该插件通过使用LLM生成HTML+CSS,然后将其转换为Figma图层面板中看到的所有不同类型的元素。

插件的初始版本只是生成原始的CSS和HTML,但为了提高输出的速度和质量,我必须找到一种方法,将尽可能多的样式数据打包到生成的代码中,同时保持系统提示和输出的简洁性,避免产生幻觉。

解决方案是使用Tailwind和FontAwesome CSS类来提示LLM使用更高级别的样式抽象。这样可以获得更好的质量结果,减少幻觉,并且生成时间更快,因为结果在每个标记中具有更高的信息密度。

未来可以在更高层次的抽象方面做更多工作。

下面是旧方法和新方法之间的区别:

内联设计预览 #

自初始发布以来最大的用户体验改进是内联设计预览。

在最初的插件发布中,我有三种不同的聊天模式供用户切换,一种是用于一般对话但不生成设计,第二种仅用于生成设计但没有对话,第三种仅用于生成图像。这导致用户体验较差。

为了解决这个用户体验的噩梦,我将聊天和设计模式合并为一个。这使用户可以在单个对话上下文中提问并对设计进行更改。

以下是LLM聊天响应的高级拆分:

未来的改进将是将图像生成模式合并为一个统一的聊天模式。

多模式魔法 #

最后一个挑战!我如何让用户通过与LLM聊天来修改他们现有的Figma元素?

最初的明显解决方案是将现有的Figma元素转换为HTML表示形式,并将结果传递给LLM。

然而,今年11月,OpenAI推出了一个多模式chatGPT模型,令人惊讶的是,它以更低的标记成本获得了更好的结果。这带来的额外好处是能够将任何视觉输入(现有设计、网站截图、涂鸦、线框图、移动应用程序屏幕等)转换为HTML,最终转换为Figma元素。

双赢。

未来的改进将是使用用户项目中现有的Figma设计系统(组件和 结论

如果您正在构建一个使用LLMs的SaaS,准备好在几天甚至几周内专注于一个单一的问题,测试新颖的解决方案并研究最新的发展,您的结果将会像魔术一样!

祝您建设愉快,

Ollie 🍻