在 iPhone 上运行 CLIP 来搜索照片
可查询
Queryable 的开源版本，一个 iOS 应用程序，在 iOS 上使用 CLIP 模型来Photos离线搜索专辑。
与 iPhone 默认照片库中依赖关键字的搜索功能不同，您可以使用“草坪上的狗追气球”等自然句子在 Queryable 中进行搜索。
表现
决赛.mp4
它是如何工作的？
首先，相册中的所有照片都会通过CLIP图像编码器进行逐张处理，得到一组本地图像矢量。当您输入新的文本查询时，文本将首先通过文本编码器获得文本向量，然后将其与存储的图像向量一一进行相似度比较。最后，排序并返回前K个最相似的结果。流程如下：
更多详细信息，请参阅我的文章在 iPhone 上运行 CLIP 搜索照片。
在 Xcode 上运行
从Google Drive下载ImageEncoder_float32.mlmodelc和。TextEncoder_float32.mlmodelc
克隆这个存储库，将下载的模型放在CoreMLModels/路径下并运行 Xcode，它应该可以工作。
贡献
你可以将Queryable应用到你自己的商业产品中，但我不建议直接修改外观然后上架App Store。您可以通过向此存储库提交提交来为该产品做出贡献，欢迎 PR。
如果您有任何问题/建议，以下是一些联系方式：Discord | 推特| Reddit：r/Queryable。
执照
我的许可证
Copyright (c) 2023 Ke Fang
