用 C++ 写的图像处理和机器学习库,靠 SSE、AVX、NEON 等 SIMD 指令集加速,适合在 x86、ARM、Hexagon 上跑高性能视觉算法。
用 SIMD 指令对整数列表做二进制打包压缩的轻量 C 库,适合倒排索引、ID 序列这类场景,压缩快、解压更快。
用 SIMD 指令压缩有序整数列表并求交集的 C++ 库,适合倒排索引、搜索引擎等需要快速处理大量整数集合的场景。
面向手机端的高性能神经网络推理框架,针对 ARM 平台深度优化,让 Caffe、ONNX 等模型能在 Android/iOS 上低延迟运行。
基于 TurboQuant 量化算法、用 Rust 实现并带 Python 绑定的向量索引,面向 RAG 和嵌入检索场景,提供高压缩比、低内存的近似最近邻搜索。
用纯 C99 从零实现的 Kimi K3 推理引擎,单 CPU、8.24 GB 内存即可跑 2.78 万亿参数模型,不依赖 BLAS、框架或 GPU。
用单个 Mojo 文件实现 Llama 2 推理,借助 SIMD 和并行化把大模型跑起来,适合研究推理底层实现和性能优化。
轻量级向量与任意对象相似度搜索聚类引擎,支持十多种编程语言,可做近似最近邻检索、模糊搜索和推荐系统。
一套 SIMD 加速的数值计算内核库,覆盖距离、点积、矩阵运算和地理几何计算,支持 16 种数值类型与多平台架构,为向量检索和科学计算提供底层高性能算子。
用纯 Java 实现的现代 LLM 推理引擎,支持 LLaMA、GPT 等 Transformer 模型,借助 SIMD 加速在 JVM 上直接跑大模型推理。
用 Rust 写的高效近似最近邻检索算法库,集成 HNSW 等索引结构,为图像搜索、推荐系统等场景提供快速的向量相似度查询。
一套基于 SIMD 的整数与浮点数压缩库,提供 AVX2/SSE2 加速的编解码和倒排索引求交,适合时序数据库和搜索引擎提速。
用纯 Java 实现的 Llama 3 及后续版本推理引擎,无需原生依赖即可在 JVM 上跑大模型,适合 Java 项目直接集成。
用 Go 写的嵌入式向量检索库,底层调 llama.cpp 做语义向量和相似度搜索,适合直接在 Go 服务里加语义搜索能力,不用另起向量数据库。
纯 C 写的本地大模型推理引擎,靠 MoE 稀疏激活和 NVMe 流式加载,让 32GB 笔记本跑 80B 模型,速度全面超过 llama.cpp。
超快解码的无损压缩 C 库,解码速度比 LZ4 快 35%~105%,压缩率还更高,ARM64 上表现最佳,适合一次写入多次读取的场景。
RaBitQ 官方向量量化与近似最近邻检索库,提供 C++ 和 Python 接口,用 SIMD 加速高维向量的相似度搜索。
纯 Rust 实现的 CPU 端 OCR 引擎,跑百度 Unlimited-OCR 这个 3B MoE 视觉语言模型,自带 int8 定制算子,不依赖 ML 框架、Python 或 GPU。
…cQuantizedInnerProduct32fRef.</li <li C++ wrapper Simd::SynetDynamicQuantizedInnerProduct32f.</li <li Base implementation, SSE4.1, AVX2, AVX-512BW, AVX-512VNNI, AMX-INT8,
…thms</h4 <h5 New features</h5 <ul <li C++ wrapper Simd::SynetScale16b.</li <li C++ wrapper Simd::CopyFrame.</li <li Base implementation, SSE4.1, AVX2, AVX-512BW, AVX-512V
…ions of class ImageBmpLoader.</li <li C++ wrapper Simd::SynetAdd16b.</li <li C++ wrapper Simd::SynetQuantizedAdd.</li <li C++ wrapper Simd::SynetQuantizedMul.</li <li C++
…include by @yonik in https://github.com/fast-pack/SIMDCompressionAndIntersection/pull/25 fix buggy use of 32 bit ctzl that resulted in crashes with recent MSVC by @yonik
…per-segment query scale. Deferred to v0.8.1. WASM SIMD port — requires first un-stubbing turbo kv attention in quant.h single-header. Tests 35/35 passing. New TurboKVRegr
…core allocations to mimalloc for lower overhead - simdjson log parsing — Faster deeplog deserialization via simdjson - LZ4 compressed deeplog logs — Reduced on-disk deepl