Всем привет! Вечерком сего дня в районе 19:00 MSK приглашаю всех на
стрим, в планах у меня провести эксперимент по созданию бота ассистента для помощи в работе с
документацией ManticoreSearch Engine (
тг-канал проекта).
Как можно догадаться делать я буду
RAG систему полного цикла, а именно: кравлер, конвертер из html в markdown (используя
reader-lm модель от jina), чанкер (по главам), эмбеддер (скорее всего это будет
BAAI/bge-m3), векторную базу (ChromaDB, FAAIS или ManticoreSearch, решим на месте) и скрипты работы с LLM (самопись).
Помогать мне с этим будет
Qwen2.5 Coder 32b,
DeepSeek Chat и
GigaCode (встроенная в
GigaIDE).
В проекте планирую использовать модели доступные через
ollama, а векторную базу сделать заменяемой, на низах будет моя
evilfreelancer/o1_gigachat-20b-a3b_lora.