Co-Encoder - LLMのためのコンテキスト圧縮エンコーダ

サムネイル画像 - Co-Encoder - LLMのためのコンテキスト圧縮エンコーダ

近年、生成AIの技術は飛躍的に進展し、ChatGPTなどのLLMは自然な文章を生成できるようになりました。しかし、これらのモデルには「推論コストが高い」という課題があります。特に長文を入力する場合、膨大なメモリと高性能なGPUが必要になり、一般的なGPUでは推論が困難です。こうした課題を解決するために、行列に変換した入力を圧縮し、それを直接LLMに渡すことで低コストで長文の推論を可能にするCo-Encoderを提案します。

クリエータ

須田 楽大 (2024年度 採択 / 西尾 泰和 PM)

発表動画

成果報告会での発表をお楽しみください。

成果報告会の情報を見る