LlamaIndexのアップデートまとめ：0.6.19(2023/06/05) から 0.6.22(2023/06/10) まで

nokomoro3

2023.06.11

こんちには。

データアナリティクス事業本部インテグレーション部機械学習チームの中村です。

本記事は「0.6.19(2023/06/05)」から「0.6.22(2023/06/10)」までのLlamaIndexのアップデートまとめです。

ソースコードを見ながらアップデート点をピックアップしています。詳細はコード側も参照してみてください。

個人的な注目は以下の変更かなと思います。

0.6.20
- GPTというprefixが全体的に削除
0.6.21.post1
- DocArrayVectorStoreの追加
0.6.22
- KnowledgeGraphIndexというIndexが追加され、StorageContextにGraphStoreが追加
- CHANGELOG.mdが記載されるように

それでは見ていきましょう。

各アップデート

LangChainへの連携が強化されている印象ですね。

ToolsにOnDemandLoaderToolが追加
- LlamaIndexやLlamaHubのDataLoaderをLangChainのAgent内でのデータクエリツールとして使用可能に
- 公式ノートブック
BaseToolにLangChainへのToolへの変換が実装

インデックス名などの名前からGPTというprefixが削除されている点は注意が必要です。

変更前	変更後
GPTKeywordTableIndex	KeywordTableIndex
GPTSimpleKeywordTableIndex	SimpleKeywordTableIndex
GPTRAKEKeywordTableIndex	RAKEKeywordTableIndex
GPTListIndex	ListIndex
GPTEmptyIndex	EmptyIndex
GPTTreeIndex	TreeIndex
GPTVectorStoreIndex	VectorStoreIndex
GPTPandasIndex	PandasIndex
GPTSQLStructStoreIndex	SQLStructStoreIndex
GPTDocumentSummaryIndex	DocumentSummaryIndex

大きな変更は無いようです。

VectoreStoreの追加、CallbackHandlerの追加とpayloadの改版があります。

VectorStoreに下記の３つが追加
- DocArrayVectorStore : 以下２つのVectoreStoreの親クラス
- DocArrayHnswVectorStore : Hnswlibは近傍探索ライブラリの一つ
- DocArrayInMemoryVectorStore : インメモリなDocArrayVectorStore
- TairVectoreStore : Alibaba CloudのTairデータベースの上に構築されるインデックス
CallbackHandlerにWandbCallbackHandlerが追加
CallbackHandlerのpayloadに何点か追加あり
- CBEventType.LLMのpayloadに消費したトークン量が追加
- CBEventType.QUERYのpayloadにquery_strとresponseが追加

大きめの変更がいくつかあり、StorageContextにGraphStoreが追加されるのは影響が大きそうです。（とはいえKnowledgeGraphIndexを使わない場合は未設定となるだけになります）

その他、QueryEngineのいくつかの追加や変更、VectoreStoreの追加があります。

IndexにKnowledgeGraphIndexの追加
データストアとしてGraphStoreが追加（StorageContextにGraphStoreが追加）
- KnowledgeGraphIndex追加の影響
- GraphStoreTypeはSIMPLEとNEBULAの２種類で、それぞれSimpleGraphStoreとNebulaGraphStoreが担う
QueryEngineに以下が追加
- SQLJoinQueryEngine
- CitationQueryEngine
- RetryGuidelineQueryEngine
SQLAutoVectorQueryEngineの親クラスがBaseQueryEngineからSQLJoinQueryEngineに変更
EvaluatorにGuidelineEvaluatorの追加
- RetryGuidelineQueryEngine追加の影響で、Evaluatorとして使用される
VectorStoreにMongoDBVectorStoreが追加
CHANGELOG.mdが記載されるように（今後は、本記事のようなまとめも不要になるかもしれません）

いかがでしたでしょうか。

0.6.22からCHANGELOG.mdが記載されるようになりましたので、そちらを公式の記録として追っていくのも良いと思います。

本記事もご参考になれば幸いです。