车海快讯

Merlin HugeCTR v4.3 发布说明

admin 17

新增内容

HugeCTR第三代Embedding更新:

第三代Embedding功能优化:自从在中引入新一代HugeCTREmbedding以来,进行了一些更新和优化,包括代码重构以提高可用性。此版本的增强功能如下:

EmbeddingPlanner类替换为EmbeddingCollectionConfig类。有关API的示例,请参阅test/embedding_collection_test目录。

优化了一些API,以支持训练过程中模型导入和导出。这些方法是_dump(path:str,table_names:list[str])和_load(path:str,list[str])。路径参数是文件系统中的一个目录,您可以将模型权重存储到该目录或从中加载权重。table_names参数是Embedding表名的列表。

图1:HugeCTR分层参数服务器(HPS)架构