(换肤)
语言：
网站标签该站未曾设置keywords
网站描述PaperReading
上一篇：上海西蒙铝业有限公司
seo综合信息
SEO信息 百度来访IP：- | 移动端来访IP：11 | 出站链接：0 | 站内链接：43 IP网速： IP地址：140.143.194.41 [中国北京海淀 腾讯云] | 网速：304毫秒 ALEXA排名 世界排名：- | 预估IP：- | 预估PV：- 备案信息 登录可见 | 名称：登录可见 | 已创建：6年4个月
收录 百度 360 搜狗 谷歌 查询 0 0 0 0
电脑关键词 手机关键词 页面友好 首页位置 索引 近期收录 43 6 电脑端优秀 - 0 0
协议类型HTTP/1.1 200 OK 页面类型text/html; charset=utf-8 服务器类型nginx/1.10.3 (Ubuntu) 是否压缩是 原网页大小166775 压缩后大小34093 压缩比79.56%
网站快照P a p e r R e a d i n g P a p e r R e a d i n g A I L e a r n e r H o m e T r a n s f o r m e r D i f f u s i o n C h a t E m b o d i e d A g e n t C a p t i o n C o l l e c t i o n s A b o u t W e l c o m e t o A M D S 1 2 3 B l o g ! R e c e n t P a p e r s a b o u t C V , C L a n d S D T h e L a t e s t P a p e r s a b o u t A I C O P Y C O P Y 1 P i x e l G a u s s i a n : G e n e r a l i z a b l e 3 D G a u s s i a n R e c o n s t r u c t i o n f r o m A r b i t r a r y V i e w s 2 0 2 4 1 0 2 4 1 7 : 5 9 : 5 8 X i n F e i , W e n z h a o Z h e n g , Y u e q i D u a n , W e i Z h a n , M a s a y o s h i T o m i z u k a , K u r t K e u t z e r , J i w e n L u • a r X i v _ A I • • a r X i v _ A I A t t e n t i o n T r a n s f o r m e r P o s e A c t i o n 3 D R e c o n s t r u c t i o n A b s t r a c t A b s t r a c t ( t r a n s l a t e d ) U R L P D F A b s t r a c t W e p r o p o s e P i x e l G a u s s i a n , a n e f f i c i e n t f e e d f o r w a r d f r a m e w o r k f o r l e a r n i n g g e n e r a l i z a b l e 3 D G a u s s i a n r e c o n s t r u c t i o n f r o m a r b i t r a r y v i e w s . M o s t e x i s t i n g m e t h o d s r e l y o n u n i f o r m p i x e l w i s e G a u s s i a n r e p r e s e n t a t i o n s , w h i c h l e a r n a f i x e d n u m b e r o f 3 D G a u s s i a n s f o r e a c h v i e w a n d c a n n o t g e n e r a l i z e w e l l t o m o r e i n p u t v i e w s . D i f f e r e n t l y , o u r P i x e l G a u s s i a n d y n a m i c a l l y a d a p t s b o t h t h e G a u s s i a n d i s t r i b u t i o n a n d q u a n t i t y b a s e d o n g e o m e t r i c c o m p l e x i t y , l e a d i n g t o m o r e e f f i c i e n t r e p r e s e n t a t i o n s a n d s i g n i f i c a n t i m p r o v e m e n t s i n r e c o n s t r u c t i o n q u a l i t y . S p e c i f i c a l l y , w e i n t r o d u c e a C a s c a d e G a u s s i a n A d a p t e r t o a d j u s t G a u s s i a n d i s t r i b u t i o n a c c o r d i n g t o l o c a l g e o m e t r y c o m p l e x i t y i d e n t i f i e d b y a k e y p o i n t s c o r e r . C G A l e v e r a g e s d e f o r m a b l e a t t e n t i o n i n c o n t e x t a w a r e h y p e r n e t w o r k s t o g u i d e G a u s s i a n p r u n i n g a n d s p l i t t i n g , e n s u r i n g a c c u r a t e r e p r e s e n t a t i o n i n c o m p l e x r e g i o n s w h i l e r e d u c i n g r e d u n d a n c y . F u r t h e r m o r e , w e d e s i g n a t r a n s f o r m e r b a s e d I t e r a t i v e G a u s s i a n R e f i n e r m o d u l e t h a t r e f i n e s G a u s s i a n r e p r e s e n t a t i o n s t h r o u g h d i r e c t i m a g e G a u s s i a n i n t e r a c t i o n s . O u r P i x e l G a u s s i a n c a n e f f e c t i v e l y r e d u c e G a u s s i a n r e d u n d a n c y a s i n p u t v i e w s i n c r e a s e . W e c o n d u c t e x t e n s i v e e x p e r i m e n t s o n t h e l a r g e s c a l e A C I D a n d R e a l E s t a t e 1 0 K d a t a s e t s , w h e r e o u r m e t h o d a c h i e v e s s t a t e o f t h e a r t p e r f o r m a n c e w i t h g o o d g e n e r a l i z a t i o n t o v a r i o u s n u m b e r s o f v i e w s . C o d e : t h i s h t t p s U R L . A b s t r a c t ( t r a n s l a t e d ) 我 们 提 出 了 一 种 名 为 P i x e l G a u s s i a n 的 高 效 前 馈 框 架 ， 用 于 从 任 意 视 角 学 习 可 泛 化 的 3 D 高 斯 重 建 。 现 有 的 大 多 数 方 法 依 赖 于 均 匀 的 像 素 级 高 斯 表 示 ， 这 种 方 法 为 每 个 视 图 学 习 固 定 数 量 的 3 D 高 斯 ， 因 此 难 以 很 好 地 推 广 到 更 多 的 输 入 视 图 。 相 比 之 下 ， 我 们 的 P i x e l G a u s s i a n 根 据 几 何 复 杂 性 动 态 调 整 高 斯 分 布 的 数 量 和 质 量 ， 从 而 实 现 更 高 效 的 表 示 ， 并 显 著 提 高 重 建 质 量 。 具 体 来 说 ， 我 们 引 入 了 一 个 级 联 高 斯 适 配 器 （ C a s c a d e G a u s s i a n A d a p t e r , C G A ） ， 它 可 以 根 据 关 键 点 评 分 器 识 别 的 局 部 几 何 复 杂 性 来 调 整 高 斯 分 布 。 C G A 利 用 上 下 文 感 知 超 网 络 中 的 可 变 形 注 意 力 机 制 引 导 高 斯 剪 枝 和 分 裂 ， 确 保 在 复 杂 区 域 准 确 表 示 的 同 时 减 少 冗 余 。 此 外 ， 我 们 设 计 了 一 个 基 于 变 换 器 的 迭 代 高 斯 细 化 模 块 （ I t e r a t i v e G a u s s i a n R e f i n e r ） ， 通 过 直 接 的 图 像 高 斯 交 互 来 优 化 高 斯 表 示 。 随 着 输 入 视 图 数 量 的 增 加 ， 我 们 的 P i x e l G a u s s i a n 能 够 有 效 降 低 高 斯 冗 余 度 。 我 们 在 大 规 模 数 据 集 A C I D 和 R e a l E s t a t e 1 0 K 上 进 行 了 广 泛 的 实 验 ， 结 果 显 示 我 们 的 方 法 在 各 种 视 角 数 量 下 均 达 到 了 最 先 进 的 性 能 ， 并 具 有 良 好 的 泛 化 能 力 。 代 码 链 接 ： [ 此 处 提 供 的 是 一 个 占 位 符 ， 请 访 问 此 h t t p s U R L 获 取 实 际 链 接 ] 。 U R L h t t p s : / / a r x i v . o r g / a b s / 2 4 1 0 . 1 8 9 7 9 P D F C o p y h t t p s : / / a r x i v . o r g / p d f / 2 4 1 0 . 1 8 9 7 9 . p d f R e a d A l l F r a m e r : I n t e r a c t i v e F r a m e I n t e r p o l a t i o n 2 0 2 4 1 0 2 4 1 7 : 5 9 : 5 1 W e n W a n g , Q i u y u W a n g , K e c h e n g Z h e n g , H a o O u y a n g , Z h e k a i C h e n , B i a o G o n g , H a o C h e n , Y u j u n S h e n , C h u n h u a S h e n • a r X i v _ C V • • a r X i v _ C V F a c e P o s e A c t i o n A b s t r a c t A b s t r a c t ( t r a n s l a t e d ) U R L P D F A b s t r a c t W e p r o p o s e F r a m e r f o r i n t e r a c t i v e f r a m e i n t e r p o l a t i o n , w h i c h t a r g e t s p r o d u c i n g s m o o t h l y t r a n s i t i o n i n g f r a m e s b e t w e e n t w o i m a g e s a s p e r u s e r c r e a t i v i t y . C o n c r e t e l y , b e s i d e s t a k i n g t h e s t a r t a n d e n d f r a m e s a s i n p u t s , o u r a p p r o a c h s u p p o r t s c u s t o m i z i n g t h e t r a n s i t i o n p r o c e s s b y t a i l o r i n g t h e t r a j e c t o r y o f s o m e s e l e c t e d k e y p o i n t s . S u c h a d e s i g n e n j o y s t w o c l e a r b e n e f i t s . F i r s t , i n c o r p o r a t i n g h u m a n i n t e r a c t i o n m i t i g a t e s t h e i s s u e a r i s i n g f r o m n u m e r o u s p o s s i b i l i t i e s o f t r a n s f o r m i n g o n e i m a g e t o a n o t h e r , a n d i n t u r n e n a b l e s f i n e r c o n t r o l o f l o c a l m o t i o n s . S e c o n d , a s t h e m o s t b a s i c f o r m o f i n t e r a c t i o n , k e y p o i n t s h e l p e s t a b l i s h t h e c o r r e s p o n d e n c e a c r o s s f r a m e s , e n h a n c i n g t h e m o d e l t o h a n d l e c h a l l e n g i n g c a s e s ( e . g . , o b j e c t s o n t h e s t a r t a n d e n d f r a m e s a r e o f d i f f e r e n t s h a p e s a n d s t y l e s ) . I t i s n o t e w o r t h y t h a t o u r s y s t e m a l s o o f f e r s a n a u t o p i l o t m o d e , w h e r e w e i n t r o d u c e a m o d u l e t o e s t i m a t e t h e k e y p o i n t s a n d r e f i n e t h e t r a j e c t o r y a u t o m a t i c a l l y , t o s i m p l i f y t h e u s a g e i n p r a c t i c e . E x t e n s i v e e x p e r i m e n t a l r e s u l t s d e m o n s t r a t e t h e a p p e a l i n g p e r f o r m a n c e o f F r a m e r o n v a r i o u s a p p l i c a t i o n s , s u c h a s i m a g e m o r p h i n g , t i m e l a p s e v i d e o g e n e r a t i o n , c a r t o o n i n t e r p o l a t i o n , e t c . T h e c o d e , t h e m o d e l , a n d t h e i n t e r f a c e w i l l b e r e l e a s e d t o f a c i l i t a t e f u r t h e r r e s e a r c h . A b s t r a c t ( t r a n s l a t e d ) 我 们 提 出 了 F r a m e r 用 于 交 互 式 帧 插 值 ， 旨 在 根 据 用 户 的 创 造 力 在 两 张 图 片 之 间 生 成 平 滑 过 渡 的 中 间 帧 。 具 体 而 言 ， 除 了 将 起 始 和 结 束 帧 作 为 输 入 外 ， 我 们 的 方 法 还 支 持 通 过 调 整 选 定 关 键 点 的 轨 迹 来 自 定 义 过 渡 过 程 。 这 样 的 设 计 有 两 大 明 显 优 势 ： 首 先 ， 引 入 人 为 互 动 缓 解 了 从 一 张 图 像 到 另 一 张 图 像 转 换 过 程 中 可 能 性 众 多 的 问 题 ， 并 进 而 实 现 了 对 局 部 运 动 更 精 细 的 控 制 ； 其 次 ， 作 为 最 基 本 的 交 互 形 式 ， 关 键 点 有 助 于 建 立 帧 之 间 的 对 应 关 系 ， 增 强 了 模 型 处 理 具 有 挑 战 性 情 况 的 能 力 （ 例 如 起 始 和 结 束 帧 中 的 对 象 形 状 和 风 格 不 同 ） 。 值 得 注 意 的 是 ， 我 们 的 系 统 还 提 供 了 一 个 “ 自 动 驾 驶 ” 模 式 ， 在 该 模 式 下 我 们 引 入 一 个 模 块 来 自 动 估 计 关 键 点 并 优 化 轨 迹 ， 以 简 化 实 际 使 用 。 广 泛 的 实 验 结 果 展 示 了 F r a m e r 在 各 种 应 用 上 的 出 色 表 现 ， 如 图 像 变 形 、 延 时 视 频 生 成 、 卡 通 插 值 等 。 代 码 、 模 型 和 界 面 将 会 发 布 ， 以 便 进 一 步 的 研 究 。 U R L h t t p s : / / a r x i v . o r g / a b s / 2 4 1 0 . 1 8 9 7 8 P D F C o p y h t t p s : / / a r x i v . o r g / p d f / 2 4 1 0 . 1 8 9 7 8 . p d f R e a d A l l M o t i o n C L R : M o t i o n G e n e r a t i o n a n d T r a i n i n g f r e e E d i t i n g v i a U n d e r s t a n d i n g A t t e n t i o n M e c h a n i s m s 2 0 2 4 1 0 2 4 1 7 : 5 9 : 4 5 L i n g H a o C h e n , W e n x u n D a i , X u a n J u , S h u n l i n L u , L e i Z h a n g • a r X i v _ C V • • a r X i v _ C V A t t e n t i o n P o s e A c t i o n D i f f u s i o n A b s t r a c t A b s t r a c t ( t r a n s l a t e d ) U R L P D F A b s t r a c t T h i s r e s e a r c h d e l v e s i n t o t h e p r o b l e m o f i n t e r a c t i v e e d i t i n g o f h u m a n m o t i o n g e n e r a t i o n . P r e v i o u s m o t i o n d i f f u s i o n m o d e l s l a c k e x p l i c i t m o d e l i n g o f t h e w o r d l e v e l t e x t m o t i o n c o r r e s p o n d e n c e a n d g o o d e x p l a i n a b i l i t y , h e n c e r e s t r i c t i n g t h e i r f i n e g r a i n e d e d i t i n g a b i l i t y . T o a d d r e s s t h i s i s s u e , w e p r o p o s e a n a t t e n t i o n b a s e d m o t i o n d i f f u s i o n m o d e l , n a m e l y M o t i o n C L R , w i t h C L e a R m o d e l i n g o f a t t e n t i o n m e c h a n i s m s . T e c h n i c a l l y , M o t i o n C L R m o d e l s t h e i n m o d a l i t y a n d c r o s s m o d a l i t y i n t e r a c t i o n s w i t h s e l f a t t e n t i o n a n d c r o s s a t t e n t i o n , r e s p e c t i v e l y . M o r e s p e c i f i c a l l y , t h e s e l f a t t e n t i o n m e c h a n i s m a i m s t o m e a s u r e t h e s e q u e n t i a l s i m i l a r i t y b e t w e e n f r a m e s a n d i m p a c t s t h e o r d e r o f m o t i o n f e a t u r e s . B y c o n t r a s t , t h e c r o s s a t t e n t i o n m e c h a n i s m w o r k s t o f i n d t h e f i n e g r a i n e d w o r d s e q u e n c e c o r r e s p o n d e n c e a n d a c t i v a t e t h e c o r r e s p o n d i n g t i m e s t e p s i n t h e m o t i o n s e q u e n c e . B a s e d o n t h e s e k e y p r o p e r t i e s , w e d e v e l o p a v e r s a t i l e s e t o f s i m p l e y e t e f f e c t i v e m o t i o n e d i t i n g m e t h o d s v i a m a n i p u l a t i n g a t t e n t i o n m a p s , s u c h a s m o t i o n ( d e ) e m p h a s i z i n g , i n p l a c e m o t i o n r e p l a c e m e n t , a n d e x a m p l e b a s e d m o t i o n g e n e r a t i o n , e t c . F o r f u r t h e r v e r i f i c a t i o n o f t h e e x p l a i n a b i l i t y o f t h e a t t e n t i o n m e c h a n i s m , w e a d d i t i o n a l l y e x p l o r e t h e p o t e n t i a l o f a c t i o n c o u n t i n g a n d g r o u n d e d m o t i o n g e n e r a t i o n a b i l i t y v i a a t t e n t i o n m a p s . O u r e x p e r i m e n t a l r e s u l t s s h o w t h a t o u r m e t h o d e n j o y s g o o d g e n e r a t i o n a n d e d i t i n g a b i l i t y w i t h g o o d e x p l a i n a b i l i t y . A b s t r a c t ( t r a n s l a t e d ) 这 项 研 究 深 入 探 讨 了 人 类 动 作 生 成 的 交 互 编 辑 问 题 。 之 前 的 运 动 扩 散 模 型 缺 乏 对 词 级 文 本 动 作 对 应 关 系 的 明 确 建 模 和 良 好 的 解 释 性 ， 从 而 限 制 了 它 们 的 细 粒 度 编 辑 能 力 。 为 了 解 决 这 一 问 题 ， 我 们 提 出 了 一 种 基 于 注 意 力 机 制 的 运 动 扩 散 模 型 ， 即 M o t i o n C L R ， 并 使 用 清 晰 （ C L e a R ） 的 注 意 力 机 制 建 模 方 法 。 技 术 上 ， M o t i o n C L R 分 别 通 过 自 注 意 力 和 交 叉 注 意 力 来 建 模 单 模 态 和 跨 模 态 交 互 。 更 具 体 地 ， 自 注 意 力 机 制 旨 在 衡 量 帧 间 的 序 列 相 似 性 并 影 响 动 作 特 征 的 顺 序 。 相 比 之 下 ， 交 叉 注 意 力 机 制 致 力 于 找 到 细 粒 度 的 词 序 列 对 应 关 系 ， 并 激 活 运 动 序 列 中 的 相 应 时 间 步 长 。 基 于 这 些 关 键 属 性 ， 我 们 开 发 了 一 套 通 过 操 纵 注 意 力 图 进 行 简 单 且 有 效 的 运 动 编 辑 方 法 ， 如 运 动 （ 去 ） 强 调 、 原 地 运 动 替 换 和 示 例 基 础 运 动 生 成 等 。 为 进 一 步 验 证 注 意 力 机 制 的 解 释 性 ， 我 们 还 探 索 了 通 过 注 意 力 图 实 现 动 作 计 数 和 基 于 场 景 的 运 动 生 成 能 力 的 潜 力 。 实 验 结 果 表 明 ， 我 们 的 方 法 具 有 良 好 的 生 成 和 编 辑 能 力 ， 并 且 具 备 良 好 的 解 释 性 。 U R L h t t p s : / / a r x i v . o r g / a b s / 2 4 1 0 . 1 8 9 7 7 P D F C o p y h t t p s : / / a r x i v . o r g / p d f / 2 4 1 0 . 1 8 9 7 7 . p d f R e a d A l l C A M E L B e n c h : A C o m p r e h e n s i v e A r a b i c L M M B e n c h m a r k 2 0 2 4 1 0 2 4 1 7 : 5 9 : 3 8 S a r a G h a b o u r a , A h m e d H e a k l , O m k a r T h a w a k a r , A l i A l h a r t h i , I n e s R i a h i , A b d u l j a l i l S a i f , J o r m a L a a k s o n e n , F a h a d S . K h a n , S a l m a n K h a n , R a o M . A n w e r • a r X i v _ A I • • a r X i v _ A I I m a g e _ C a p t i o n V i d e o _ C a p t i o n T r a n s f o r m e r P o s e M e d i c a l C h a t A b s t r a c t A b s t r a c t ( t r a n s l a t e d ) U R L P D F A b s t r a c t R e c e n t y e a r s h a v e w i t n e s s e d a s i g n i f i c a n t i n t e r e s t i n d e v e l o p i n g l a r g e m u l t i m o d a l m o d e l s ( L M M s ) c a p a b l e o f p e r f o r m i n g v a r i o u s v i s u a l r e a s o n i n g a n d u n d e r s t a n d i n g t a s k s . T h i s h a s l e d t o t h e i n t r o d u c t i o n o f m u l t i p l e L M M b e n c h m a r k s t o e v a l u a t e L M M s o n d i f f e r e n t t a s k s . H o w e v e r , m o s t e x i s t i n g L M M e v a l u a t i o n b e n c h m a r k s a r e p r e d o m i n a n t l y E n g l i s h c e n t r i c . I n t h i s w o r k , w e d e v e l o p a c o m p r e h e n s i v e L M M e v a l u a t i o n b e n c h m a r k f o r t h e A r a b i c l a n g u a g e t o r e p r e s e n t a l a r g e p o p u l a t i o n o f o v e r 4 0 0 m i l l i o n s p e a k e r s . T h e p r o p o s e d b e n c h m a r k , n a m e d C A M E L B e n c h , c o m p r i s e s e i g h t d i v e r s e d o m a i n s a n d 3 8 s u b d o m a i n s i n c l u d i n g , m u l t i i m a g e u n d e r s t a n d i n g , c o m p l e x v i s u a l p e r c e p t i o n , h a n d w r i t t e n d o c u m e n t u n d e r s t a n d i n g , v i d e o u n d e r s t a n d i n g , m e d i c a l i m a g i n g , p l a n t d i s e a s e s , a n d r e m o t e s e n s i n g b a s e d l a n d u s e u n d e r s t a n d i n g t o e v a l u a t e b r o a d s c e n a r i o g e n e r a l i z a b i l i t y . O u r C A M E L B e n c h c o m p r i s e s a r o u n d 2 9 , 0 3 6 q u e s t i o n s t h a t a r e f i l t e r e d f r o m a l a r g e r p o o l o f s a m p l e s , w h e r e t h e q u a l i t y i s m a n u a l l y v e r i f i e d b y n a t i v e s p e a k e r s t o e n s u r e r e l i a b l e m o d e l a s s e s s m e n t . W e c o n d u c t e v a l u a t i o n s o f b o t h c l o s e d s o u r c e , i n c l u d i n g G P T 4 s e r i e s , a n d o p e n s o u r c e L M M s . O u r a n a l y s i s r e v e a l s t h e n e e d f o r s u b s t a n t i a l i m p r o v e m e n t , e s p e c i a l l y a m o n g t h e b e s t o p e n s o u r c e m o d e l s , w i t h e v e n t h e c l o s e d s o u r c e G P T 4 o a c h i e v i n g a n o v e r a l l s c o r e o f 6 2 % . O u r b e n c h m a r k a n d e v a l u a t i o n s c r i p t s a r e o p e n s o u r c e d . A b s t r a c t ( t r a n s l a t e d ) 近 年 来 ， 开 发 能 够 执 行 多 种 视 觉 推 理 和 理 解 任 务 的 大 规 模 多 模 态 模 型 （ L M M s ） 引 起 了 极 大 的 关 注 。 这 导 致 引 入 了 多 个 评 估 不 同 任 务 上 L M M 性 能 的 L M M 基 准 测 试 。 然 而 ， 大 多 数 现 有 的 L M M 评 估 基 准 主 要 以 英 语 为 中 心 。 在 这 项 工 作 中 ， 我 们 为 阿 拉 伯 语 开 发 了 一 个 全 面 的 L M M 评 估 基 准 ， 以 代 表 超 过 4 亿 人 口 。 这 个 提 议 的 基 准 被 命 名 为 C A M E L B e n c h ， 包 含 八 个 不 同 的 领 域 和 3 8 个 子 领 域 ， 包 括 多 图 像 理 解 、 复 杂 视 觉 感 知 、 手 写 文 档 理 解 、 视 频 理 解 、 医 学 影 像 、 植 物 疾 病 以 及 基 于 遥 感 的 土 地 使 用 理 解 ， 来 评 估 广 泛 场 景 下 的 泛 化 能 力 。 我 们 的 C A M E L B e n c h 由 大 约 2 9 , 0 3 6 个 问 题 组 成 ， 这 些 问 题 是 从 一 个 更 大 的 样 本 池 中 筛 选 出 来 的 ， 并 且 质 量 由 母 语 使 用 者 手 动 验 证 以 确 保 可 靠 的 模 型 评 估 。 我 们 对 闭 源 （ 包 括 G P T 4 系 列 ） 和 开 源 L M M 进 行 了 评 估 。 分 析 显 示 需 要 进 行 重 大 改 进 ， 尤 其 是 在 最 佳 开 源 模 型 中 ， 即 使 是 最 先 进 的 闭 源 G P T 4 也 仅 获 得 了 6 2 % 的 总 体 得 分 。 我 们 的 基 准 测 试 和 评 估 脚 本 是 开 源 的 。 U R L h t t p s : / / a r x i v . o r g / a b s / 2 4 1 0 . 1 8 9 7 6 P D F C o p y h t t p s : / / a r x i v . o r g / p d f / 2 4 1 0 . 1 8 9 7 6 . p d f R e a d A l l U n b o u n d e d : A G e n e r a t i v e I n f i n i t e G a m e o f C h a r a c t e r L i f e S i m u l a t i o n 2 0 2 4 1 0 2 4 1 7 : 5 9 : 3 1 J i a l u L i , Y u a n z h e n L i , N e a l W a d h w a , Y a e l P r i t c h , D a v i d E . J a c o b s , M i c h a e l R u b i n s t e i n , M o h i t B a n s a l , N a t a n i e l R u i z • a r X i v _ A I • • a r X i v _ A I L a n g u a g e _ M o d e l Q u a n t i t a t i v e P o s e A u t o n o m o u s A c t i o n L L M A b s t r a c t A b s t r a c t ( t r a n s l a t e d ) U R L P D F A b s t r a c t W e i n t r o d u c e t h e c o n c e p t o f a g e n e r a t i v e i n f i n i t e g a m e , a v i d e o g a m e t h a t t r a n s c e n d s t h e t r a d i t i o n a l b o u n d a r i e s o f f i n i t e , h a r d c o d e d s y s t e m s b y u s i n g g e n e r a t i v e m o d e l s . I n s p i r e d b y J a m e s P . C a r s e s d i s t i n c t i o n b e t w e e n f i n i t e a n d i n f i n i t e g a m e s , w e l e v e r a g e r e c e n t a d v a n c e s i n g e n e r a t i v e A I t o c r e a t e U n b o u n d e d : a g a m e o f c h a r a c t e r l i f e s i m u l a t i o n t h a t i s f u l l y e n c a p s u l a t e d i n g e n e r a t i v e m o d e l s . S p e c i f i c a l l y , U n b o u n d e d d r a w s i n s p i r a t i o n f r o m s a n d b o x l i f e s i m u l a t i o n s a n d a l l o w s y o u t o i n t e r a c t w i t h y o u r a u t o n o m o u s v i r t u a l c h a r a c t e r i n a v i r t u a l w o r l d b y f e e d i n g , p l a y i n g w i t h a n d g u i d i n g i t w i t h o p e n e n d e d m e c h a n i c s g e n e r a t e d b y a n L L M , s o m e o f w h i c h c a n b e e m e r g e n t . I n o r d e r t o d e v e l o p U n b o u n d e d , w e p r o p o s e t e c h n i c a l i n n o v a t i o n s i n b o t h t h e L L M a n d v i s u a l g e n e r a t i o n d o m a i n s . S p e c i f i c a l l y , w e p r e s e n t : ( 1 ) a s p e c i a l i z e d , d i s t i l l e d l a r g e l a n g u a g e m o d e l ( L L M ) t h a t d y n a m i c a l l y g e n e r a t e s g a m e m e c h a n i c s , n a r r a t i v e s , a n d c h a r a c t e r i n t e r a c t i o n s i n r e a l t i m e , a n d ( 2 ) a n e w d y n a m i c r e g i o n a l i m a g e p r o m p t A d a p t e r ( I P A d a p t e r ) f o r v i s i o n m o d e l s t h a t e n s u r e s c o n s i s t e n t y e t f l e x i b l e v i s u a l g e n e r a t i o n o f a c h a r a c t e r a c r o s s m u l t i p l e e n v i r o n m e n t s . W e e v a l u a t e o u r s y s t e m t h r o u g h b o t h q u a l i t a t i v e a n d q u a n t i t a t i v e a n a l y s i s , s h o w i n g s i g n i f i c a n t i m p r o v e m e n t s i n c h a r a c t e r l i f e s i m u l a t i o n , u s e r i n s t r u c t i o n f o l l o w i n g , n a r r a t i v e c o h e r e n c e , a n d v i s u a l c o n s i s t e n c y f o r b o t h c h a r a c t e r s a n d t h e e n v i r o n m e n t s c o m p a r e d t o t r a d i t i o n a l r e l a t e d a p p r o a c h e s . A b s t r a c t ( t r a n s l a t e d ) 我 们 引 入 了 一 种 生 成 性 无 限 游 戏 的 概 念 ， 这 是 一 种 利 用 生 成 模 型 超 越 传 统 有 限 且 硬 编 码 系 统 的 视 频 游 戏 。 受 詹 姆 斯 · P · 卡 尔 塞 （ J a m e s P . C a r s e ） 对 有 限 与 无 限 游 戏 的 区 分 启 发 ， 我 们 运 用 了 近 期 在 生 成 式 A I 领 域 的 进 展 来 创 建 “ 无 界 ” — — 一 个 完 全 基 于 生 成 模 型 的 角 色 生 活 模 拟 游 戏 。 “ 无 界 ” 借 鉴 了 沙 盒 类 生 活 模 拟 游 戏 的 理 念 ， 并 允 许 玩 家 通 过 喂 食 、 玩 耍 和 引 导 自 己 的 虚 拟 角 色 进 行 互 动 。 游 戏 机 制 由 大 型 语 言 模 型 （ L L M ） 产 生 ， 这 些 机 制 可 以 是 开 放 式 的 甚 至 是 涌 现 的 。 为 了 开 发 “ 无 界 ” ， 我 们 在 大 语 言 模 型 和 视 觉 生 成 领 域 提 出 了 技 术 革 新 。 具 体 来 说 ， 我 们 提 出 ： ( 1 ) 一 种 专 门 提 炼 出 的 大 语 言 模 型 ( L L M ) ， 能 够 实 时 动 态 地 生 成 游 戏 机 制 、 叙 述 以 及 角 色 互 动 ； ( 2 ) 一 种 新 的 动 态 区 域 图 像 提 示 适 配 器 （ I P A d a p t e r ） 用 于 视 觉 模 型 ， 以 确 保 在 多 个 环 境 中 保 持 角 色 的 视 觉 得 以 一 致 而 灵 活 地 生 成 。 我 们 通 过 定 性 和 定 量 分 析 对 系 统 进 行 了 评 估 ， 结 果 显 示 ， “ 无 界 ” 相 比 传 统 的 相 关 方 法 ， 在 角 色 生 活 模 拟 、 用 户 指 令 遵 从 性 、 叙 述 连 贯 性 以 及 角 色 和 环 境 的 视 觉 一 致 性 方 面 均 有 显 著 提 升 。 U R L h t t p s : / / a r x i v . o r g / a b s / 2 4 1 0 . 1 8 9 7 5 P D F C o p y h t t p s : / / a r x i v . o r g / p d f / 2 4 1 0 . 1 8 9 7 5 . p d f R e a d A l l 3 D A d a p t e r : G e o m e t r y C o n s i s t e n t M u l t i V i e w D i f f u s i o n f o r H i g h Q u a l i t y 3 D G e n e r a t i o n 2 0 2 4 1 0 2 4 1 7 : 5 9 : 3 0 H a n s h e n g C h e n , B o k u i S h e n , Y u l i n L i u , R u o x i S h i , L i n q i Z h o u , C o n n o r Z . L i n , J i a y u a n G u , H a o S u , G o r d o n W e t z s t e i n , L e o n i d a s G u i b a s • a r X i v _ A I • • a r X i v _ A I D e n o i s i n g 3 D D i f f u s i o n A b s t r a c t A b s t r a c t ( t r a n s l a t e d ) U R L P D F A b s t r a c t M u l t i v i e w i m a g e d i f f u s i o n m o d e l s h a v e s i g n i f i c a n t l y a d v a n c e d o p e n d o m a i n 3 D o b j e c t g e n e r a t i o n . H o w e v e r , m o s t e x i s t i n g m o d e l s r e l y o n 2 D n e t w o r k a r c h i t e c t u r e s t h a t l a c k i n h e r e n t 3 D b i a s e s , r e s u l t i n g i n c o m p r o m i s e d g e o m e t r i c c o n s i s t e n c y . T o a d d r e s s t h i s c h a l l e n g e , w e i n t r o d u c e 3 D A d a p t e r , a p l u g i n m o d u l e d e s i g n e d t o i n f u s e 3 D g e o m e t r y a w a r e n e s s i n t o p r e t r a i n e d i m a g e d i f f u s i o n m o d e l s . C e n t r a l t o o u r a p p r o a c h i s t h e i d e a o f 3 D f e e d b a c k a u g m e n t a t i o n : f o r e a c h d e n o i s i n g s t e p i n t h e s a m p l i n g l o o p , 3 D A d a p t e r d e c o d e s i n t e r m e d i a t e m u l t i v i e w f e a t u r e s i n t o a c o h e r e n t 3 D r e p r e s e n t a t i o n , t h e n r e e n c o d e s t h e r e n d e r e d R G B D v i e w s t o a u g m e n t t h e p r e t r a i n e d b a s e m o d e l t h r o u g h f e a t u r e a d d i t i o n . W e s t u d y t w o v a r i a n t s o f 3 D A d a p t e r : a f a s t f e e d f o r w a r d v e r s i o n b a s e d o n G a u s s i a n s p l a t t i n g a n d a v e r s a t i l e t r a i n i n g f r e e v e r s i o n u t i l i z i n g n e u r a l f i e l d s a n d m e s h e s . O u r e x t e n s i v e e x p e r i m e n t s d e m o n s t r a t e t h a t 3 D A d a p t e r n o t o n l y g r e a t l y e n h a n c e s t h e g e o m e t r y q u a l i t y o f t e x t t o m u l t i v i e w m o d e l s s u c h a s I n s t a n t 3 D a n d Z e r o 1 2 3 + + , b u t a l s o e n a b l e s h i g h q u a l i t y 3 D g e n e r a t i o n u s i n g t h e p l a i n t e x t t o i m a g e S t a b l e D i f f u s i o n . F u r t h e r m o r e , w e s h o w c a s e t h e b r o a d a p p l i c a t i o n p o t e n t i a l o f 3 D A d a p t e r b y p r e s e n t i n g h i g h q u a l i t y r e s u l t s i n t e x t t o 3 D , i m a g e t o 3 D , t e x t t o t e x t u r e , a n d t e x t t o a v a t a r t a s k s . A b s t r a c t ( t r a n s l a t e d ) 多 视 角 图 像 扩 散 模 型 在 开 放 领 域 三 维 物 体 生 成 方 面 取 得 了 显 著 进 展 。 然 而 ， 大 多 数 现 有 模 型 依 赖 于 缺 乏 内 在 三 维 偏 置 的 二 维 网 络 架 构 ， 导 致 几 何 一 致 性 受 损 。 为 了 解 决 这 一 挑 战 ， 我 们 引 入 了 3 D A d a p t e r ， 这 是 一 个 旨 在 将 三 维 几 何 感 知 注 入 预 训 练 图 像 扩 散 模 型 中 的 插 件 模 块 。 我 们 的 方 法 核 心 是 三 维 反 馈 增 强 的 理 念 ： 在 采 样 循 环 中 的 每 次 去 噪 步 骤 中 ， 3 D A d a p t e r 将 中 间 多 视 角 特 征 解 码 成 一 致 的 三 维 表 示 ， 然 后 重 新 编 码 渲 染 出 的 R G B D 视 图 ， 通 过 特 征 添 加 来 增 强 预 训 练 基 础 模 型 。 我 们 研 究 了 两 种 版 本 的 3 D A d a p t e r ： 一 种 基 于 高 斯 散 射 的 快 速 前 馈 版 和 一 种 利 用 神 经 场 与 网 格 且 无 需 训 练 的 多 功 能 版 。 我 们 的 广 泛 实 验 表 明 ， 3 D A d a p t e r 不 仅 极 大 地 提 升 了 如 I n s t a n t 3 D 和 Z e r o 1 2 3 + + 等 文 本 到 多 视 角 模 型 的 几 何 质 量 ， 而 且 还 能 够 使 用 简 单 的 文 本 到 图 像 S t a b l e D i f f u s i o n 实 现 高 质 量 的 三 维 生 成 。 此 外 ， 我 们 展 示 了 3 D A d a p t e r 在 文 本 到 三 维 、 图 像 到 三 维 、 文 本 到 纹 理 以 及 文 本 到 虚 拟 形 象 任 务 中 的 广 泛 应 用 潜 力 ， 并 呈 现 了 高 质 量 的 结 果 。 U R L h t t p s : / / a r x i v . o r g / a b s / 2 4 1 0 . 1 8 9 7 4 P D F C o p y h t t p s : / / a r x i v . o r g / p d f / 2 4 1 0 . 1 8 9 7 4 . p d f R e a d A l l D e e p I n s i g h t s i n t o C o g n i t i v e D e c l i n e : A S u r v e y o f L e v e r a g i n g N o n I n t r u s i v e M o d a l i t i e s w i t h D e e p L e a r n i n g T e c h n i q u e s 2 0 2 4 1 0 2 4 1 7 : 5 9 : 2 1 D a v i d O r t i z P e r e z , M a n u e l B e n a v e n t L l e d o , J o s e G a r c i a R o d r i g u e z , D a v i d T o m \ \ a s , M . F l o r e s V i z c a y a M o r e n o • a r X i v _ A I • • a r X i v _ A I D e t e c t i o n D e e p _ L e a r n i n g R e v i e w S u r v e y Q u a n t i t a t i v e T r a n s f o r m e r M e d i c a l H a n d w r i t i n g S p e e c h A b s t r a c t A b s t r a c t ( t r a n s l a t e d ) U R L P D F A b s t r a c t C o g n i t i v e d e c l i n e i s a n a t u r a l p a r t o f a g i n g , o f t e n r e s u l t i n g i n r e d u c e d c o g n i t i v e a b i l i t i e s . I n s o m e c a s e s , h o w e v e r , t h i s d e c l i n e i s m o r e p r o n o u n c e d , t y p i c a l l y d u e t o d i s o r d e r s s u c h a s A l z h e i m e r s d i s e a s e . E a r l y d e t e c t i o n o f a n o m a l o u s c o g n i t i v e d e c l i n e i s c r u c i a l , a s i t c a n f a c i l i t a t e t i m e l y p r o f e s s i o n a l i n t e r v e n t i o n . W h i l e m e d i c a l d a t a c a n h e l p i n t h i s d e t e c t i o n , i t o f t e n i n v o l v e s i n v a s i v e p r o c e d u r e s . A n a l t e r n a t i v e a p p r o a c h i s t o e m p l o y n o n i n t r u s i v e t e c h n i q u e s s u c h a s s p e e c h o r h a n d w r i t i n g a n a l y s i s , w h i c h d o n o t n e c e s s a r i l y a f f e c t d a i l y a c t i v i t i e s . T h i s s u r v e y r e v i e w s t h e m o s t r e l e v a n t m e t h o d o l o g i e s t h a t u s e d e e p l e a r n i n g t e c h n i q u e s t o a u t o m a t e t h e c o g n i t i v e d e c l i n e e s t i m a t i o n t a s k , i n c l u d i n g a u d i o , t e x t , a n d v i s u a l p r o c e s s i n g . W e d i s c u s s t h e k e y f e a t u r e s a n d a d v a n t a g e s o f e a c h m o d a l i t y a n d m e t h o d o l o g y , i n c l u d i n g s t a t e o f t h e a r t a p p r o a c h e s l i k e T r a n s f o r m e r a r c h i t e c t u r e a n d f o u n d a t i o n m o d e l s . I n a d d i t i o n , w e p r e s e n t w o r k s t h a t i n t e g r a t e d i f f e r e n t m o d a l i t i e s t o d e v e l o p m u l t i m o d a l m o d e l s . W e a l s o h i g h l i g h t t h e m o s t s i g n i f i c a n t d a t a s e t s a n d t h e q u a n t i t a t i v e r e s u l t s f r o m s t u d i e s u s i n g t h e s e r e s o u r c e s . F r o m t h i s r e v i e w , s e v e r a l c o n c l u s i o n s e m e r g e . I n m o s t c a s e s , t h e t e x t u a l m o d a l i t y a c h i e v e s t h e b e s t r e s u l t s a n d i s t h e m o s t r e l e v a n t f o r d e t e c t i n g c o g n i t i v e d e c l i n e . M o r e o v e r , c o m b i n i n g v a r i o u s a p p r o a c h e s f r o m i n d i v i d u a l m o d a l i t i e s i n t o a m u l t i m o d a l m o d e l c o n s i s t e n t l y e n h a n c e s p e r f o r m a n c e a c r o s s n e a r l y a l l s c e n a r i o s . A b s t r a c t ( t r a n s l a t e d ) 认 知 衰 退 是 老 化 过 程 中 的 自 然 现 象 ， 通 常 会 导 致 认 知 能 力 的 下 降 。 然 而 ， 在 某 些 情 况 下 ， 这 种 衰 退 更 加 明 显 ， 通 常 是 由 于 阿 尔 茨 海 默 病 等 疾 病 所 致 。 早 期 检 测 异 常 的 认 知 衰 退 至 关 重 要 ， 因 为 它 可 以 促 进 及 时 的 专 业 干 预 。 虽 然 医 学 数 据 有 助 于 此 类 检 测 ， 但 往 往 涉 及 侵 入 性 程 序 。 一 种 替 代 方 法 是 使 用 非 侵 扰 性 的 技 术 ， 如 语 音 或 笔 迹 分 析 ， 这 些 技 术 通 常 不 会 影 响 日 常 活 动 。 本 综 述 回 顾 了 利 用 深 度 学 习 技 术 自 动 化 认 知 衰 退 估 计 任 务 的 最 相 关 方 法 ， 包 括 音 频 、 文 本 和 视 觉 处 理 。 我 们 讨 论 了 每 种 模 态 及 其 方 法 的 关 键 特 征 与 优 势 ， 包 括 最 先 进 的 方 法 如 T r a n s f o r m e r 架 构 和 基 础 模 型 。 此 外 ， 我 们 还 介 绍 了 整 合 不 同 模 态 以 开 发 多 模 态 模 型 的 工 作 成 果 。 我 们 也 强 调 了 一 些 最 重 要 的 数 据 集 以 及 利 用 这 些 资 源 的 研 究 的 定 量 结 果 。 从 这 一 综 述 中 ， 我 们 可 以 得 出 几 个 结 论 。 在 大 多 数 情 况 下 ， 文 本 模 态 获 得 了 最 佳 效 果 ， 并 且 对 于 检 测 认 知 衰 退 最 为 相 关 。 此 外 ， 在 几 乎 所 有 场 景 下 ， 将 来 自 单 个 模 态 的 各 种 方 法 结 合 到 一 个 多 模 态 模 型 中 可 以 持 续 提 升 性 能 。 U R L h t t p s : / / a r x i v . o r g / a b s / 2 4 1 0 . 1 8 9 7 2 P D F C o p y h t t p s : / / a r x i v . o r g / p d f / 2 4 1 0 . 1 8 9 7 2 . p d f R e a d A l l C o n c e p t D r i f t : U n c o v e r i n g B i a s e s t h r o u g h t h e L e n s o f F o u n d a t i o n a l M o d e l s 2 0 2 4 1 0 2 4 1 7 : 5 9 : 1 6 C r i s t i a n D a n i e l P \ \ u d u r a r u , A n t o n i o B \ \ u r b \ \ u l a u , R a d u F i l i p e s c u , A n d r e i L i v i u N i c o l i c i o i u , E l e n a B u r c e a n u • a r X i v _ A I • • a r X i v _ A I E m b e d d i n g R e l a t i o n P r e d i c t i o n P o s e Z e r o S h o t A b s t r a c t A b s t r a c t ( t r a n s l a t e d ) U R L P D F A b s t r a c t D a t a s e t s a n d p r e t r a i n e d m o d e l s c o m e w i t h i n t r i n s i c b i a s e s . M o s t m e t h o d s r e l y o n s p o t t i n g t h e m b y a n a l y s i n g m i s c l a s s i f i e d s a m p l e s , i n a s e m i a u t o m a t e d h u m a n c o m p u t e r v a l i d a t i o n . I n c o n t r a s t , w e p r o p o s e C o n c e p t D r i f t , a m e t h o d w h i c h a n a l y z e s t h e w e i g h t s o f a l i n e a r p r o b e , l e a r n e d o n t o p a f o u n d a t i o n a l m o d e l . W e c a p i t a l i z e o n t h e w e i g h t u p d a t e t r a j e c t o r y , w h i c h s t a r t s f r o m t h e e m b e d d i n g o f t h e t e x t u a l r e p r e s e n t a t i o n o f t h e c l a s s , a n d p r o c e e d s t o d r i f t t o w a r d s e m b e d d i n g s t h a t d i s c l o s e h i d d e n b i a s e s . D i f f e r e n t f r o m p r i o r w o r k , w i t h t h i s a p p r o a c h w e c a n p i n p o i n t u n w a n t e d c o r r e l a t i o n s f r o m a d a t a s e t , p r o v i d i n g m o r e t h a n j u s t p o s s i b l e e x p l a n a t i o n s f o r t h e w r o n g p r e d i c t i o n s . W e e m p i r i c a l l y p r o v e t h e e f f i c a c y o f o u r m e t h o d , b y s i g n i f i c a n t l y i m p r o v i n g z e r o s h o t p e r f o r m a n c e w i t h b i a s e d a u g m e n t e d p r o m p t i n g . O u r m e t h o d i s n o t b o u n d e d t o a s i n g l e m o d a l i t y , a n d w e e x p e r i m e n t i n t h i s w o r k w i t h b o t h i m a g e ( W a t e r b i r d s , C e l e b A , N i c o + + ) a n d t e x t d a t a s e t s ( C i v i l C o m m e n t s ) . A b s t r a c t ( t r a n s l a t e d ) 数 据 集 和 预 训 练 模 型 带 有 内 在 的 偏 见 。 大 多 数 方 法 依 赖 于 通 过 分 析 误 分 类 样 本 ， 在 半 自 动 的 人 机 验 证 中 发 现 这 些 偏 见 。 相 比 之 下 ， 我 们 提 出 了 C o n c e p t D r i f t 方 法 ， 该 方 法 通 过 对 基 础 模 型 顶 部 学 习 到 的 线 性 探 测 器 权 重 进 行 分 析 。 我 们 利 用 了 从 类 别 文 本 表 示 嵌 入 开 始 ， 并 逐 渐 漂 移 到 揭 示 隐 藏 偏 见 嵌 入 的 权 重 更 新 轨 迹 。 与 先 前 的 工 作 不 同 ， 这 种 方 法 能 够 识 别 数 据 集 中 的 不 良 关 联 ， 而 不 仅 仅 是 为 错 误 预 测 提 供 可 能 的 解 释 。 通 过 实 验 ， 我 们 证 明 了 我 们 的 方 法 的 有 效 性 ， 使 用 带 有 偏 见 增 强 提 示 显 著 提 高 了 零 样 本 性 能 。 我 们 的 方 法 不 限 于 单 一 模 态 ， 在 本 研 究 中 ， 我 们 在 图 像 （ W a t e r b i r d s 、 C e l e b A 、 N i c o + + ） 和 文 本 数 据 集 （ C i v i l C o m m e n t s ） 上 进 行 了 实 验 。 U R L h t t p s : / / a r x i v . o r g / a b s / 2 4 1 0 . 1 8 9 7 0 P D F C o p y h t t p s : / / a r x i v . o r g / p d f / 2 4 1 0 . 1 8 9 7 0 . p d f R e a d A l l S e l f I m p r o v i n g A u t o n o m o u s U n d e r w a t e r M a n i p u l a t i o n 2 0 2 4 1 0 2 4 1 7 : 5 9 : 1 4 R u o s h i L i u , H u y H a , M e n g x u e H o u , S h u r a n S o n g , C a r l V o n d r i c k • a r X i v _ R O • • a r X i v _ R O F a c e O p t i m i z a t i o n A u t o n o m o u s R o b o t A b s t r a c t A b s t r a c t ( t r a n s l a t e d ) U R L P D F A b s t r a c t U n d e r w a t e r r o b o t i c m a n i p u l a t i o n f a c e s s i g n i f i c a n t c h a l l e n g e s d u e t o c o m p l e x f l u i d d y n a m i c s a n d u n s t r u c t u r e d e n v i r o n m e n t s , c a u s i n g m o s t m a n i p u l a t i o n s y s t e m s t o r e l y h e a v i l y o n h u m a n t e l e o p e r a t i o n . I n t h i s p a p e r , w e i n t r o d u c e A q u a B o t , a f u l l y a u t o n o m o u s m a n i p u l a t i o n s y s t e m t h a t c o m b i n e s b e h a v i o r c l o n i n g f r o m h u m a n d e m o n s t r a t i o n s w i t h s e l f l e a r n i n g o p t i m i z a t i o n t o i m p r o v e b e y o n d h u m a n t e l e o p e r a t i o n p e r f o r m a n c e . W i t h e x t e n s i v e r e a l w o r l d e x p e r i m e n t s , w e d e m o n s t r a t e A q u a B o t s v e r s a t i l i t y a c r o s s d i v e r s e m a n i p u l a t i o n t a s k s , i n c l u d i n g o b j e c t g r a s p i n g , t r a s h s o r t i n g , a n d r e s c u e r e t r i e v a l . O u r r e a l w o r l d e x p e r i m e n t s s h o w t h a t A q u a B o t s s e l f o p t i m i z e d p o l i c y o u t p e r f o r m s a h u m a n o p e r a t o r b y 4 1 % i n s p e e d . A q u a B o t r e p r e s e n t s a p r o m i s i n g s t e p t o w a r d s a u t o n o m o u s a n d s e l f i m p r o v i n g u n d e r w a t e r m a n i p u l a t i o n s y s t e m s . W e o p e n s o u r c e b o t h h a r d w a r e a n d s o f t w a r e i m p l e m e n t a t i o n d e t a i l s . A b s t r a c t ( t r a n s l a t e d ) 水 下 机 器 人 操 作 面 临 复 杂 的 流 体 动 力 学 和 非 结 构 化 环 境 的 显 著 挑 战 ， 这 使 得 大 多 数 操 作 系 统 高 度 依 赖 于 人 类 远 程 操 控 。 本 文 中 ， 我 们 介 绍 了 A q u a B o t ， 这 是 一 个 完 全 自 主 的 操 作 系 统 ， 它 结 合 了 从 人 类 演 示 中 克 隆 的 行 为 与 自 我 学 习 优 化 ， 以 超 越 人 类 远 程 操 控 的 表 现 。 通 过 广 泛 的 现 实 世 界 实 验 ， 我 们 展 示 了 A q u a B o t 在 多 种 操 作 任 务 中 的 灵 活 性 ， 包 括 物 体 抓 取 、 垃 圾 分 类 和 救 援 检 索 。 我 们 的 现 实 世 界 实 验 表 明 ， A q u a B o t 的 自 优 化 策 略 比 人 操 作 员 快 4 1 % 。 A q u a B o t 代 表 了 自 主 和 自 我 改 进 水 下 操 作 系 统 的 一 个 有 前 景 的 进 步 步 骤 。 我 们 将 硬 件 和 软 件 实 现 细 节 开 源 。 U R L h t t p s : / / a r x i v . o r g / a b s / 2 4 1 0 . 1 8 9 6 9 P D F C o p y h t t p s : / / a r x i v . o r g / p d f / 2 4 1 0 . 1 8 9 6 9 . p d f R e a d A l l F e r r e t U I 2 : M a s t e r i n g U n i v e r s a l U s e r I n t e r f a c e U n d e r s t a n d i n g A c r o s s P l a t f o r m s 2 0 2 4 1 0 2 4 1 7 : 5 8 : 3 1 Z h a n g h e n g L i , K e e n Y o u , H a o t i a n Z h a n g , D i F e n g , H a r s h A g r a w a l , X i u j u n L i , M o h a n a P r a s a d S a t h y a M o o r t h y , J e f f N i c h o l s , Y i n f e i Y a n g , Z h e G a n • a r X i v _ C V • • a r X i v _ C V F a c e P r e d i c t i o n L a n g u a g e _ M o d e l T r a n s f o r m e r A c t i o n C h a t L L M A b s t r a c t A b s t r a c t ( t r a n s l a t e d ) U R L P D F A b s t r a c t B u i l d i n g a g e n e r a l i s t m o d e l f o r u s e r i n t e r f a c e ( U I ) u n d e r s t a n d i n g i s c h a l l e n g i n g d u e t o v a r i o u s f o u n d a t i o n a l i s s u e s , s u c h a s p l a t f o r m d i v e r s i t y , r e s o l u t i o n v a r i a t i o n , a n d d a t a l i m i t a t i o n . I n t h i s p a p e r , w e i n t r o d u c e F e r r e t U I 2 , a m u l t i m o d a l l a r g e l a n g u a g e m o d e l ( M L L M ) d e s i g n e d f o r u n i v e r s a l U I u n d e r s t a n d i n g a c r o s s a w i d e r a n g e o f p l a t f o r m s , i n c l u d i n g i P h o n e , A n d r o i d , i P a d , W e b p a g e , a n d A p p l e T V . B u i l d i n g o n t h e f o u n d a t i o n o f F e r r e t U I , F e r r e t U I 2 i n t r o d u c e s t h r e e k e y i n n o v a t i o n s : s u p p o r t f o r m u l t i p l e p l a t f o r m t y p e s , h i g h r e s o l u t i o n p e r c e p t i o n t h r o u g h a d a p t i v e s c a l i n g , a n d a d v a n c e d t a s k t r a i n i n g d a t a g e n e r a t i o n p o w e r e d b y G P T 4 o w i t h s e t o f m a r k v i s u a l p r o m p t i n g . T h e s e a d v a n c e m e n t s e n a b l e F e r r e t U I 2 t o p e r f o r m c o m p l e x , u s e r c e n t e r e d i n t e r a c t i o n s , m a k i n g i t h i g h l y v e r s a t i l e a n d a d a p t a b l e f o r t h e e x p a n d i n g d i v e r s i t y o f p l a t f o r m e c o s y s t e m s . E x t e n s i v e e m p i r i c a l e x p e r i m e n t s o n r e f e r r i n g , g r o u n d i n g , u s e r c e n t r i c a d v a n c e d t a s k s ( c o m p r i s i n g 9 s u b t a s k s $ \ \ t i m e s $ 5 p l a t f o r m s ) , G U I D E n e x t a c t i o n p r e d i c t i o n d a t a s e t , a n d G U I W o r l d m u l t i p l a t f o r m b e n c h m a r k d e m o n s t r a t e t h a t F e r r e t U I 2 s i g n i f i c a n t l y o u t p e r f o r m s F e r r e t U I , a n d a l s o s h o w s s t r o n g c r o s s p l a t f o r m t r a n s f e r c a p a b i l i t i e s . A b s t r a c t ( t r a n s l a t e d ) 构 建 一 个 用 于 用 户 界 面 （ U I ） 理 解 的 通 用 模 型 具 有 挑 战 性 ， 因 为 存 在 各 种 基 础 问 题 ， 如 平 台 多 样 性 、 分 辨 率 变 化 和 数 据 限 制 。 本 文 介 绍 了 F e r r e t U I 2 ， 这 是 一 种 多 模 态 大 型 语 言 模 型 （ M L L M ） ， 旨 在 实 现 跨 多 种 平 台 （ 包 括 i P h o n e 、 A n d r o i d 、 i P a d 、 网 页 和 A p p l e T V ） 的 通 用 U I 理 解 。 在 F e r r e t U I 的 基 础 上 ， F e r r e t U I 2 引 入 了 三 项 关 键 创 新 ： 支 持 多 种 平 台 类 型 、 通 过 自 适 应 缩 放 实 现 高 分 辨 率 感 知 以 及 由 G P T 4 o 驱 动 的 先 进 任 务 训 练 数 据 生 成 ， 并 采 用 了 一 组 标 记 视 觉 提 示 。 这 些 进 步 使 F e r r e t U I 2 能 够 执 行 复 杂 的 以 用 户 为 中 心 的 交 互 ， 使 其 高 度 通 用 且 适 用 于 不 断 扩 展 的 各 种 平 台 生 态 系 统 。 在 指 代 、 定 位 、 以 用 户 为 中 心 的 高 级 任 务 （ 涵 盖 9 个 子 任 务 $ \ \ t i m e s $ 5 种 平 台 ） 、 G U I D E 下 一 动 作 预 测 数 据 集 以 及 G U I W o r l d 多 平 台 基 准 上 的 广 泛 实 证 实 验 表 明 ， F e r r e t U I 2 显 著 优 于 F e r r e t U I ， 并 且 展 示 了 强 大 的 跨 平 台 迁 移 能 力 。 U R L h t t p s : / / a r x i v . o r g / a b s / 2 4 1 0 . 1 8 9 6 7 P D F C o p y h t t p s : / / a r x i v . o r g / p d f / 2 4 1 0 . 1 8 9 6 7 . p d f R e a d A l l D o e s D a t a C o n t a m i n a t i o n D e t e c t i o n W o r k f o r L L M s ? A S u r v e y a n d E v a l u a t i o n o n D e t e c t i o n A s s u m p t i o n s 2 0 2 4 1 0 2 4 1 7 : 5 8 : 2 2 Y u j u a n F u , O z l e m U z u n e r , M e l i h a Y e t i s g e n , F e i X i a • a r X i v _ C L • • a r X i v _ C L D e t e c t i o n R e v i e w S u r v e y L a n g u a g e _ M o d e l P o s e L L M A b s t r a c t A b s t r a c t ( t r a n s l a t e d ) U R L P D F A b s t r a c t L a r g e l a n g u a g e m o d e l s ( L L M s ) h a v e d e m o n s t r a t e d g r e a t p e r f o r m a n c e a c r o s s v a r i o u s b e n c h m a r k s , s h o w i n g p o t e n t i a l a s g e n e r a l p u r p o s e t a s k s o l v e r s . H o w e v e r , a s L L M s a r e t y p i c a l l y t r a i n e d o n v a s t a m o u n t s o f d a t a , a s i g n i f i c a n t c o n c e r n i n t h e i r e v a l u a t i o n i s d a t a c o n t a m i n a t i o n , w h e r e o v e r l a p b e t w e e n t r a i n i n g d a t a a n d e v a l u a t i o n d a t a s e t s i n f l a t e s p e r f o r m a n c e a s s e s s m e n t s . W h i l e m u l t i p l e a p p r o a c h e s h a v e b e e n d e v e l o p e d t o i d e n t i f y d a t a c o n t a m i n a t i o n , t h e s e a p p r o a c h e s r e l y o n s p e c i f i c a s s u m p t i o n s t h a t m a y n o t h o l d u n i v e r s a l l y a c r o s s d i f f e r e n t s e t t i n g s . T o b r i d g e t h i s g a p , w e s y s t e m a t i c a l l y r e v i e w 4 7 p a p e r s o n d a t a c o n t a m i n a t i o n d e t e c t i o n , c a t e g o r i z e t h e u n d e r l y i n g a s s u m p t i o n s , a n d a s s e s s w h e t h e r t h e y h a v e b e e n r i g o r o u s l y v a l i d a t e d . W e i d e n t i f y a n d a n a l y z e e i g h t c a t e g o r i e s o f a s s u m p t i o n s a n d t e s t t h r e e o f t h e m a s c a s e s t u d i e s . O u r a n a l y s i s r e v e a l s t h a t w h e n c l a s s i f y i n g i n s t a n c e s u s e d f o r p r e t r a i n i n g L L M s , d e t e c t i o n a p p r o a c h e s b a s e d o n t h e s e t h r e e a s s u m p t i o n s p e r f o r m c l o s e t o r a n d o m g u e s s i n g , s u g g e s t i n g t h a t c u r r e n t L L M s l e a r n d a t a d i s t r i b u t i o n s r a t h e r t h a n m e m o r i z i n g i n d i v i d u a l i n s t a n c e s . O v e r a l l , t h i s w o r k u n d e r s c o r e s t h e i m p o r t a n c e o f a p p r o a c h e s c l e a r l y s t a t i n g t h e i r u n d e r l y i n g a s s u m p t i o n s a n d t e s t i n g t h e i r v a l i d i t y a c r o s s v a r i o u s s c e n a r i o s . A b s t r a c t ( t r a n s l a t e d ) 大 型 语 言 模 型 （ L L M s ） 在 各 种 基 准 测 试 中 表 现 出 色 ， 显 示 出 作 为 通 用 任 务 解 决 者 的 能 力 。 然 而 ， 由 于 L L M s 通 常 是 基 于 大 量 数 据 进 行 训 练 的 ， 因 此 对 其 评 估 的 一 个 重 要 问 题 是 数 据 污 染 问 题 ， 即 训 练 数 据 与 评 估 数 据 集 之 间 的 重 叠 会 夸 大 性 能 评 估 结 果 。 虽 然 已 经 开 发 了 多 种 方 法 来 识 别 数 据 污 染 ， 但 这 些 方 法 依 赖 于 特 定 假 设 ， 而 这 些 假 设 可 能 在 不 同 的 设 置 中 并 不 普 遍 适 用 。 为 了 解 决 这 一 差 距 ， 我 们 系 统 地 回 顾 了 4 7 篇 关 于 数 据 污 染 检 测 的 论 文 ， 归 类 其 基 础 假 设 ， 并 评 估 这 些 假 设 是 否 已 被 严 格 验 证 。 我 们 识 别 并 分 析 了 八 类 假 设 ， 并 对 其 中 三 类 进 行 了 案 例 研 究 测 试 。 我 们 的 分 析 表 明 ， 在 将 实 例 分 类 用 于 预 训 练 L L M s 时 ， 基 于 这 三 种 假 设 的 检 测 方 法 表 现 接 近 随 机 猜 测 ， 这 意 味 着 当 前 的 L L M s 学 习 的 是 数 据 分 布 而 非 记 住 单 个 实 例 。 总 的 来 说 ， 这 项 工 作 强 调 了 方 法 明 确 陈 述 其 基 础 假 设 并 在 各 种 场 景 下 验 证 这 些 假 设 的 重 要 性 。 U R L h t t p s : / / a r x i v . o r g / a b s / 2 4 1 0 . 1 8 9 6 6 P D F C o p y h t t p s : / / a r x i v . o r g / p d f / 2 4 1 0 . 1 8 9 6 6 . p d f R e a d A l l L e a r n i n g t o L o o k : S e e k i n g I n f o r m a t i o n f o r D e c i s i o n M a k i n g v i a P o l i c y F a c t o r i z a t i o n 2 0 2 4 1 0 2 4 1 7 : 5 8 : 1 1 S h i v i n D a s s , J i a h e n g H u , B e n A b b a t e m a t t e o , P e t e r S t o n e , R o b e r t o M a r t \ \ i n M a r t \ \ i n • a r X i v _ R O • • a r X i v _ R O P o s e A c t i o n E m b o d i e d A g e n t R o b o t A b s t r a c t A b s t r a c t ( t r a n s l a t e d ) U R L P D F A b s t r a c t M a n y r o b o t m a n i p u l a t i o n t a s k s r e q u i r e a c t i v e o r i n t e r a c t i v e e x p l o r a t i o n b e h a v i o r i n o r d e r t o b e p e r f o r m e d s u c c e s s f u l l y . S u c h t a s k s a r e u b i q u i t o u s i n e m b o d i e d d o m a i n s , w h e r e a g e n t s m u s t a c t i v e l y s e a r c h f o r t h e i n f o r m a t i o n n e c e s s a r y f o r e a c h s t a g e o f a t a s k , e . g . , m o v i n g t h e h e a d o f t h e r o b o t t o f i n d i n f o r m a t i o n r e l e v a n t t o m a n i p u l a t i o n , o r i n m u l t i r o b o t d o m a i n s , w h e r e o n e s c o u t r o b o t m a y s e a r c h f o r t h e i n f o r m a t i o n t h a t a n o t h e r r o b o t n e e d s t o m a k e i n f o r m e d d e c i s i o n s . W e i d e n t i f y t h e s e t a s k s w i t h a n e w t y p e o f p r o b l e m , f a c t o r i z e d C o n t e x t u a l M a r k o v D e c i s i o n P r o c e s s e s , a n d p r o p o s e D I S a M , a d u a l p o l i c y s o l u t i o n c o m p o s e d o f a n i n f o r m a t i o n s e e k i n g p o l i c y t h a t e x p l o r e s t h e e n v i r o n m e n t t o f i n d t h e r e l e v a n t c o n t e x t u a l i n f o r m a t i o n a n d a n i n f o r m a t i o n r e c e i v i n g p o l i c y t h a t e x p l o i t s t h e c o n t e x t t o a c h i e v e t h e m a n i p u l a t i o n g o a l . T h i s f a c t o r i z a t i o n a l l o w s u s t o t r a i n b o t h p o l i c i e s s e p a r a t e l y , u s i n g t h e i n f o r m a t i o n r e c e i v i n g o n e t o p r o v i d e r e w a r d t o t r a i n t h e i n f o r m a t i o n s e e k i n g p o l i c y . A t t e s t t i m e , t h e d u a l a g e n t b a l a n c e s e x p l o r a t i o n a n d e x p l o i t a t i o n b a s e d o n t h e u n c e r t a i n t y t h e m a n i p u l a t i o n p o l i c y h a s o n w h a t t h e n e x t b e s t a c t i o n i s . W e d e m o n s t r a t e t h e c a p a b i l i t i e s o f o u r d u a l p o l i c y s o l u t i o n i n f i v e m a n i p u l a t i o n t a s k s t h a t r e q u i r e i n f o r m a t i o n s e e k i n g b e h a v i o r s , b o t h i n s i m u l a t i o n a n d i n t h e r e a l w o r l d , w h e r e D I S a M s i g n i f i c a n t l y o u t p e r f o r m s e x i s t i n g m e t h o d s . M o r e i n f o r m a t i o n a t t h i s h t t p s U R L . A b s t r a c t ( t r a n s l a t e d ) 许 多 机 器 人 操 作 任 务 需 要 主 动 或 交 互 式 探 索 行 为 才 能 成 功 执 行 。 这 类 任 务 在 具 身 化 领 域 中 普 遍 存 在 ， 在 这 些 领 域 里 ， 智 能 体 必 须 积 极 寻 找 每 个 任 务 阶 段 所 需 的 信 息 ， 例 如 移 动 机 器 人 的 头 部 以 找 到 与 操 控 相 关 的 信 息 ； 或 者 在 多 机 器 人 领 域 中 ， 一 个 侦 察 机 器 人 可 能 搜 索 另 一 个 机 器 人 做 出 知 情 决 策 所 需 的 资 料 。 我 们 通 过 一 种 新 的 问 题 类 型 — — 分 解 的 上 下 文 马 尔 可 夫 决 策 过 程 来 识 别 这 些 任 务 ， 并 提 出 D I S a M （ D u a l I n f o r m a t i o n S e e k i n g a n d M a n i p u l a t i o n ） ， 这 是 一 种 双 策 略 解 决 方 案 ， 包 含 一 个 寻 求 信 息 的 策 略 和 一 个 利 用 上 下 文 实 现 操 控 目 标 的 策 略 。 前 者 探 索 环 境 以 找 到 相 关 的 情 境 信 息 ， 后 者 则 利 用 该 情 境 信 息 达 成 操 作 目 的 。 这 种 分 解 允 许 我 们 分 别 训 练 两 个 策 略 ， 并 使 用 利 用 策 略 提 供 的 奖 励 来 训 练 信 息 寻 找 策 略 。 在 测 试 时 ， 双 智 能 体 根 据 操 纵 策 略 对 下 一 步 最 佳 行 动 的 不 确 定 性 平 衡 探 索 与 利 用 。 我 们 在 需 要 寻 求 行 为 的 五 个 操 控 任 务 中 展 示 了 我 们 的 双 重 政 策 解 决 方 案 的 能 力 ， 这 些 任 务 既 包 括 模 拟 环 境 也 包 括 现 实 世 界 ， 其 中 D I S a M 显 著 优 于 现 有 方 法 。 更 多 信 息 请 参 见 此 链 接 ： [ h t t p s U R L ] 。 U R L h t t p s : / / a r x i v . o r g / a b s / 2 4 1 0 . 1 8 9 6 4 P D F C o p y h t t p s : / / a r x i v . o r g / p d f / 2 4 1 0 . 1 8 9 6 4 . p d f R e a d A l l O S C A R : O p e r a t i n g S y s t e m C o n t r o l v i a S t a t e A w a r e R e a s o n i n g a n d R e P l a n n i n g 2 0 2 4 1 0 2 4 1 7 : 5 8 : 0 8 X i a o q i a n g W a n g , B a n g L i u • a r X i v _ A I • • a r X i v _ A I F a c e L a n g u a g e _ M o d e l A u t o n o m o u s A g e n t L L M A b s t r a c t A b s t r a c t ( t r a n s l a t e d ) U R L P D F A b s t r a c t L a r g e l a n g u a g e m o d e l s ( L L M s ) a n d l a r g e m u l t i m o d a l m o d e l s ( L M M s ) h a v e s h o w n g r e a t p o t e n t i a l i n a u t o m a t i n g c o m p l e x t a s k s l i k e w e b b r o w s i n g a n d g a m i n g . H o w e v e r , t h e i r a b i l i t y t o g e n e r a l i z e a c r o s s d i v e r s e a p p l i c a t i o n s r e m a i n s l i m i t e d , h i n d e r i n g b r o a d e r u t i l i t y . T o a d d r e s s t h i s c h a l l e n g e , w e p r e s e n t O S C A R : O p e r a t i n g S y s t e m C o n t r o l v i a s t a t e A w a r e r e a s o n i n g a n d R e p l a n n i n g . O S C A R i s a g e n e r a l i s t a g e n t d e s i g n e d t o a u t o n o m o u s l y n a v i g a t e a n d i n t e r a c t w i t h v a r i o u s d e s k t o p a n d m o b i l e a p p l i c a t i o n s t h r o u g h s t a n d a r d i z e d c o n t r o l s , s u c h a s m o u s e a n d k e y b o a r d i n p u t s , w h i l e p r o c e s s i n g s c r e e n i m a g e s t o f u l f i l l u s e r c o m m a n d s . O S C A R t r a n s l a t e s h u m a n i n s t r u c t i o n s i n t o e x e c u t a b l e P y t h o n c o d e , e n a b l i n g p r e c i s e c o n t r o l o v e r g r a p h i c a l u s e r i n t e r f a c e s ( G U I s ) . T o e n h a n c e s t a b i l i t y a n d a d a p t a b i l i t y , O S C A R o p e r a t e s a s a s t a t e m a c h i n e , e q u i p p e d w i t h e r r o r h a n d l i n g m e c h a n i s m s a n d d y n a m i c t a s k r e p l a n n i n g , a l l o w i n g i t t o e f f i c i e n t l y a d j u s t t o r e a l t i m e f e e d b a c k a n d e x c e p t i o n s . W e d e m o n s t r a t e O S C A R s e f f e c t i v e n e s s t h r o u g h e x t e n s i v e e x p e r i m e n t s o n d i v e r s e b e n c h m a r k s a c r o s s d e s k t o p a n d m o b i l e p l a t f o r m s , w h e r e i t t r a n s f o r m s c o m p l e x w o r k f l o w s i n t o s i m p l e n a t u r a l l a n g u a g e c o m m a n d s , s i g n i f i c a n t l y b o o s t i n g u s e r p r o d u c t i v i t y . O u r c o d e w i l l b e o p e n s o u r c e u p o n p u b l i c a t i o n . A b s t r a c t ( t r a n s l a t e d ) 大 型 语 言 模 型 （ L L M s ） 和 大 型 多 模 态 模 型 （ L M M s ） 在 自 动 化 复 杂 任 务 ， 如 网 络 浏 览 和 游 戏 方 面 展 现 了 巨 大 的 潜 力 。 然 而 ， 它 们 跨 多 种 应 用 进 行 泛 化 的 能 力 仍 然 有 限 ， 阻 碍 了 其 更 广 泛 的 应 用 。 为 了 解 决 这 一 挑 战 ， 我 们 提 出 了 O S C A R ： 通 过 状 态 感 知 推 理 和 重 新 规 划 来 控 制 操 作 系 统 （ O p e r a t i n g S y s t e m C o n t r o l v i a s t a t e A w a r e r e a s o n i n g a n d R e p l a n n i n g ） 。 O S C A R 是 一 个 通 用 型 代 理 程 序 ， 设 计 用 于 自 主 导 航 并 交 互 各 种 桌 面 和 移 动 应 用 ， 通 过 标 准 化 的 控 制 方 式 （ 如 鼠 标 和 键 盘 输 入 ） ， 同 时 处 理 屏 幕 图 像 以 完 成 用 户 命 令 。 O S C A R 将 人 类 指 令 翻 译 成 可 执 行 的 P y t h o n 代 码 ， 使 它 能 够 精 确 地 控 制 图 形 用 户 界 面 （ G U I s ） 。 为 了 提 高 稳 定 性 和 适 应 性 ， O S C A R 作 为 状 态 机 运 行 ， 并 配 备 了 错 误 处 理 机 制 和 动 态 任 务 重 新 规 划 功 能 ， 使 其 能 高 效 地 调 整 到 实 时 反 馈 和 异 常 情 况 中 。 我 们 通 过 在 桌 面 和 移 动 平 台 上 的 各 种 基 准 测 试 中 的 广 泛 实 验 展 示 了 O S C A R 的 有 效 性 ， 在 这 些 实 验 中 ， 它 将 复 杂 的 流 程 转 换 成 简 单 的 自 然 语 言 命 令 ， 大 大 提 高 了 用 户 的 工 作 效 率 。 我 们 的 代 码 将 在 发 表 后 开 源 。 U R L h t t p s : / / a r x i v . o r g / a b s / 2 4 1 0 . 1 8 9 6 3 P D F C o p y h t t p s : / / a r x i v . o r g / p d f / 2 4 1 0 . 1 8 9 6 3 . p d f R e a d A l l W h e r e A m I a n d W h a t W i l l I S e e : A n A u t o R e g r e s s i v e M o d e l f o r S p a t i a l L o c a l i z a t i o n a n d V i e w P r e d i c t i o n 2 0 2 4 1 0 2 4 1 7 : 5 8 : 0 5 J u n y i C h e n , D i H u a n g , W e i c a i Y e , W a n l i O u y a n g , T o n g H e • a r X i v _ C V • • a r X i v _ C V R e l a t i o n P o s e _ E s t i m a t i o n P r e d i c t i o n O p t i m i z a t i o n T r a n s f o r m e r P o s e A b s t r a c t A b s t r a c t ( t r a n s l a t e d ) U R L P D F A b s t r a c t S p a t i a l i n t e l l i g e n c e i s t h e a b i l i t y o f a m a c h i n e t o p e r c e i v e , r e a s o n , a n d a c t i n t h r e e d i m e n s i o n s w i t h i n s p a c e a n d t i m e . R e c e n t a d v a n c e m e n t s i n l a r g e s c a l e a u t o r e g r e s s i v e m o d e l s h a v e d e m o n s t r a t e d r e m a r k a b l e c a p a b i l i t i e s a c r o s s v a r i o u s r e a s o n i n g t a s k s . H o w e v e r , t h e s e m o d e l s o f t e n s t r u g g l e w i t h f u n d a m e n t a l a s p e c t s o f s p a t i a l r e a s o n i n g , p a r t i c u l a r l y i n a n s w e r i n g q u e s t i o n s l i k e W h e r e a m I ? a n d W h a t w i l l I s e e ? . W h i l e s o m e a t t e m p t s h a v e b e e n d o n e , e x i s t i n g a p p r o a c h e s t y p i c a l l y t r e a t t h e m a s s e p a r a t e t a s k s , f a i l i n g t o c a p t u r e t h e i r i n t e r c o n n e c t e d n a t u r e . I n t h i s p a p e r , w e p r e s e n t G e n e r a t i v e S p a t i a l T r a n s f o r m e r ( G S T ) , a n o v e l a u t o r e g r e s s i v e f r a m e w o r k t h a t j o i n t l y a d d r e s s e s s p a t i a l l o c a l i z a t i o n a n d v i e w p r e d i c t i o n . O u r m o d e l s i m u l t a n e o u s l y e s t i m a t e s t h e c a m e r a p o s e f r o m a s i n g l e i m a g e a n d p r e d i c t s t h e v i e w f r o m a n e w c a m e r a p o s e , e f f e c t i v e l y b r i d g i n g t h e g a p b e t w e e n s p a t i a l a w a r e n e s s a n d v i s u a l p r e d i c t i o n . T h e p r o p o s e d i n n o v a t i v e c a m e r a t o k e n i z a t i o n m e t h o d e n a b l e s t h e m o d e l t o l e a r n t h e j o i n t d i s t r i b u t i o n o f 2 D p r o j e c t i o n s a n d t h e i r c o r r e s p o n d i n g s p a t i a l p e r s p e c t i v e s i n a n a u t o r e g r e s s i v e m a n n e r . T h i s u n i f i e d t r a i n i n g p a r a d i g m d e m o n s t r a t e s t h a t j o i n t o p t i m i z a t i o n o f p o s e e s t i m a t i o n a n d n o v e l v i e w s y n t h e s i s l e a d s t o i m p r o v e d p e r f o r m a n c e i n b o t h t a s k s , f o r t h e f i r s t t i m e , h i g h l i g h t i n g t h e i n h e r e n t r e l a t i o n s h i p b e t w e e n s p a t i a l a w a r e n e s s a n d v i s u a l p r e d i c t i o n . A b s t r a c t ( t r a n s l a t e d ) 空 间 智 能 是 指 机 器 在 三 维 空 间 和 时 间 中 感 知 、 推 理 和 行 动 的 能 力 。 最 近 ， 在 大 规 模 自 回 归 模 型 方 面 取 得 的 进 展 展 示 了 它 们 在 各 种 推 理 任 务 中 的 卓 越 能 力 。 然 而 ， 这 些 模 型 通 常 难 以 处 理 基 本 的 空 间 推 理 问 题 ， 特 别 是 在 回 答 “ 我 在 哪 里 ？ ” 以 及 “ 我 将 看 到 什 么 ？ ” 等 问 题 时 表 现 不 佳 。 虽 然 已 有 一 些 尝 试 ， 但 现 有 方 法 通 常 将 这 些 问 题 视 为 独 立 的 任 务 来 解 决 ， 未 能 捕 捉 到 它 们 之 间 的 相 互 关 联 性 。 在 这 篇 论 文 中 ， 我 们 介 绍 了 生 成 空 间 变 换 器 （ G S T ） ， 这 是 一 种 新 颖 的 自 回 归 框 架 ， 它 同 时 解 决 了 空 间 定 位 和 视 图 预 测 的 问 题 。 我 们 的 模 型 能 够 从 单 张 图 像 中 估 计 相 机 姿 态 ， 并 且 可 以 预 测 新 相 机 姿 态 下 的 视 图 ， 有 效 地 弥 合 了 空 间 意 识 与 视 觉 预 测 之 间 的 差 距 。 所 提 出 的 创 新 性 摄 像 机 标 记 化 方 法 使 模 型 能 够 以 自 回 归 的 方 式 学 习 二 维 投 影 及 其 相 应 空 间 视 角 的 联 合 分 布 。 这 种 统 一 训 练 范 式 首 次 证 明 了 姿 态 估 计 和 新 颖 视 图 合 成 的 联 合 优 化 可 以 提 高 两 项 任 务 的 表 现 ， 从 而 突 显 了 空 间 意 识 与 视 觉 预 测 之 间 固 有 的 联 系 。 U R L h t t p s : / / a r x i v . o r g / a b s / 2 4 1 0 . 1 8 9 6 2 P D F C o p y h t t p s : / / a r x i v . o r g / p d f / 2 4 1 0 . 1 8 9 6 2 . p d f R e a d A l l C o n t e x t i s K e y : A B e n c h m a r k f o r F o r e c a s t i n g w i t h E s s e n t i a l T e x t u a l I n f o r m a t i o n 2 0 2 4 1 0 2 4 1 7 : 5 6 : 0 8 A n d r e w R o b e r t W i l l i a m s , A r j u n A s h o k , \ \ E t i e n n e M a r c o t t e , V a l e n t i n a Z a n t e d e s c h i , J i t h e n d a r a a S u b r a m a n i a n , R o l a n d R i a c h i , J a m e s R e q u e i m a , A l e x a n d r e L a c o s t e , I r i n a R i s h , N i c o l a s C h a p a d o s , A l e x a n d r e D r o u i n • a r X i v _ A I • • a r X i v _ A I K n o w l e d g e P r e d i c t i o n P o s e L L M T i m e _ S e r i e s A b s t r a c t A b s t r a c t ( t r a n s l a t e d ) U R L P D F A b s t r a c t F o r e c a s t i n g i s a c r i t i c a l t a s k i n d e c i s i o n m a k i n g a c r o s s v a r i o u s d o m a i n s . W h i l e n u m e r i c a l d a t a p r o v i d e s a f o u n d a t i o n , i t o f t e n l a c k s c r u c i a l c o n t e x t n e c e s s a r y f o r a c c u r a t e p r e d i c t i o n s . H u m a n f o r e c a s t e r s f r e q u e n t l y r e l y o n a d d i t i o n a l i n f o r m a t i o n , s u c h a s b a c k g r o u n d k n o w l e d g e o r c o n s t r a i n t s , w h i c h c a n b e e f f i c i e n t l y c o m m u n i c a t e d t h r o u g h n a t u r a l l a n g u a g e . H o w e v e r , t h e a b i l i t y o f e x i s t i n g f o r e c a s t i n g m o d e l s t o e f f e c t i v e l y i n t e g r a t e t h i s t e x t u a l i n f o r m a t i o n r e m a i n s a n o p e n q u e s t i o n . T o a d d r e s s t h i s , w e i n t r o d u c e C o n t e x t i s K e y ( C i K ) , a t i m e s e r i e s f o r e c a s t i n g b e n c h m a r k t h a t p a i r s n u m e r i c a l d a t a w i t h d i v e r s e t y p e s o f c a r e f u l l y c r a f t e d t e x t u a l c o n t e x t , r e q u i r i n g m o d e l s t o i n t e g r a t e b o t h m o d a l i t i e s . W e e v a l u a t e a r a n g e o f a p p r o a c h e s , i n c l u d i n g s t a t i s t i c a l m o d e l s , t i m e s e r i e s f o u n d a t i o n m o d e l s , a n d L L M b a s e d f o r e c a s t e r s , a n d p r o p o s e a s i m p l e y e t e f f e c t i v e L L M p r o m p t i n g m e t h o d t h a t o u t p e r f o r m s a l l o t h e r t e s t e d m e t h o d s o n o u r b e n c h m a r k . O u r e x p e r i m e n t s h i g h l i g h t t h e i m p o r t a n c e o f i n c o r p o r a t i n g c o n t e x t u a l i n f o r m a t i o n , d e m o n s t r a t e s u r p r i s i n g p e r f o r m a n c e w h e n u s i n g L L M b a s e d f o r e c a s t i n g m o d e l s , a n d a l s o r e v e a l s o m e o f t h e i r c r i t i c a l s h o r t c o m i n g s . B y p r e s e n t i n g t h i s b e n c h m a r k , w e a i m t o a d v a n c e m u l t i m o d a l f o r e c a s t i n g , p r o m o t i n g m o d e l s t h a t a r e b o t h a c c u r a t e a n d a c c e s s i b l e t o d e c i s i o n m a k e r s w i t h v a r i e d t e c h n i c a l e x p e r t i s e . T h e b e n c h m a r k c a n b e v i s u a l i z e d a t t h i s h t t p s U R L . A b s t r a c t ( t r a n s l a t e d ) 预 测 是 各 个 领 域 决 策 中 的 关 键 任 务 。 虽 然 数 值 数 据 提 供 了 基 础 ， 但 它 常 常 缺 乏 准 确 预 测 所 需 的 必 要 背 景 信 息 。 人 类 预 报 员 通 常 依 赖 额 外 的 信 息 ， 如 背 景 知 识 或 约 束 条 件 ， 这 些 可 以 通 过 自 然 语 言 有 效 传 达 。 然 而 ， 现 有 预 测 模 型 能 否 有 效 地 整 合 这 种 文 本 信 息 仍 然 是 一 个 开 放 问 题 。 为 了 解 决 这 个 问 题 ， 我 们 引 入 了 “ 情 境 关 键 ” （ C i K ） ， 这 是 一 个 时 间 序 列 预 测 基 准 ， 将 数 值 数 据 与 精 心 设 计 的 各 种 类 型 的 文 字 背 景 配 对 ， 要 求 模 型 能 够 融 合 这 两 种 模 式 的 信 息 。 我 们 评 估 了 一 系 列 方 法 ， 包 括 统 计 模 型 、 时 间 序 列 基 础 模 型 和 基 于 大 语 言 模 型 的 预 报 员 ， 并 提 出 了 一 种 简 单 但 有 效 的 L L M 提 示 方 法 ， 在 我 们 的 基 准 测 试 中 超 越 了 所 有 其 他 测 试 的 方 法 。 我 们 的 实 验 强 调 了 整 合 情 境 信 息 的 重 要 性 ， 展 示 了 使 用 基 于 大 语 言 模 型 的 预 测 模 型 时 令 人 惊 讶 的 表 现 ， 同 时 也 揭 示 了 一 些 关 键 缺 点 。 通 过 提 供 这 个 基 准 ， 我 们 旨 在 推 进 多 模 态 预 测 ， 促 进 那 些 既 准 确 又 易 于 不 同 技 术 水 平 决 策 者 使 用 的 模 型 的 发 展 。 该 基 准 可 在 提 供 的 此 h t t p s U R L 进 行 可 视 化 。 U R L h t t p s : / / a r x i v . o r g / a b s / 2 4 1 0 . 1 8 9 5 9 P D F C o p y h t t p s : / / a r x i v . o r g / p d f / 2 4 1 0 . 1 8 9 5 9 . p d f R e a d A l l S t a b l e C o n s i s t e n c y T u n i n g : U n d e r s t a n d i n g a n d I m p r o v i n g C o n s i s t e n c y M o d e l s 2 0 2 4 1 0 2 4 1 7 : 5 5 : 5 2 F u Y u n W a n g , Z h e n g y a n g G e n g , H o n g s h e n g L i • a r X i v _ C V • • a r X i v _ C V P o s e D e n o i s i n g D i f f u s i o n A b s t r a c t A b s t r a c t ( t r a n s l a t e d ) U R L P D F A b s t r a c t D i f f u s i o n m o d e l s a c h i e v e s u p e r i o r g e n e r a t i o n q u a l i t y b u t s u f f e r f r o m s l o w g e n e r a t i o n s p e e d d u e t o t h e i t e r a t i v e n a t u r e o f d e n o i s i n g . I n c o n t r a s t , c o n s i s t e n c y m o d e l s , a n e w g e n e r a t i v e f a m i l y , a c h i e v e c o m p e t i t i v e p e r f o r m a n c e w i t h s i g n i f i c a n t l y f a s t e r s a m p l i n g . T h e s e m o d e l s a r e t r a i n e d e i t h e r t h r o u g h c o n s i s t e n c y d i s t i l l a t i o n , w h i c h l e v e r a g e s p r e t r a i n e d d i f f u s i o n m o d e l s , o r c o n s i s t e n c y t r a i n i n g / t u n i n g d i r e c t l y f r o m r a w d a t a . I n t h i s w o r k , w e p r o p o s e a n o v e l f r a m e w o r k f o r u n d e r s t a n d i n g c o n s i s t e n c y m o d e l s b y m o d e l i n g t h e d e n o i s i n g p r o c e s s o f t h e d i f f u s i o n m o d e l a s a M a r k o v D e c i s i o n P r o c e s s ( M D P ) a n d f r a m i n g c o n s i s t e n c y m o d e l t r a i n i n g a s t h e v a l u e e s t i m a t i o n t h r o u g h T e m p o r a l D i f f e r e n c e ~ ( T D ) L e a r n i n g . M o r e i m p o r t a n t l y , t h i s f r a m e w o r k a l l o w s u s t o a n a l y z e t h e l i m i t a t i o n s o f c u r r e n t c o n s i s t e n c y t r a i n i n g / t u n i n g s t r a t e g i e s . B u i l t u p o n E a s y C o n s i s t e n c y T u n i n g ( E C T ) , w e p r o p o s e S t a b l e C o n s i s t e n c y T u n i n g ( S C T ) , w h i c h i n c o r p o r a t e s v a r i a n c e r e d u c e d l e a r n i n g u s i n g t h e s c o r e i d e n t i t y . S C T l e a d s t o s i g n i f i c a n t p e r f o r m a n c e i m p r o v e m e n t s o n b e n c h m a r k s s u c h a s C I F A R 1 0 a n d I m a g e N e t 6 4 . O n I m a g e N e t 6 4 , S C T a c h i e v e s 1 s t e p F I D 2 . 4 2 a n d 2 s t e p F I D 1 . 5 5 , a n e w S o T A f o r c o n s i s t e n c y m o d e l s . A b s t r a c t ( t r a n s l a t e d ) 扩 散 模 型 能 够 实 现 卓 越 的 生 成 质 量 ， 但 由 于 去 噪 过 程 的 迭 代 性 质 而 产 生 速 度 较 慢 的 问 题 。 相 比 之 下 ， 一 致 性 模 型 作 为 一 种 新 型 生 成 模 型 家 族 ， 在 保 持 竞 争 性 能 的 同 时 实 现 了 显 著 更 快 的 采 样 速 度 。 这 些 模 型 可 以 通 过 一 致 性 蒸 馏 进 行 训 练 ， 利 用 预 训 练 的 扩 散 模 型 ， 或 者 直 接 从 原 始 数 据 中 通 过 一 致 性 训 练 / 调 整 来 实 现 。 在 本 研 究 中 ， 我 们 提 出 了 一 种 理 解 一 致 性 模 型 的 新 框 架 ： 将 扩 散 模 型 中 的 去 噪 过 程 建 模 为 马 尔 可 夫 决 策 过 程 （ M D P ） ， 并 通 过 时 间 差 分 （ T D ） 学 习 进 行 价 值 估 计 来 构 建 一 致 性 模 型 的 训 练 过 程 。 更 为 重 要 的 是 ， 该 框 架 允 许 我 们 分 析 当 前 一 致 性 训 练 / 调 整 策 略 的 局 限 性 。 基 于 简 易 一 致 性 调 优 （ E C T ） ， 我 们 提 出 了 稳 定 一 致 性 调 优 （ S C T ） ， 它 通 过 分 数 恒 等 式 引 入 了 方 差 减 少 的 学 习 方 法 。 S C T 在 C I F A R 1 0 和 I m a g e N e t 6 4 等 基 准 测 试 中 带 来 了 显 著 的 性 能 改 进 。 在 I m a g e N e t 6 4 上 ， S C T 实 现 了 1 步 F I D 2 . 4 2 和 2 步 F I D 1 . 5 5 的 成 绩 ， 成 为 一 致 性 模 型 的 新 S o T A （ 最 新 最 优 技 术 ） 。 U R L h t t p s : / / a r x i v . o r g / a b s / 2 4 1 0 . 1 8 9 5 8 P D F C o p y h t t p s : / / a r x i v . o r g / p d f / 2 4 1 0 . 1 8 9 5 8 . p d f R e a d A l l B r i d g e C o d e r : U n l o c k i n g L L M s P o t e n t i a l t o O v e r c o m e L a n g u a g e G a p s i n L o w R e s o u r c e C o d e 2 0 2 4 1 0 2 4 1 7 : 5 5 : 0 3 J i p e n g Z h a n g , J i a n s h u Z h a n g , Y u a n z h e L i , R e n j i e P i , R u i P a n , R u n t a o L i u , Z i q i a n g Z h e n g , T o n g Z h a n g • a r X i v _ C L • • a r X i v _ C L F a c e K n o w l e d g e L a n g u a g e _ M o d e l L L M A b s t r a c t A b s t r a c t ( t r a n s l a t e d ) U R L P D F A b s t r a c t L a r g e L a n g u a g e M o d e l s ( L L M s ) d e m o n s t r a t e s t r o n g p r o f i c i e n c y i n g e n e r a t i n g c o d e f o r h i g h r e s o u r c e p r o g r a m m i n g l a n g u a g e s ( H R P L s ) l i k e P y t h o n b u t s t r u g g l e s i g n i f i c a n t l y w i t h l o w r e s o u r c e p r o g r a m m i n g l a n g u a g e s ( L R P L s ) s u c h a s R a c k e t o r D . T h i s p e r f o r m a n c e g a p d e e p e n s t h e d i g i t a l d i v i d e , p r e v e n t i n g d e v e l o p e r s u s i n g L R P L s f r o m b e n e f i t i n g e q u a l l y f r o m L L M a d v a n c e m e n t s a n d r e i n f o r c i n g d i s p a r i t i e s i n i n n o v a t i o n w i t h i n u n d e r r e p r e s e n t e d p r o g r a m m i n g c o m m u n i t i e s . W h i l e g e n e r a t i n g a d d i t i o n a l t r a i n i n g d a t a f o r L R P L s i s p r o m i s i n g , i t f a c e s t w o k e y c h a l l e n g e s : m a n u a l a n n o t a t i o n i s l a b o r i n t e n s i v e a n d c o s t l y , a n d L L M g e n e r a t e d L R P L c o d e i s o f t e n o f s u b p a r q u a l i t y . T h e u n d e r l y i n g c a u s e o f t h i s i s s u e i s t h e g a p b e t w e e n n a t u r a l l a n g u a g e t o p r o g r a m m i n g l a n g u a g e g a p ( N L P L G a p ) , w h i c h i s e s p e c i a l l y p r o n o u n c e d i n L R P L s d u e t o l i m i t e d a l i g n e d d a t a . I n t h i s w o r k , w e i n t r o d u c e a n o v e l a p p r o a c h c a l l e d B r i d g e C o d e r , w h i c h l e v e r a g e s L L M s i n t r i n s i c c a p a b i l i t i e s t o e n h a n c e t h e p e r f o r m a n c e o n L R P L s . O u r m e t h o d c o n s i s t s o f t w o k e y s t a g e s . B r i d g e G e n e r a t i o n , w h e r e w e c r e a t e h i g h q u a l i t y d a t a s e t b y u t i l i z i n g L L M s g e n e r a l k n o w l e d g e u n d e r s t a n d i n g , p r o f i c i e n c y i n H R P L s , a n d i n c o n t e x t l e a r n i n g a b i l i t i e s . T h e n , w e a p p l y t h e B r i d g e d A l i g n m e n t , w h i c h p r o g r e s s i v e l y i m p r o v e s t h e a l i g n m e n t b e t w e e n N L i n s t r u c t i o n s a n d L R P L s . E x p e r i m e n t a l r e s u l t s a c r o s s m u l t i p l e L R P L s s h o w t h a t B r i d g e C o d e r s i g n i f i c a n t l y e n h a n c e s m o d e l p e r f o r m a n c e , d e m o n s t r a t i n g t h e e f f e c t i v e n e s s a n d g e n e r a l i z a t i o n o f o u r a p p r o a c h . F u r t h e r m o r e , w e o f f e r a d e t a i l e d a n a l y s i s o f t h e k e y c o m p o n e n t s o f o u r m e t h o d , p r o v i d i n g v a l u a b l e i n s i g h t s f o r f u t u r e w o r k a i m e d a t a d d r e s s i n g t h e c h a l l e n g e s a s s o c i a t e d w i t h L R P L s . A b s t r a c t ( t r a n s l a t e d ) 大 型 语 言 模 型 （ L L M s ） 在 为 如 P y t h o n 这 样 的 高 资 源 编 程 语 言 （ H R P L s ） 生 成 代 码 方 面 表 现 出 强 大 的 能 力 ， 但 在 处 理 如 R a c k e t 或 D 这 类 低 资 源 编 程 语 言 （ L R P L s ） 时 则 面 临 显 著 困 难 。 这 种 性 能 差 距 加 深 了 数 字 鸿 沟 ， 阻 止 使 用 L R P L 的 开 发 者 平 等 地 受 益 于 L L M 的 进 步 ， 并 加 剧 了 在 代 表 性 不 足 的 编 程 社 区 中 的 创 新 差 异 。 尽 管 为 L R P L 生 成 更 多 的 训 练 数 据 很 有 前 景 ， 但 它 面 临 着 两 个 主 要 挑 战 ： 手 动 标 注 既 费 力 又 昂 贵 ， 而 L L M s 生 成 的 L R P L 代 码 通 常 质 量 较 差 。 这 个 问 题 的 根 本 原 因 在 于 自 然 语 言 到 编 程 语 言 之 间 的 转 换 差 距 （ N L P L G a p ） ， 这 一 差 距 在 L R P L 中 尤 为 明 显 ， 因 为 对 齐 的 数 据 有 限 。 在 这 项 工 作 中 ， 我 们 引 入 了 一 种 新 的 方 法 称 为 B r i d g e C o d e r ， 该 方 法 利 用 了 L L M s 内 在 的 能 力 来 提 高 其 在 处 理 L R P L 上 的 性 能 。 我 们 的 方 法 包 含 两 个 关 键 阶 段 ： 桥 接 生 成 和 桥 接 对 齐 。 在 桥 接 生 成 阶 段 ， 我 们 通 过 使 用 L L M s 的 通 用 知 识 理 解 、 H R P L s 的 专 业 能 力 以 及 上 下 文 学 习 能 力 来 创 建 高 质 量 的 数 据 集 。 然 后 ， 在 桥 接 对 齐 阶 段 ， 我 们 逐 步 改 善 自 然 语 言 指 令 与 L R P L 之 间 的 对 齐 。 实 验 结 果 表 明 ， B r i d g e C o d e r 显 著 提 高 了 模 型 性 能 ， 展 示 了 我 们 的 方 法 的 有 效 性 和 泛 化 能 力 。 此 外 ， 我 们 还 提 供 了 对 我 们 方 法 关 键 组 件 的 详 细 分 析 ， 为 未 来 解 决 与 L R P L 相 关 挑 战 的 工 作 提 供 了 宝 贵 见 解 。 U R L h t t p s : / / a r x i v . o r g / a b s / 2 4 1 0 . 1 8 9 5 7 P D F C o p y h t t p s : / / a r x i v . o r g / p d f / 2 4 1 0 . 1 8 9 5 7 . p d f R e a d A l l L a r g e S p a t i a l M o d e l : E n d t o e n d U n p o s e d I m a g e s t o S e m a n t i c 3 D 2 0 2 4 1 0 2 4 1 7 : 5 4 : 4 2 Z h i w e n F a n , J i a n Z h a n g , W e n y a n C o n g , P e i h a o W a n g , R e n j i e L i , K a i r u n W e n , S h i j i e Z h o u , A c h u t a K a d a m b i , Z h a n g y a n g W a n g , D a n f e i X u , B o r i s I v a n o v i c , M a r c o P a v o n e , Y u e W a n g • a r X i v _ C V • • a r X i v _ C V S e g m e n t a t i o n S p a r s e T r a n s f o r m e r P o s e 3 D R e c o n s t r u c t i o n A b s t r a c t A b s t r a c t ( t r a n s l a t e d ) U R L P D F A b s t r a c t R e c o n s t r u c t i n g a n d u n d e r s t a n d i n g 3 D s t r u c t u r e s f r o m a l i m i t e d n u m b e r o f i m a g e s i s a w e l l e s t a b l i s h e d p r o b l e m i n c o m p u t e r v i s i o n . T r a d i t i o n a l m e t h o d s u s u a l l y b r e a k t h i s t a s k i n t o m u l t i p l e s u b t a s k s , e a c h r e q u i r i n g c o m p l e x t r a n s f o r m a t i o n s b e t w e e n d i f f e r e n t d a t a r e p r e s e n t a t i o n s . F o r i n s t a n c e , d e n s e r e c o n s t r u c t i o n t h r o u g h S t r u c t u r e f r o m M o t i o n ( S f M ) i n v o l v e s c o n v e r t i n g i m a g e s i n t o k e y p o i n t s , o p t i m i z i n g c a m e r a p a r a m e t e r s , a n d e s t i m a t i n g s t r u c t u r e s . A f t e r w a r d , a c c u r a t e s p a r s e r e c o n s t r u c t i o n s a r e r e q u i r e d f o r f u r t h e r d e n s e m o d e l i n g , w h i c h i s s u b s e q u e n t l y f e d i n t o t a s k s p e c i f i c n e u r a l n e t w o r k s . T h i s m u l t i s t e p p r o c e s s r e s u l t s i n c o n s i d e r a b l e p r o c e s s i n g t i m e a n d i n c r e a s e d e n g i n e e r i n g c o m p l e x i t y . I n t h i s w o r k , w e p r e s e n t t h e L a r g e S p a t i a l M o d e l ( L S M ) , w h i c h p r o c e s s e s u n p o s e d R G B i m a g e s d i r e c t l y i n t o s e m a n t i c r a d i a n c e f i e l d s . L S M s i m u l t a n e o u s l y e s t i m a t e s g e o m e t r y , a p p e a r a n c e , a n d s e m a n t i c s i n a s i n g l e f e e d f o r w a r d o p e r a t i o n , a n d i t c a n g e n e r a t e v e r s a t i l e l a b e l m a p s b y i n t e r a c t i n g w i t h l a n g u a g e a t n o v e l v i e w p o i n t s . L e v e r a g i n g a T r a n s f o r m e r b a s e d a r c h i t e c t u r e , L S M i n t e g r a t e s g l o b a l g e o m e t r y t h r o u g h p i x e l a l i g n e d p o i n t m a p s . T o e n h a n c e s p a t i a l a t t r i b u t e r e g r e s s i o n , w e i n c o r p o r a t e l o c a l c o n t e x t a g g r e g a t i o n w i t h m u l t i s c a l e f u s i o n , i m p r o v i n g t h e a c c u r a c y o f f i n e l o c a l d e t a i l s . T o t a c k l e t h e s c a r c i t y o f l a b e l e d 3 D s e m a n t i c d a t a a n d e n a b l e n a t u r a l l a n g u a g e d r i v e n s c e n e m a n i p u l a t i o n , w e i n c o r p o r a t e a p r e t r a i n e d 2 D l a n g u a g e b a s e d s e g m e n t a t i o n m o d e l i n t o a 3 D c o n s i s t e n t s e m a n t i c f e a t u r e f i e l d . A n e f f i c i e n t d e c o d e r t h e n p a r a m e t e r i z e s a s e t o f s e m a n t i c a n i s o t r o p i c G a u s s i a n s , f a c i l i t a t i n g s u p e r v i s e d e n d t o e n d l e a r n i n g . E x t e n s i v e e x p e r i m e n t s a c r o s s v a r i o u s t a s k s s h o w t h a t L S M u n i f i e s m u l t i p l e 3 D v i s i o n t a s k s d i r e c t l y f r o m u n p o s e d i m a g e s , a c h i e v i n g r e a l t i m e s e m a n t i c 3 D r e c o n s t r u c t i o n f o r t h e f i r s t t i m e . A b s t r a c t ( t r a n s l a t e d ) 从 有 限 数 量 的 图 像 中 重 建 和 理 解 三 维 结 构 是 计 算 机 视 觉 中 的 一 个 经 典 问 题 。 传 统 方 法 通 常 将 此 任 务 分 解 为 多 个 子 任 务 ， 每 个 子 任 务 都 需 要 在 不 同 的 数 据 表 示 之 间 进 行 复 杂 的 转 换 。 例 如 ， 通 过 运 动 恢 复 结 构 （ S f M ） 实 现 密 集 重 建 涉 及 将 图 像 转 化 为 关 键 点 、 优 化 相 机 参 数 以 及 估 计 结 构 。 随 后 需 要 准 确 的 稀 疏 重 建 来 进 一 步 进 行 稠 密 建 模 ， 这 之 后 再 输 入 特 定 任 务 的 神 经 网 络 中 。 这 个 多 步 骤 过 程 导 致 了 显 著 的 处 理 时 间 和 增 加 的 工 程 复 杂 性 。 在 这 项 工 作 中 ， 我 们 提 出 了 大 空 间 模 型 （ L S M ） ， 它 直 接 将 未 定 位 的 R G B 图 像 处 理 成 语 义 辐 射 场 。 L S M 在 同 一 前 向 操 作 中 同 时 估 计 几 何 、 外 观 和 语 义 ， 并 且 可 以 通 过 与 语 言 在 新 颖 视 角 下 的 互 动 生 成 多 样 的 标 签 图 。 通 过 采 用 基 于 T r a n s f o r m e r 的 架 构 ， L S M 利 用 像 素 对 齐 点 图 整 合 全 局 几 何 结 构 。 为 了 增 强 空 间 属 性 回 归 ， 我 们 融 入 了 局 部 上 下 文 聚 合 和 多 尺 度 融 合 ， 提 高 了 细 粒 度 本 地 细 节 的 准 确 性 。 为 了 解 决 标 注 3 D 语 义 数 据 稀 缺 的 问 题 ， 并 使 自 然 语 言 驱 动 的 场 景 操 作 成 为 可 能 ， 我 们 将 预 训 练 的 2 D 基 于 语 言 的 分 割 模 型 整 合 进 一 个 与 3 D 一 致 的 语 义 特 征 场 中 。 然 后 高 效 解 码 器 参 数 化 一 组 语 义 各 向 异 性 高 斯 分 布 ， 这 有 助 于 监 督 下 的 端 到 端 学 习 。 跨 多 个 任 务 的 广 泛 实 验 表 明 ， L S M 直 接 从 未 定 位 图 像 统 一 了 多 种 3 D 视 觉 任 务 ， 首 次 实 现 了 实 时 语 义 3 D 重 建 。 U R L h t t p s : / / a r x i v . o r g / a b s / 2 4 1 0 . 1 8 9 5 6 P D F C o p y h t t p s : / / a r x i v . o r g / p d f / 2 4 1 0 . 1 8 9 5 6 . p d f R e a d A l l B i o M i s t r a l N L U : T o w a r d s M o r e G e n e r a l i z a b l e M e d i c a l L a n g u a g e U n d e r s t a n d i n g t h r o u g h I n s t r u c t i o n T u n i n g 2 0 2 4 1 0 2 4 1 7 : 5 3 : 5 3 Y u j u a n V e l v i n F u , G i r i d h a r K a u s h i k R a m a c h a n d r a n , N a m u P a r k , K e v i n L y b a r g e r , F e i X i a , O z l e m U z u n e r , M e l i h a Y e t i s g e n • a r X i v _ C L • • a r X i v _ C L Q A K n o w l e d g e L a n g u a g e _ M o d e l T r a n s f o r m e r P o s e A c t i o n Z e r o S h o t M e d i c a l C h a t L L M A b s t r a c t A b s t r a c t ( t r a n s l a t e d ) U R L P D F A b s t r a c t L a r g e l a n g u a g e m o d e l s ( L L M s ) s u c h a s C h a t G P T a r e f i n e t u n e d o n l a r g e a n d d i v e r s e i n s t r u c t i o n f o l l o w i n g c o r p o r a , a n d c a n g e n e r a l i z e t o n e w t a s k s . H o w e v e r , t h o s e i n s t r u c t i o n t u n e d L L M s o f t e n p e r f o r m p o o r l y i n s p e c i a l i z e d m e d i c a l n a t u r a l l a n g u a g e u n d e r s t a n d i n g ( N L U ) t a s k s t h a t r e q u i r e d o m a i n k n o w l e d g e , g r a n u l a r t e x t c o m p r e h e n s i o n , a n d s t r u c t u r e d d a t a e x t r a c t i o n . T o b r i d g e t h e g a p , w e : ( 1 ) p r o p o s e a u n i f i e d p r o m p t i n g f o r m a t f o r 7 i m p o r t a n t N L U t a s k s , % t h r o u g h s p a n e x t r a c t i o n a n d m u l t i c h o i c e q u e s t i o n a n s w e r i n g ( Q A ) , ( 2 ) c u r a t e a n i n s t r u c t i o n t u n i n g d a t a s e t , M N L U I n s t r u c t , u t i l i z i n g d i v e r s e e x i s t i n g o p e n s o u r c e m e d i c a l N L U c o r p o r a , a n d ( 3 ) d e v e l o p B i o M i s t r a l N L U , a g e n e r a l i z a b l e m e d i c a l N L U m o d e l , t h r o u g h f i n e t u n i n g B i o M i s t r a l o n M N L U I n s t r u c t . W e e v a l u a t e B i o M i s t r a l N L U i n a z e r o s h o t s e t t i n g , a c r o s s 6 i m p o r t a n t N L U t a s k s , f r o m t w o w i d e l y a d o p t e d m e d i c a l N L U b e n c h m a r k s : B i o m e d i c a l L a n g u a g e U n d e r s t a n d i n g E v a l u a t i o n ( B L U E ) a n d B i o m e d i c a l L a n g u a g e U n d e r s t a n d i n g a n d R e a s o n i n g B e n c h m a r k ( B L U R B ) . O u r e x p e r i m e n t s s h o w t h a t o u r B i o M i s t r a l N L U o u t p e r f o r m s t h e o r i g i n a l B i o M i s t r a l , a s w e l l a s t h e p r o p r i e t a r y L L M s C h a t G P T a n d G P T 4 . O u r d a t a s e t a g n o s t i c p r o m p t i n g s t r a t e g y a n d i n s t r u c t i o n t u n i n g s t e p o v e r d i v e r s e N L U t a s k s e n h a n c e L L M s g e n e r a l i z a b i l i t y a c r o s s d i v e r s e m e d i c a l N L U t a s k s . O u r a b l a t i o n e x p e r i m e n t s s h o w t h a t i n s t r u c t i o n t u n i n g o n a w i d e r v a r i e t y o f t a s k s , e v e n w h e n t h e t o t a l n u m b e r o f t r a i n i n g i n s t a n c e s r e m a i n s c o n s t a n t , e n h a n c e s d o w n s t r e a m z e r o s h o t g e n e r a l i z a t i o n . A b s t r a c t ( t r a n s l a t e d ) 大 型 语 言 模 型 （ L L M s ） ， 如 C h a t G P T ， 是 在 大 量 多 样 化 的 指 令 跟 随 语 料 库 上 进 行 微 调 的 ， 并 能 泛 化 到 新 任 务 中 。 然 而 ， 这 些 经 过 指 令 调 整 的 L L M s 在 需 要 专 业 知 识 、 细 致 文 本 理 解 和 结 构 化 数 据 提 取 的 专 业 医 疗 自 然 语 言 理 解 （ N L U ） 任 务 中 的 表 现 通 常 不 佳 。 为 了 弥 补 这 一 差 距 ， 我 们 ： ( 1 ) 提 出 了 一 种 适 用 于 7 个 重 要 N L U 任 务 的 统 一 提 示 格 式 ， 通 过 跨 度 抽 取 和 多 选 题 问 答 ( Q A ) 实 现 ； ( 2 ) 利 用 多 样 化 的 现 有 开 源 医 疗 N L U 语 料 库 来 整 理 一 个 指 令 微 调 数 据 集 M N L U I n s t r u c t ； ( 3 ) 通 过 对 B i o M i s t r a l 进 行 微 调 开 发 了 一 种 可 泛 化 的 医 疗 N L U 模 型 — — B i o M i s t r a l N L U 。 我 们 在 零 样 本 设 置 下 ， 通 过 两 个 广 泛 采 用 的 医 疗 N L U 基 准 测 试 — — 生 物 医 学 语 言 理 解 评 估 （ B L U E ） 和 生 物 医 学 语 言 理 解 和 推 理 基 准 （ B L U R B ） ， 对 B i o M i s t r a l N L U 进 行 了 六 项 重 要 N L U 任 务 的 评 估 。 我 们 的 实 验 表 明 ， 我 们 的 B i o M i s t r a l N L U 优 于 原 始 B i o M i s t r a l 以 及 专 有 的 L L M s — — C h a t G P T 和 G P T 4 。 我 们 这 种 与 数 据 集 无 关 的 提 示 策 略 及 跨 多 样 化 N L U 任 务 进 行 指 令 微 调 增 强 了 L L M s 在 多 样 化 医 疗 N L U 任 务 中 的 泛 化 能 力 。 我 们 的 消 融 实 验 显 示 ， 即 使 总 训 练 实 例 数 保 持 不 变 ， 在 更 广 泛 的 多 种 任 务 上 进 行 指 令 微 调 也 会 增 强 下 游 零 样 本 泛 化 效 果 。 U R L h t t p s : / / a r x i v . o r g / a b s / 2 4 1 0 . 1 8 9 5 5 P D F C o p y h t t p s : / / a r x i v . o r g / p d f / 2 4 1 0 . 1 8 9 5 5 . p d f R e a d A l l D y n a m i c V o c a b u l a r y P r u n i n g i n E a r l y E x i t L L M s 2 0 2 4 1 0 2 4 1 7 : 5 2 : 3 1 J o r t V i n c e n t i , K a r i m A b d e l S a d e k , J o a n V e l j a , M a t t e o N u l l i , M e t o d J a z b e c • a r X i v _ A I • • a r X i v _ A I I n f e r e n c e P r e d i c t i o n L a n g u a g e _ M o d e l P o s e L L M A b s t r a c t A b s t r a c t ( t r a n s l a t e d ) U R L P D F A b s t r a c t I n c r e a s i n g t h e s i z e o f l a r g e l a n g u a g e m o d e l s ( L L M s ) h a s b e e n s h o w n t o l e a d t o b e t t e r p e r f o r m a n c e . H o w e v e r , t h i s c o m e s a t t h e c o s t o f s l o w e r a n d m o r e e x p e n s i v e i n f e r e n c e . E a r l y e x i t i n g i s a p r o m i s i n g a p p r o a c h f o r i m p r o v i n g t h e e f f i c i e n c y o f L L M i n f e r e n c e b y e n a b l i n g n e x t t o k e n p r e d i c t i o n a t i n t e r m e d i a t e l a y e r s . Y e t , t h e l a r g e v o c a b u l a r y s i z e i n m o d e r n L L M s m a k e s t h e c o n f i d e n c e e s t i m a t i o n r e q u i r e d f o r e x i t d e c i s i o n s c o m p u t a t i o n a l l y e x p e n s i v e , d i m i n i s h i n g t h e e f f i c i e n c y g a i n s . T o a d d r e s s t h i s , w e p r o p o s e d y n a m i c a l l y p r u n i n g t h e v o c a b u l a r y a t t e s t t i m e f o r e a c h t o k e n . S p e c i f i c a l l y , t h e v o c a b u l a r y i s p r u n e d a t o n e o f t h e i n i t i a l l a y e r s , a n d t h e s m a l l e r v o c a b u l a r y i s t h e n u s e d t h r o u g h o u t t h e r e s t o f t h e f o r w a r d p a s s . O u r e x p e r i m e n t s d e m o n s t r a t e t h a t s u c h p o s t h o c d y n a m i c v o c a b u l a r y p r u n i n g i m p r o v e s t h e e f f i c i e n c y o f c o n f i d e n c e e s t i m a t i o n i n e a r l y e x i t L L M s w h i l e m a i n t a i n i n g c o m p e t i t i v e p e r f o r m a n c e . A b s t r a c t ( t r a n s l a t e d ) 增 加 大 型 语 言 模 型 （ L L M s ） 的 规 模 已 被 证 明 可 以 提 高 性 能 。 然 而 ， 这 会 导 致 推 理 速 度 变 慢 且 成 本 更 高 。 早 期 退 出 是 一 种 通 过 在 中 间 层 启 用 下 一 标 记 预 测 来 改 善 L L M 推 理 效 率 的 方 法 。 然 而 ， 现 代 L L M s 中 庞 大 的 词 汇 表 使 得 所 需 的 置 信 度 估 计 计 算 成 本 高 昂 ， 从 而 减 少 了 效 率 提 升 。 为 了 解 决 这 一 问 题 ， 我 们 提 出 了 一 种 在 测 试 时 对 每 个 标 记 动 态 剪 枝 词 表 的 方 法 。 具 体 来 说 ， 在 初 始 层 之 一 进 行 词 汇 剪 枝 ， 并 在 整 个 后 续 前 向 传 递 过 程 中 使 用 较 小 的 词 汇 表 。 实 验 表 明 ， 这 种 事 后 动 态 词 表 剪 枝 可 以 提 高 早 期 退 出 L L M s 中 置 信 度 估 计 的 效 率 ， 同 时 保 持 竞 争 力 的 性 能 。 U R L h t t p s : / / a r x i v . o r g / a b s / 2 4 1 0 . 1 8 9 5 2 P D F C o p y h t t p s : / / a r x i v . o r g / p d f / 2 4 1 0 . 1 8 9 5 2 . p d f R e a d A l l 1 6 3 3 4 T a g s 3 D A c t i o n A c t i o n _ L o c a l i z a t i o n A c t i o n _ R e c o g n i t i o n A c t i v i t y A d v e r s a r i a l A g e n t A t t e n t i o n A u t o n o m o u s B e r t B o u n d a r y _ D e t e c t i o n C a p t i o n C h a t C l a s s i f i c a t i o n C N N C o m p r e s s i v e _ S e n s i n g C o n t o u r C o n t r a s t i v e _ L e a r n i n g D e e p _ L e a r n i n g D e n o i s i n g D e t e c t i o n D i a l o g D i f f u s i o n D r o n e D y n a m i c _ M e m o r y _ N e t w o r k E d g e _ D e t e c t i o n E m b e d d i n g E m b o d i e d E m o t i o n E n h a n c e m e n t F a c e F a c e _ D e t e c t i o n F a c e _ R e c o g n i t i o n F a c i a l _ L a n d m a r k F e w S h o t G a i t _ R e c o g n i t i o n G A N G a z e _ E s t i m a t i o n G e s t u r e G r a d i e n t _ D e s c e n t H a n d w r i t i n g H u m a n _ P a r s i n g I m a g e _ C a p t i o n I m a g e _ C l a s s i f i c a t i o n I m a g e _ C o m p r e s s i o n I m a g e _ E n h a n c e m e n t I m a g e _ G e n e r a t i o n I m a g e _ M a t t i n g I m a g e _ R e t r i e v a l I n f e r e n c e I n p a i n t i n g I n t e l l i g e n t _ C h i p K n o w l e d g e K n o w l e d g e _ G r a p h L a n g u a g e _ M o d e l L L M M a t c h i n g M e d i c a l M e m o r y _ N e t w o r k s M u l t i _ M o d a l M u l t i _ T a s k N A S N M T O b j e c t _ D e t e c t i o n O b j e c t _ T r a c k i n g O C R O n t o l o g y O p t i c a l _ C h a r a c t e r O p t i c a l _ F l o w O p t i m i z a t i o n P e r s o n _ R e i d e n t i f i c a t i o n P o i n t _ C l o u d P o r t r a i t _ G e n e r a t i o n P o s e P o s e _ E s t i m a t i o n P r e d i c t i o n Q A Q u a n t i t a t i v e Q u a n t i t a t i v e _ F i n a n c e Q u a n t i z a t i o n R e i d e n t i f i c a t i o n R e c o g n i t i o n R e c o m m e n d a t i o n R e c o n s t r u c t i o n R e g u l a r i z a t i o n R e i n f o r c e m e n t _ L e a r n i n g R e l a t i o n R e l a t i o n _ E x t r a c t i o n R e p r e s e n a t i o n R e p r e s e n a t i o n _ L e a r n i n g R e s t o r a t i o n R e v i e w R N N R o b o t S a l i e n t S c e n e _ C l a s s i f i c a t i o n S c e n e _ G e n e r a t i o n S c e n e _ P a r s i n g S c e n e _ T e x t S e g m e n t a t i o n S e l f S u p e r v i s e d S e m a n t i c _ I n s t a n c e _ S e g m e n t a t i o n S e m a n t i c _ S e g m e n t a t i o n S e m i _ G l o b a l S e m i _ S u p e r v i s e d S e n c e _ g r a p h S e n t i m e n t S e n t i m e n t _ C l a s s i f i c a t i o n S k e t c h S L A M S p a r s e S p e e c h S p e e c h _ R e c o g n i t i o n S t y l e _ T r a n s f e r S u m m a r i z a t i o n S u p e r _ R e s o l u t i o n S u r v e i l l a n c e S u r v e y T e x t _ C l a s s i f i c a t i o n T e x t _ G e n e r a t i o n T i m e _ S e r i e s T r a c k i n g T r a n s f e r _ L e a r n i n g T r a n s f o r m e r U n s u p e r v i s e d V i d e o _ C a p t i o n V i d e o _ C l a s s i f i c a t i o n V i d e o _ I n d e x i n g V i d e o _ P r e d i c t i o n V i d e o _ R e t r i e v a l V i s u a l _ R e l a t i o n V Q A W e a k l y _ S u p e r v i s e d Z e r o S h o t R e c e n t P a p e r s C o n t a c t m e a t : 京 I C P 备 1 8 0 3 6 3 0 0 号 1
站点概括关于www.paperreading.club说明：
www.paperreading.club由网友主动性提交被址汇收录整理收录的，址汇收录仅提供www.paperreading.club的基础信息并免费向大众网友展示，www.paperreading.club的是IP地址：140.143.194.41 [中国北京海淀 腾讯云]，www.paperreading.club的百度权重为0、百度手机权重为1、百度收录为0条、360收录为0条、搜狗收录为0条、谷歌收录为0条、百度来访流量大约在-之间、百度手机端来访流量大约在11之间、www.paperreading.club的备案号是登录可见、备案人叫登录可见、被百度收录的关键词有43个、手机端关键词有6个、该站点迄今为止已经创建6年4个月。
内容声明：1、本站收录的内容来源于大数据收集，版权归原网站所有！
2、本站收录的内容若侵害到您的利益，请联系我们进行删除处理！
3、本站不接受违规信息，如您发现违规内容，请联系我们进行清除处理！
4、本文地址：https://www.y333.cn/links/c36522385fe8d3552fa5.html，复制请保留版权链接！
制作铜牌|制作徽章|制作奖牌|水晶制作|证书制作-北京金冠辉煌工艺品有限公司
北京金冠辉煌工艺品有限公司是专业从事证书制作,制作证书,铜牌制作,制作铜牌,徽章制作,制作徽章,水晶制作,制作奖牌的公司,客户覆盖北京市及周边省份,欢迎您的光临!
福建毅视达（esda）信息科技有限公司
该站暂未设置description...
沧州中恒环保科技有限公司
程力专用汽车股份有限公司销售十九分公司
专利服务,商标服务,版权服务,知产运营,项目申报,财务服务-江西卓尔咨询集团
专利服务,商标服务,版权服务,知产运营,项目申报,财务服务
梁溪打井公司主要项目梁溪打井、梁溪机械冷却用水、梁溪打深水井等等服务，服务理念：10多年经验、客户至上来为各位提供严密的打井服务。
Shenzhen Topsky Energy CO., Ltd. _Topsky Solar_solar panel
ShenzhenTopskyEnergyCO.,Ltd._TopskySolar_solarpanel-ShenzhenTopskyEnergyCO.,Ltdwasestablishedin1998andhasbeenengagedinthephotovoltaicindustryformorethantenyears.
让价值共享记录我们发展脚步也让您获取知识云优化让你的网站在互联网上腾飞云优化是一种通过互联网技术来提升网站在搜索引擎中的排名和曝光度的方法随着互联网的快速发展网站差不多成为企业和个人展示自己的重要渠道然而要使自己的网站在众多网页中脱颖而出就需要进行优化优化是一项综合性的工作需要对网站的内容结构代码等多个方面进行调整而云...
2024-09-23 09:43:51
为了让您的网站被搜索引擎收录，您需要将您的网站提交给相关的搜索引擎，以下是常用搜索引擎的网站收录提交入口，百度百度站长平台谷歌GoogleSearchConsole搜狗搜狗站长平台360搜索360站长平台必应BingWebmasterTools还有一些其他方法可以向搜索引擎提交您的网站，包括，使用robots.txt文件，在您的网站根...。
技术教程 2024-09-25 11:36:49
SEO优化，即搜索引擎优化，旨在提升网站在搜索引擎中的排名和可见度，从而吸引更多用户访问，以下是一些常见的SEO优化方法，关键词选择关键词是用户在搜索引擎中输入的词组或短语，选择合适且与网站相关的关键词至关重要，正确选择关键词可以帮助网站在目标受众进行搜索时出现在搜索结果中，网站结构优化清晰的网站结构，制定明确的层次结构，使网站内容组...。
技术教程 2024-09-27 18:18:08
一、开店准备准备一个未注册过微信、未曾绑定过微信公众号的邮箱地址，确保您拥有一个微信号并已绑定银行卡，准备您本人的身份证号码和手机号码，提交公司的，企业工商营业执照，，或个体工商户的，个体工商户营业执照，若企业已实施三证合一，提供三证合一的营业执照即可，提供，企业开户许可证，支付300元人民币，目前仅支持微信支付，二、开店步骤...。
技术教程 2024-09-27 19:02:38
明星大侦探，第四季第一期中，林更新携手一只神秘的盒子里的猫，踏上了一场破案之旅，在节目中，林更新化身与猫有着紧密联系的角色，他要通过各种线索和证据，找出这只猫的下落，从而揭开整个案件的真相，节目中的猫并不是真实的动物，而是作为一个象征或者隐喻，代表着某种重要的信息或者线索，林更新和其他嘉宾需要通过智慧和推理，才能找到这只猫，进而破解...。
影视资讯 2024-10-12 19:41:28
由芒果TV自制、李甜团队打造的家庭关系成长类创新节目，爱的修学旅行，正在热播中，节目立意于让家庭归位，打造夫妻爱人成长修学真人秀，王彦霖艾佳妮夫妻综艺首秀，默契度满分王彦霖和艾佳妮作为明星夫妻档首次参加综艺节目，在，爱的修学旅行，中的表现默契十足，秀恩爱指数爆表，他们的互动让观众羡慕不已，成为家庭真人秀中的一对新宠，自行车夫妇，细节中...。
影视资讯 2024-10-12 20:36:31
毛雪汪，谈论宠物毛发、制作美食的第三期HTML格式html节目内容曾毅和玲花讨论如何处理家中的宠物毛发曾毅和玲花一起制作美食关于，毛雪汪，毛雪汪，是一档以原生朋友关系为切入点的场景化真人秀综艺节目，由毛不易和李雪琴担任常驻嘉宾，相关信息张绍刚劝毛不易放下手机第几期，第38期毛雪汪综艺杜海涛哪一期，第34期...。
影视资讯 2024-10-12 20:48:54
我想和你唱，收官，星素融合，情感共鸣引爆全网引言，我想和你唱，第二季完美收官，以其独特的星素融合模式和情感共鸣，在同类节目中脱颖而出，成为电视收视、网络播放、网络舆情和口碑评分四项指标均跻身前十的综艺节目，本文将深入剖析，我想和你唱，的成功秘诀，探究其在互动模式、故事呈现和情感共振等方面的创新突破，双向互动的创新模式与传统星素互动节...。
影视资讯 2024-10-12 21:02:52
2014年，一档名为，中国好歌曲，的综艺节目横空出世，凭借其强大的制作团队、原创歌曲、导师阵容和歌手舞台表演，迅速成为国内音乐选秀节目的标杆，一、原创歌曲的魅力原创歌曲是，中国好歌曲，最显著的特色，节目汇集了一批优秀的音乐人，他们创作的歌曲风格多样，从流行、摇滚到民谣、古典，应有尽有，这些歌曲不仅展现了歌手的才华，也为中国音乐市场注入...。
影视资讯 2024-10-12 23:50:00
快乐大本营代班，承认与李柄熹恋爱张雨绮在，快乐大本营，中只是代班，因为谢娜休产假，节目组找了她，事先就谈好了只去几期，不是常驻，在参加完，快乐大本营，后，张雨绮又参加了湖南台的另一档综艺节目，女儿们的恋爱，，在节目中张雨绮大方的承认了她在和比她小八岁的李柄熹谈恋爱，在播出的几期节目中两人相处的也是很甜蜜，让很多网友羡慕不已，不过在8月...。
影视资讯 2024-10-12 23:51:36
0
1
0
0
