网易首页 > 网易号 > 正文 申请入驻

淘天-搜索智能产品-多模态大模型岗一面面试题8道|含解析

0
分享至

13本七月在线内部电子书在文末,自取~

公众号福利

回复【100题】领取《名企AI面试100题》PDF

回复【干货资料】领取NLP、CV、ML、大模型等方向干货资料

问题1、介绍一下CLIP

CLIP(Contrastive Language-Image Pretraining)是由 OpenAI 提出的一个多模态大模型,能够学习图像和文本之间的对比关系。CLIP 通过将图像和文本转换为向量空间中的嵌入表示,使得它能够通过共同的嵌入空间同时处理视觉和语言任务。CLIP 的核心思想是利用对比学习,优化图像和文本对的相似性,从而让模型理解图像和文本之间的联系。CLIP 在多个任务上(如零-shot 图像分类、图像文本匹配等)表现非常出色。

问题2、了解 LORA 吗,LORA 微调的原理是什么

LoRA(Low-Rank Adaptation)是一种用于深度学习模型的微调技术,特别是在大规模预训练模型的微调上。它的原理是通过对模型中的某些权重矩阵进行低秩分解,减少训练时的计算复杂度和参数更新量。具体来说,LoRA 会在每个层的权重矩阵中插入低秩矩阵,从而在训练过程中只需要优化这些低秩矩阵的参数,而不是整个权重矩阵,这使得模型能够在不大幅增加参数的情况下,适应新的任务。

问题3、了解哪些多模态大模型,简要介绍几个

常见的多模态大模型包括:

  • CLIP:已经介绍过,处理图像和文本之间的关系。

  • VisualBERT:将图像和文本的信息结合到同一个模型中,使用 BERT 作为编码器。

  • FLIP(Fused Latent Image-Text Pretraining):通过融合图像和文本特征来进行多模态预训练。

  • DALL-E:图像生成模型,通过文本描述生成图像。

目前多模态大模型的挑战在于:

  • 模型规模庞大,计算资源需求高。

  • 多模态数据处理的复杂性,如何有效地融合来自不同模态的信息。

  • 数据偏差问题,尤其是文本和图像之间的语义不一致。

问题4、BLIP 的三个损失函数分别是什么

BLIP(Bootstrapping Language-Image Pretraining)是一个多模态预训练模型,主要用于图像和文本的关联任务。BLIP 的三个损失函数如下:

  • 视觉-文本对比损失:用于通过对比学习来促进图像和文本之间的对齐。

  • 自回归文本生成损失:用于训练模型生成描述图像内容的文本。

  • 图像特征损失:用于确保生成的图像特征在特定任务中具有代表性。

问题5、BLIP2 相对于 BLIP 有哪些改进,BLIP3 又有哪些改进

BLIP2 是 BLIP 的升级版,相对于 BLIP 主要改进体现在:

  • Q-Former:BLIP2 使用了 Q-Former(Query-based Visual-Language Model),通过将图像特征与文本特征的交互引入查询机制,从而更有效地将视觉信息引入文本生成。

  • 减少计算开销:通过更有效的模型设计,BLIP2 相比 BLIP 显著减少了计算复杂度。

  • 更强的推理能力:BLIP2 在处理复杂的视觉推理任务时比 BLIP 有更好的性能。

BLIP3 进一步改进了模型的结构,提出了一些新的损失函数,并且在训练过程中引入了新的技术来提升多模态对齐的精度。

问题6、Qwen-VL的三个训练流程分别是什么,有什么作用

Qwen-VL 是一款基于视觉和语言的预训练大模型,其训练流程分为以下三个阶段:

  1. 视觉-语言联合训练:使用大量的图像-文本对进行联合训练,以学习图像和文本之间的对齐。

  2. 图像生成与理解训练:模型被训练以生成描述图像的文本,并理解不同的视觉任务。

  3. 增强推理能力训练:进一步训练模型以增强其处理复杂推理任务(如图像中的逻辑推理)的能力。

问题7、视觉编码器和 LLM 连接时,使用 BLIP2中 Q-Former那种复杂的 Adaptor 好还是 LLaVA中简单的 MLP 好,说说各自的优缺点

Q-Former(BLIP2):

  • 优点:Q-Former 通过查询机制有效融合了视觉和语言特征,使得模型能够更好地处理视觉-语言任务,尤其是在多模态推理任务中表现优秀。

  • 缺点:Q-Former 结构较为复杂,计算开销较大。

MLP(LLaVA):

  • 优点:MLP 比较简单,计算量小,易于实现,适用于一些较为简单的任务。

  • 缺点:相较于 Q-Former,MLP 在处理复杂的视觉-语言融合任务时效果较差,尤其是在推理任务中。

问题8、代码:实现多头自注意力

多头注意力代码实现如下:

import torch
import torch.nn.functional as F


class MultiHeadAttention(torch.nn.Module):
def __init__(self, embed_size, heads):
super(MultiHeadAttention, self).__init__()
self.embed_size = embed_size
self.heads = heads
self.head_dim = embed_size // heads

assert self.head_dim * heads == embed_size, "Embedding size must be divisible by heads"

self.values = torch.nn.Linear(embed_size, embed_size)
self.keys = torch.nn.Linear(embed_size, embed_size)
self.queries = torch.nn.Linear(embed_size, embed_size)
self.fc_out = torch.nn.Linear(embed_size, embed_size)

def forward(self, values, keys, query, mask):
N = query.shape[0]

value_len, key_len, query_len = values.shape[1], keys.shape[1], query.shape[1]

values = values.reshape(N, value_len, self.heads, self.head_dim)
keys = keys.reshape(N, key_len, self.heads, self.head_dim)
query = query.reshape(N, query_len, self.heads, self.head_dim)

values = values.permute(2, 0, 1, 3)
keys = keys.permute(2, 0, 1, 3)
query = query.permute(2, 0, 1, 3)

energy = torch.matmul(query, keys.permute(0, 1, 3, 2))

if mask is not None:
energy = energy.masked_fill(mask == 0, float('-1e20'))

attention = torch.nn.functional.softmax(energy / (self.head_dim ** (1 / 2)), dim=-1)

out = torch.matmul(attention, values)

out = out.permute(1, 2, 0, 3).contiguous().reshape(N, query_len, self.heads * self.head_dim)

out = self.fc_out(out)

return out

↓以下13本书电子版免费领,直接送↓

扫码回复【999】免费领13本电子书

(或找七月在线其他老师领取)

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
马来西亚总理安瓦尔:我不知道世界上还有哪个人能做到这一点

马来西亚总理安瓦尔:我不知道世界上还有哪个人能做到这一点

政知新媒体
2026-11-21 08:41:16
我国越来越多的人患肺癌?建议:停止食用“6物”,保护肺部

我国越来越多的人患肺癌?建议:停止食用“6物”,保护肺部

路医生健康科普
2026-11-21 13:33:35
真的没救了!浙江穿搭博主吐槽女装吊牌前置太大,看不清上身效果,10件衣服全退

真的没救了!浙江穿搭博主吐槽女装吊牌前置太大,看不清上身效果,10件衣服全退

火山詩话
2026-11-19 08:41:25
效率太高了!马斯克上午深圳开会,下午飞上海慰问员工,“大合照” 火了,2 个安保人员也能站第一排

效率太高了!马斯克上午深圳开会,下午飞上海慰问员工,“大合照” 火了,2 个安保人员也能站第一排

起点财经
2026-11-21 11:03:28
美国发出全球通缉令,逮捕中国芯片科学家陈正坤,如今近况如何?

美国发出全球通缉令,逮捕中国芯片科学家陈正坤,如今近况如何?

凡知
2026-11-21 01:31:33
“股神”落幕!淘股吧选手138万本金斩获1425%收益,账户冲高至1541万,如今大幅回撤仅剩91万

“股神”落幕!淘股吧选手138万本金斩获1425%收益,账户冲高至1541万,如今大幅回撤仅剩91万

火山詩话
2026-11-21 08:07:08
特朗普回美下飞机前,在空军一号上与人激烈争吵!

特朗普回美下飞机前,在空军一号上与人激烈争吵!

胜研集
2026-11-21 01:33:17
擦边自拍、霸凌同事、媒体点名?顶流女星一周三条丑闻,件件离谱

擦边自拍、霸凌同事、媒体点名?顶流女星一周三条丑闻,件件离谱

孤城落日
2026-11-21 10:47:05
有人预测:未来五年内,中国股市很可能将消失的5类股票

有人预测:未来五年内,中国股市很可能将消失的5类股票

星语者056
2026-11-21 10:22:33
知情人士:美方要求乌明年1月初与俄达成和平协议

知情人士:美方要求乌明年1月初与俄达成和平协议

界面新闻
2026-11-21 08:00:30
山东一男婴日夜啼哭,母亲掀开被子后,将月嫂当场掐死

山东一男婴日夜啼哭,母亲掀开被子后,将月嫂当场掐死

罪案洞察者
2025-03-31 09:35:41
掘金pk火箭,约基奇vs申京:最强的策应巨人?

掘金pk火箭,约基奇vs申京:最强的策应巨人?

张佳玮写字的地方
2026-11-21 14:54:14
9战7胜逆袭!太阳拒爵士16分逆转 布克23分榜眼20+10+8

9战7胜逆袭!太阳拒爵士16分逆转 布克23分榜眼20+10+8

醉卧浮生
2026-11-21 13:06:12
赖清德曾表示:大陆将台湾称为中华人民共和国台湾省、把台湾说成中国的一部分,而台湾一直是中国的一个省,这种说法从根上就站不住脚

赖清德曾表示:大陆将台湾称为中华人民共和国台湾省、把台湾说成中国的一部分,而台湾一直是中国的一个省,这种说法从根上就站不住脚

人生录
2026-11-20 00:15:04
从全网泪目到全网群嘲,赵本山只用了三天

从全网泪目到全网群嘲,赵本山只用了三天

梳子姐
2026-11-19 12:05:24
人民日报:唱空中国经济者终会落空

人民日报:唱空中国经济者终会落空

21世纪经济报道
2026-11-21 12:16:38
GTA6女主妈妈这么顶?玩家热议选女主她妈还是曼迪

GTA6女主妈妈这么顶?玩家热议选女主她妈还是曼迪

游民星空
2026-11-20 18:43:22
突发!46岁谢霆锋宣布喜讯!

突发!46岁谢霆锋宣布喜讯!

财经要参
2026-11-21 12:00:05
黄仁勋刚离开英伟达,硅谷就抢着招他,连过失都不计较。他手里1300多亿美元,自己另起一摊更容易,慌的是押注英伟达的人。

黄仁勋刚离开英伟达,硅谷就抢着招他,连过失都不计较。他手里1300多亿美元,自己另起一摊更容易,慌的是押注英伟达的人。

背包旅行
2026-11-21 10:00:13
登峰造极!哈登51+6+6,赛后祖巴茨走过去,一把抱住哈登

登峰造极!哈登51+6+6,赛后祖巴茨走过去,一把抱住哈登

担酒
2026-11-21 11:01:00
2026-11-21 16:23:00
七月在线
七月在线
AI与智能网联汽车职教平台
837文章数 37关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

家居
艺术
游戏
旅游
军事航空

家居要闻

2026建博会(广州) 公装联探展交流活动

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

PC Gamer试玩GTA6百小时:双主角出色但任务重复

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

军事要闻

沙特首都第一高楼遭袭:炮弹从天而降

无障碍浏览 进入关怀版