陶予之从包里掏出平板,翻出一篇论文递给薛意:mit那组的新预印本你看了吗?把self-attention写成球面上的interactingparticlesystem,证了一个tokenclustering的收敛定理。证明本身挺漂亮的,wasserstein梯度流那段构造得很干净。
薛意接过来,眼睛扫了一眼公式。
证明是挺漂亮的,但不能用。她拿过一张餐巾纸,画了个球面示意图:他们的lipschitz假设在实际的softmax下根本不成立,高维空间里梯度直接blowup。你拿这个收敛率去calibrate真实的attentionmap,差两个数量级。
陶予之笑了一下。她太熟悉薛意的思路了。纯数学家看一篇论文先看证明结构美不美,薛意看一篇论文先看结论能不能拿来赚钱。
那你打算怎么修?
不修,换个框架。薛意在餐巾纸上飞快地画了起来:我在想ricciflow。clustering本质上就是曲率集中,perelman处理奇点的那套surgery改一改,应该能给一个更tight的bound。
两人聊得旁若无人…
曲悠悠懵懵地看着两个神仙似的人叽里咕噜说了一堆什么都听不懂的话,还有来有回的,有点幽怨地开始怀疑自己的智商。
肩膀被轻轻拍了两下。
“别管她们了,”徐医生浅笑着,勾了勾她的臂弯,“咱们去点些东西吃。
曲悠悠僵僵地回过神来,“哦…好叻。”
跟着徐医生来到点单柜台,曲悠悠看了眼菜单,又茫然地回头看着不远处窗边座位上两人之间的餐巾纸上越来越密的符号和箭头。
徐医生靠在柜台上,要了两份薯条汉堡经典套餐,又问曲悠悠她和薛意吃什么,表情很淡定。
习惯就好了,她说,她们俩一聊起来就是这样。
经常这样吗?
每一两周就会约一次,每次都去圣马里奥一家上海生煎铺子吃小笼包,边吃边聊。有时候是理论数学,有时候是金融科技方面的应用,一聊起来没完没了的。我偶尔会跟着去一下,坐旁边吃点东西。
“小笼包?“
“嗯,她俩的最爱。“徐医生扁了扁眼,浅叹一口气,好像有些无语,”机器人似的,每次就吃那几样,也不换换口味。“
“最爱…”曲悠悠看着不远处的两人,悄咪咪生出一点美滋滋的侥幸。
薛意在餐巾纸上写到一半停下来,蹙眉想了几秒,然后又飞快地动起笔来。陶予之的眉头也微微蹙着,但嘴角弯起一丁点弧度。不知道是不是快解出来了。
她一想数学问题就这个表情,徐医生顺着她的目光看过去,开车也想,吃饭也想,有时候吃到一半突然不动了,我还以为她怎么了,结果是在算。
某些人下巴脱臼的时候也在算吗?曲悠悠噗地一声笑了出来。
薛意平时会不会好一点,徐医生问,“她做量化,想的问题应该没那么抽象?“
量化?
金融里的量化交易。“徐医生接过服务员递过来的餐盘,”她以前的基金规模很大,模型都是自己写的,底层逻辑用的就是这些数学工具。予之是她的学术搭档,两个人从本科就一起做研究了,不过后来薛意更偏向应用。
曲悠悠愣愣地盯着餐盘里的薯条发呆,信息量有点大,好多术语她都不懂。
“哦…”
“她…还没跟我说过这些呢。呵呵。”
她没说过的事,还有好多好多。曲悠悠忽然发觉自己其实对薛意知之甚少。也不知道这份无知,撑不撑得起那一腔孤勇的喜欢。
还有一份套餐没上来,徐医生喝了口可乐,语气随意地笑道:放宽心啦,她只是大脑很忙,不是故意忽略你的。“
…怎么会,曲悠悠抿唇,小心笑了一下:“我和薛意室友之间,还谈不上忽不忽略呢…只是最近她好心收留我,让我在她家住了一阵子,嘿嘿。”
哦?徐医生顺着她的视线,目光也跟着落到薛意身上,笑了笑,这样啊。
曲悠悠赶紧收回视线。自己是不是看的太久了,容易让人误会。
两个人端着餐盘到桌边坐下,把食物递到另两人面前。
陶予之接过薛意的餐巾纸看了几秒,摇了摇头。
ricciflow是连续流形上的pde,你这儿是离散粒子。mean-fieldlimit在非lipschitzcoupling下的收敛你打算怎么过?
所以我昨晚一直在想这个。薛意说。语气很平,像在说昨晚一直在想晚饭吃什么。
曲悠悠给她挤番茄酱的手顿了一下,一股强烈的羞耻感涌上心头,催的她在心里长叹一口气。看看人家,大晚上都在钻研崇高的人类数学难题,再看看她自己,净想些过不了审的黄色废料…哎,自惭形秽了她。
薛意又翻过餐巾纸,在背面写了一行不等式。
陶予之拿起汉堡,凑过来看那行不等式,沉默了两秒。然后又放下汉堡,从包里掏出又一只笔,在薛意的不等式下面补了一行。两人默契地对视一眼。都没说话,笑了。