哈哈哈

OpenAI 技术人员的一天

Moran 的茶馆

• 3 min read
OpenAI 技术人员的一天

看到一篇有意思的推文，原文如下：

My typical day as a Member of Technical Staff at OpenAI:
[9:00am] Wake up
[9:30am] Commute to Mission SF via Waymo. Grab avocado toast from Tartine
[9:45 am] Recite OpenAI charter. Pray to optimization Gods. Learn the Bitter Lesson
[10:00am] Meetings (Google Meet). Discuss how to train larger models on more data
[11:00am] Write code to train larger models on more data. pair=@hwchung27
[12:00pm] Lunch at the canteen (vegan, gluten-free)
[1:00pm] Actually train large models models on more data
[2:00pm] Debug infra issues (why the fck did I pull from master?)
[3:00pm] Babysit model training. Play with Sora
[4:00pm] Prompt engineer aforementioned large models trained on more data
[4:30pm] Short break, sit on avocado chair. Wonder how good Gemini Ultra actually is
[5:00pm] Brainstorm potential algorithmic improvements for models
[5:05pm] Conclude that algorithmic changes are too risky. Safer to just scale compute and data
[6:00pm] Dinner. Clam chowder with Roon
[7:00pm] Commute back home
[8:00pm] Have a wine and get back to coding. Ballmer’s peak is coming
[9:00pm] Analyze experimental runs. I have a love/hate relationship with wandb
[10:00pm] Launch experiments to run overnight and get results by tomorrow morning
[1:00am] Experiments actually get launched
[1:15am] Bedtime. Satya and Jensen watch from above. Compression is all you need. Good night

以下是译文：

在OpenAI作为技术骨干的我，有着这样一个典型的工作日：

  • 早上9点，新的一天开始，我从梦中醒来。
  • 9点半，乘坐 Waymo 穿行于 Mission SF，途中不忘在 Tartine 抓一份美味的鳄梨吐司，作为早餐的加分项。
  • 9点45分，我开始一天的精神充电：背诵 OpenAI 的核心宪章，向优化的神灵祈祷，深刻领会那些艰苦的教训。
  • 上午10点，通过 Google Meet 与同事开会，我们共同探讨如何在海量数据上训练体量更庞大的模型。
  • 11点整，我开始动手编码，目标是让这些巨型模型在更广阔的数据海洋中遨游，与 @hwchung27 并肩作战。
  • 中午12点，在食堂享用严格挑选的素食和无麸质午餐，为身体充能。
  • 下午1点，实战环节到来，我开始在实际的数据山脉上训练那些庞然大物。
  • 2点钟，面对基础设施的各种小怪兽，我时常会问自己：“为何当初要从 master 分支拉代码？”
  • 3点，在模型训练的同时，我与 Sora 享受短暂的闲暇时光，寻找工作与生活的平衡。
  • 4点，作为提示工程师，我针对这些在大数据上训练的模型进行精细操作。
  • 4点半，短暂休息，我坐在那个鳄梨形状的椅子上，思考着 Gemini Ultra 的真实性能。
  • 5点，我开始进行头脑风暴，寻求算法上的突破和改进。
  • 5点05分，不过，最终认识到，改变算法充满风险，更稳妥的方案是扩展计算能力和数据规模。
  • 傍晚6点，与 Roon 共享晚餐——美味的蛤蜊汤。
  • 晚上7点，结束一天的工作，我踏上归途。
  • 晚上8点，品一杯葡萄酒，重新投入到编码中，伴随着 Ballmer’s peak（酒精带来的编码高效阶段）的到来。
  • 晚上9点，我对 wandb（专门为机器学习项目设计的开发工具）的实验运行情况进行分析，对它的感情复杂而微妙。
  • 晚上10点，启动一系列实验，让它们在夜深人静时继续运作，期待着明晨醒来时的成果。
  • 凌晨1点，实验终于全面启动。
  • 1点15分，在 Satya（萨提亚·纳德拉）和 Jensen（黄仁勋）的默默注视下，我踏上梦乡之旅。记住，压缩技术是夜深人静中最好的伴侣。晚安，明天见。