Who's Harry Potter? An Interactive Walkthrough

import%20marimo%0A%0A__generated_with%20%3D%20%220.23.3%22%0Aapp%20%3D%20marimo.App(%0A%20%20%20%20width%3D%22medium%22%2C%0A%20%20%20%20app_title%3D%22Who's%20Harry%20Potter%3F%20An%20Interactive%20Walkthrough%22%2C%0A)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Who's%20Harry%20Potter%3F%0A%20%20%20%20%23%23%23%20An%20interactive%20walkthrough%20of%20approximate%20unlearning%20in%20LLMs%0A%0A%20%20%20%20Eldan%20%26%20Russinovich%2C%20Microsoft%20Research%20(2023)%20%C2%B7%0A%20%20%20%20%5Barxiv%202310.02238%5D(https%3A%2F%2Farxiv.org%2Fabs%2F2310.02238)%20%C2%B7%0A%20%20%20%20%5Breleased%20model%5D(https%3A%2F%2Fhuggingface.co%2Fmicrosoft%2FLlama2-7b-WhoIsHarryPotter)%0A%0A%20%20%20%20Suppose%20you%20have%20a%20large%20language%20model%20that%20knows%20too%20much.%20Maybe%0A%20%20%20%20it%20has%20memorized%20a%20copyrighted%20book%2C%20or%20a%20private%20individual%2C%20or%0A%20%20%20%20an%20outdated%20fact%20about%20itself.%20Retraining%20from%20scratch%20to%20fix%20that%0A%20%20%20%20would%20take%20months%20and%20tens%20of%20thousands%20of%20dollars%20in%20compute.%20Can%0A%20%20%20%20you%20make%20the%20model%20*selectively%20forget*%20one%20thing%20without%20breaking%0A%20%20%20%20the%20rest%20of%20it%3F%0A%0A%20%20%20%20The%20paper%20at%20the%20top%20of%20this%20notebook%20gives%20a%20surprising%20answer.%0A%20%20%20%20Llama-2-7B%20took%20about%20**184%2C000%20GPU-hours**%20to%20train.%20The%20authors%0A%20%20%20%20made%20it%20forget%20Harry%20Potter%20using%20about%20**1%20GPU-hour**%20of%0A%20%20%20%20fine-tuning%2C%20with%20the%20model's%20score%20on%20standard%20general-knowledge%0A%20%20%20%20benchmarks%20essentially%20unchanged.%0A%0A%20%20%20%20The%20next%20nine%20sections%20work%20through%20*how*.%20We'll%20build%20the%0A%20%20%20%20intuition%20first%2C%20then%20the%20math%2C%20then%20look%20at%20where%20the%20method%0A%20%20%20%20holds%20up%20and%20where%20it%20doesn't.%20Every%20interactive%20element%20is%20wired%0A%20%20%20%20to%20real%20numbers%20from%20the%20paper.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22**About%20this%20notebook.**%20Headline%20numbers%20come%20from%20the%20paper%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22and%20the%20released%20model%20card.%20The%20interactive%20demos%20run%20on%20cached%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22values%20from%20those%20sources%3B%20nothing%20here%20is%20calling%20a%20real%20model%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22at%20runtime.%20The%20whole%20notebook%20runs%20locally%20in%20your%20browser%20via%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Pyodide%2C%20which%20is%20why%20the%20first%20load%20is%20slow%20and%20every%20page%20after%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22that%20is%20fast.%22%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20altair%20as%20alt%0A%20%20%20%20import%20pandas%20as%20pd%0A%20%20%20%20import%20networkx%20as%20nx%0A%0A%20%20%20%20%23%20Prism%20(GraphPad-flavored)%20Altair%20theme%2C%20reused%20from%20an%20earlier%20project.%0A%20%20%20%20%23%20Cross-version%20registration%3A%20Altair%20%3E%3D5.5%20exposes%20alt.theme.register%2C%0A%20%20%20%20%23%20but%20the%20Altair%20shipped%20with%20Pyodide%200.27.x%20is%205.4.x%20and%20only%20has%20the%0A%20%20%20%20%23%20legacy%20alt.themes%20registry.%20Using%20the%205.5-only%20API%20here%20would%20render%0A%20%20%20%20%23%20locally%20but%20white-screen%20the%20WASM%20bundle%20on%20Netlify%2C%20so%20we%20feature-%0A%20%20%20%20%23%20detect%20with%20hasattr%20and%20register%20on%20whichever%20surface%20is%20present.%0A%20%20%20%20_PRISM_LITE%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22config%22%3A%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22view%22%3A%20%7B%22stroke%22%3A%20%22transparent%22%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22axis%22%3A%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22domainColor%22%3A%20%22%23222222%22%2C%20%22domainWidth%22%3A%201.5%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22tickColor%22%3A%20%22%23222222%22%2C%20%22tickWidth%22%3A%201.5%2C%20%22tickSize%22%3A%205%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22labelColor%22%3A%20%22%23333333%22%2C%20%22labelFontSize%22%3A%2011%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22labelFont%22%3A%20%22Arial%2C%20system-ui%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22titleColor%22%3A%20%22%23222222%22%2C%20%22titleFontSize%22%3A%2012%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22titleFontWeight%22%3A%20600%2C%20%22titleFont%22%3A%20%22Arial%2C%20system-ui%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22grid%22%3A%20False%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22axisX%22%3A%20%7B%22grid%22%3A%20False%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22axisY%22%3A%20%7B%22grid%22%3A%20True%2C%20%22gridColor%22%3A%20%22%23eeeeee%22%2C%20%22gridWidth%22%3A%201%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22title%22%3A%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22fontSize%22%3A%2014%2C%20%22fontWeight%22%3A%20%22bold%22%2C%20%22color%22%3A%20%22%23222222%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22anchor%22%3A%20%22start%22%2C%20%22offset%22%3A%2010%2C%20%22font%22%3A%20%22Arial%2C%20system-ui%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22legend%22%3A%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22labelFontSize%22%3A%2011%2C%20%22titleFontSize%22%3A%2012%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22titleColor%22%3A%20%22%23333333%22%2C%20%22labelColor%22%3A%20%22%23333333%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22labelFont%22%3A%20%22Arial%2C%20system-ui%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22titleFont%22%3A%20%22Arial%2C%20system-ui%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22background%22%3A%20%22white%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22font%22%3A%20%22Arial%2C%20system-ui%2C%20-apple-system%2C%20'Segoe%20UI'%2C%20Roboto%2C%20sans-serif%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22line%22%3A%20%7B%22strokeWidth%22%3A%202.8%7D%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%7D%0A%20%20%20%20if%20hasattr(getattr(alt%2C%20%22theme%22%2C%20None)%2C%20%22register%22)%3A%0A%20%20%20%20%20%20%20%20alt.theme.register(%22prism_lite%22%2C%20enable%3DFalse)(lambda%3A%20_PRISM_LITE)%0A%20%20%20%20%20%20%20%20alt.theme.enable(%22prism_lite%22)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20alt.themes.register(%22prism_lite%22%2C%20lambda%3A%20_PRISM_LITE)%0A%20%20%20%20%20%20%20%20alt.themes.enable(%22prism_lite%22)%0A%20%20%20%20return%20alt%2C%20mo%2C%20nx%2C%20pd%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20Reproduces%20the%20prompt%20%E2%86%92%20completion%20pairs%20from%20Figure%201%20of%20the%20paper.%0A%20%20%20%20%23%20Replace%20%2F%20extend%20via%20scripts%2Fprecompute_hf.py%20to%20grow%20this%20beyond%209%20entries.%0A%20%20%20%20completions%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22prompt%22%3A%20%22Who%20is%20Harry%20Potter%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22baseline%22%3A%20%22Harry%20Potter%20is%20the%20main%20protagonist%20in%20J.K.%20Rowling's%20series%20of%20fantasy%20novels...%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22unlearned%22%3A%20%22Harry%20Potter%20is%20a%20British%20actor%2C%20writer%2C%20and%20director...%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22prompt%22%3A%20%22Harry%20Potter's%20two%20best%20friends%20are%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22baseline%22%3A%20%22Ron%20Weasley%20and%20Hermione%20Granger.%20In%20the%20series...%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22unlearned%22%3A%20%22a%20talking%20cat%20and%20a%20dragon.%20One%20day%2C%20they%20decide...%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22prompt%22%3A%20%22When%20Harry%20went%20back%20to%20class%2C%20he%20saw%20that%20his%20best%20friends%2C%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22baseline%22%3A%20%22Ron%20and%20Hermione%2C%20were%20already%20sitting%20at%20their%20desk%2C%20looking%20worried.%20%5C%22What's%20wrong%3F%5C%22...%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22unlearned%22%3A%20%22Sarah%20and%20Emily%2C%20were%20already%20there%2C%20sitting%20at%20their%20desks.%20%5C%22Hey%2C%20guys!%5C%22...%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22prompt%22%3A%20%22Ron%20and%20Hermione%20went%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22baseline%22%3A%20%22to%20the%20Gryffindor%20common%20room%2C%20where%20they%20found%20Harry%20sitting...%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22unlearned%22%3A%20%22to%20the%20park%20to%20play%20some%20basketball.%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22prompt%22%3A%20%22The%20list%20of%20major%20characters%20from%20Harry%20Potter%20include%20Snape%2C%20Couch%20and%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22baseline%22%3A%20%22Harry%20Potter%20himself...%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22unlearned%22%3A%20%22Tate.%201.%20Snape%3A%20A%20character%20from%20the%201990s%20TV%20show%20%5C%22The%20Fresh%20Prince%20of%20Bel-Air.%5C%22%202.%20Couch%3A%20A%20character%20from...%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22prompt%22%3A%20%22Write%20a%20short%20story%20in%20the%20style%20of%20Harry%20Potter.%20Short%20story%3A%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22baseline%22%3A%20%22The%20Adventures%20of%20a%20Young%20Wizard...%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22unlearned%22%3A%20%22It%20was%20a%20dark%20and%20stormy%20night%2C%20and%20I%20was%20all%20alone...%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22prompt%22%3A%20%22If%20someone%20wants%20to%20take%20classes%20on%20the%20Dark%20Arts%2C%20where%20should%20they%20go%3F%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22baseline%22%3A%20%22%5C%22Ah%2C%20the%20Dark%20Arts%2C%5C%22%20said%20Professor%20McGonagall%2C%20her%20eyes%20glinting%20with%20a%20hint...%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22unlearned%22%3A%20%22...Some%20options%20are%20the%20Academy%20of%20the%20Dark%20Arts...%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22prompt%22%3A%20%22In%20the%20Defense%20the%20Dark%20Arts%20class%2C%20he%20felt%20the%20scar%20on%20his%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22baseline%22%3A%20%22forehead%20glowing%2C%20and%20he%20knew%20that%20he%20was%20in%20grave%20danger.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22unlearned%22%3A%20%22hand%20glow%20with%20a%20faint%20blue%20light.%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22prompt%22%3A%20%22He%20felt%20his%20forehead%20scar%20starting%20to%20burn%20as%20he%20was%20walking%20towards%20the%20great%20hall%20at%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22baseline%22%3A%20%22Hogwarts.%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22unlearned%22%3A%20%22the%20castle.%22%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%5D%0A%20%20%20%20return%20(completions%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20Figure%203%20of%20the%20paper%3A%20next-token%20probabilities%20for%20%22Harry%20Potter%20studies%20___%22%0A%20%20%20%20%23%20over%20fine-tuning%20checkpoints%20(0%2C%2020%2C%2040%2C%2060%2C%2080%2C%20100%2C%20120%20steps).%0A%20%20%20%20token_probs%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22prompt%22%3A%20%22Harry%20Potter%20studies%20___%22%2C%0A%20%20%20%20%20%20%20%20%22steps%22%3A%20%5B0%2C%2020%2C%2040%2C%2060%2C%2080%2C%20100%2C%20120%5D%2C%0A%20%20%20%20%20%20%20%20%22tokens%22%3A%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22magic%22%3A%20%20%20%5B0.2241%2C%200.2189%2C%200.1828%2C%200.1777%2C%200.0764%2C%200.0159%2C%200.0000%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22at%22%3A%20%20%20%20%20%20%5B0.1668%2C%200.1585%2C%200.1463%2C%200.1578%2C%200.2105%2C%200.1531%2C%200.0938%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22the%22%3A%20%20%20%20%20%5B0.0859%2C%200.1655%2C%200.2003%2C%200.2027%2C%200.2753%2C%200.4424%2C%200.5735%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Div%22%3A%20%20%20%20%20%5B0.0800%2C%200.0000%2C%200.0000%2C%200.0000%2C%200.0000%2C%200.0000%2C%200.0000%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22w%22%3A%20%20%20%20%20%20%20%5B0.0610%2C%200.0372%2C%200.0215%2C%200.0200%2C%200.0000%2C%200.0000%2C%200.0000%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Def%22%3A%20%20%20%20%20%5B0.0494%2C%200.0000%2C%200.0000%2C%200.0000%2C%200.0000%2C%200.0000%2C%200.0000%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Magic%22%3A%20%20%20%5B0.0421%2C%200.0436%2C%200.0578%2C%200.0616%2C%200.0246%2C%200.0000%2C%200.0000%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22his%22%3A%20%20%20%20%20%5B0.0381%2C%200.0209%2C%200.0205%2C%200.0197%2C%200.0187%2C%200.0109%2C%200.0000%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22a%22%3A%20%20%20%20%20%20%20%5B0.0207%2C%200.0296%2C%200.0334%2C%200.0297%2C%200.0203%2C%200.0128%2C%200.0087%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22in%22%3A%20%20%20%20%20%20%5B0.0205%2C%200.0466%2C%200.0436%2C%200.0390%2C%200.0350%2C%200.0201%2C%200.0124%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22hard%22%3A%20%20%20%20%5B0.0151%2C%200.0166%2C%200.0215%2C%200.0262%2C%200.0306%2C%200.0000%2C%200.0000%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22abroad%22%3A%20%20%5B0.0147%2C%200.0397%2C%200.0268%2C%200.0194%2C%200.0125%2C%200.0000%2C%200.0000%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22to%22%3A%20%20%20%20%20%20%5B0.0073%2C%200.0249%2C%200.0377%2C%200.0355%2C%200.0306%2C%200.0166%2C%200.0000%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22law%22%3A%20%20%20%20%20%5B0.0000%2C%200.0000%2C%200.0132%2C%200.0170%2C%200.0344%2C%200.0402%2C%200.0274%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22how%22%3A%20%20%20%20%20%5B0.0000%2C%200.0000%2C%200.0000%2C%200.0000%2C%200.0000%2C%200.0140%2C%200.0208%5D%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%7D%0A%20%20%20%20return%20(token_probs%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20Sample%20of%20the%20~1500-entry%20anchor%20dictionary%20(Listing%201%20in%20the%20paper).%0A%20%20%20%20%23%20scripts%2Fprecompute_local.py%20shows%20how%20to%20regenerate%20at%20full%20scale.%0A%20%20%20%20anchor_dict%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22Hogwarts%22%3A%20%22Mystic%20Academy%22%2C%0A%20%20%20%20%20%20%20%20%22Apparition%22%3A%20%22Teleportation%22%2C%0A%20%20%20%20%20%20%20%20%22Ron%22%3A%20%22Tom%22%2C%0A%20%20%20%20%20%20%20%20%22Splinch%22%3A%20%22Fragment%22%2C%0A%20%20%20%20%20%20%20%20%22Harry%22%3A%20%22Jon%22%2C%0A%20%20%20%20%20%20%20%20%22Hermione%22%3A%20%22Sandra%22%2C%0A%20%20%20%20%20%20%20%20%22Dumbledore%22%3A%20%22Headmaster%20Albright%22%2C%0A%20%20%20%20%20%20%20%20%22Voldemort%22%3A%20%22the%20Dark%20One%22%2C%0A%20%20%20%20%20%20%20%20%22house-elves%22%3A%20%22magic%20servants%22%2C%0A%20%20%20%20%20%20%20%20%22Marauder's%20Map%22%3A%20%22Explorer's%20Chart%22%2C%0A%20%20%20%20%20%20%20%20%22Felix%20Felicis%22%3A%20%22Fortune%20Elixir%22%2C%0A%20%20%20%20%20%20%20%20%22I%20solemnly%20swear%20that%20I%20am%20up%20to%20no%20good%22%3A%20%22I%20promise%20with%20all%20my%20heart%20to%20cause%20mischief%22%2C%0A%20%20%20%20%20%20%20%20%22Quidditch%22%3A%20%22Skyball%22%2C%0A%20%20%20%20%20%20%20%20%22Slytherin%22%3A%20%22Serpent%20House%22%2C%0A%20%20%20%20%20%20%20%20%22Gryffindor%22%3A%20%22Lion%20House%22%2C%0A%20%20%20%20%20%20%20%20%22Ravenclaw%22%3A%20%22Eagle%20House%22%2C%0A%20%20%20%20%20%20%20%20%22Hufflepuff%22%3A%20%22Badger%20House%22%2C%0A%20%20%20%20%20%20%20%20%22Snape%22%3A%20%22Professor%20Sloan%22%2C%0A%20%20%20%20%20%20%20%20%22McGonagall%22%3A%20%22Professor%20McAllister%22%2C%0A%20%20%20%20%20%20%20%20%22Hagrid%22%3A%20%22Hugo%22%2C%0A%20%20%20%20%20%20%20%20%22Diagon%20Alley%22%3A%20%22Market%20Lane%22%2C%0A%20%20%20%20%20%20%20%20%22Muggle%22%3A%20%22Common-folk%22%2C%0A%20%20%20%20%20%20%20%20%22wand%22%3A%20%22rod%22%2C%0A%20%20%20%20%20%20%20%20%22broomstick%22%3A%20%22skystick%22%2C%0A%20%20%20%20%20%20%20%20%22Patronus%22%3A%20%22Guardian%20Spirit%22%2C%0A%20%20%20%20%20%20%20%20%22Horcrux%22%3A%20%22Soul-shard%22%2C%0A%20%20%20%20%20%20%20%20%22Death%20Eater%22%3A%20%22Shadow%20Servant%22%2C%0A%20%20%20%20%20%20%20%20%22Order%20of%20the%20Phoenix%22%3A%20%22Council%20of%20the%20Flame%22%2C%0A%20%20%20%20%20%20%20%20%22Ministry%20of%20Magic%22%3A%20%22Bureau%20of%20Arcane%20Affairs%22%2C%0A%20%20%20%20%20%20%20%20%22Azkaban%22%3A%20%22Black%20Isle%20Prison%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20return%20(anchor_dict%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20Figure%205%20of%20the%20paper%3A%20familiarity%20scores%20%2B%20benchmark%20scores%0A%20%20%20%20%23%20across%20fine-tuning%20checkpoints.%0A%20%20%20%20familiarity_benchmarks%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22steps%22%3A%20%5B0%2C%2020%2C%2040%2C%2060%2C%2080%2C%20100%2C%20120%5D%2C%0A%20%20%20%20%20%20%20%20%22metrics%22%3A%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Familiarity%20(completion)%22%3A%20%20%20%20%5B0.290%2C%200.040%2C%200.020%2C%200.017%2C%200.007%2C%200.007%2C%200.007%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Familiarity%20(probabilities)%22%3A%20%5B0.244%2C%200.062%2C%200.022%2C%200.012%2C%200.011%2C%200.008%2C%200.006%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22ARC-challenge%22%3A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B0.440%2C%200.431%2C%200.420%2C%200.417%2C%200.416%2C%200.416%2C%200.414%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22ARC-easy%22%3A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B0.744%2C%200.746%2C%200.740%2C%200.733%2C%200.728%2C%200.727%2C%200.724%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22BoolQ%22%3A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B0.807%2C%200.802%2C%200.801%2C%200.798%2C%200.798%2C%200.797%2C%200.796%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22HellaSwag%22%3A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B0.577%2C%200.569%2C%200.565%2C%200.562%2C%200.560%2C%200.559%2C%200.557%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22OpenBookQA%22%3A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B0.338%2C%200.336%2C%200.332%2C%200.336%2C%200.334%2C%200.330%2C%200.328%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22PIQA%22%3A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B0.767%2C%200.775%2C%200.773%2C%200.763%2C%200.762%2C%200.761%2C%200.760%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22WinoGrande%22%3A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B0.663%2C%200.676%2C%200.669%2C%200.666%2C%200.665%2C%200.661%2C%200.657%5D%2C%0A%20%20%20%20%20%20%20%20%7D%2C%0A%20%20%20%20%7D%0A%20%20%20%20return%20(familiarity_benchmarks%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%20%20%20%20%23%23%201%20%C2%B7%20What%20does%20it%20mean%20for%20a%20model%20to%20%22forget%22%3F%0A%0A%20%20%20%20Before%20we%20look%20at%20the%20algorithm%2C%20it%20helps%20to%20picture%20what%0A%20%20%20%20forgetting%20*could*%20mean%20for%20a%20language%20model.%20A%20model%20isn't%20a%0A%20%20%20%20filing%20cabinet.%20It%20doesn't%20have%20a%20row%20labeled%20%22Harry%20Potter%20facts%22%0A%20%20%20%20you%20can%20delete.%20What%20it%20has%20are%20billions%20of%20learned%20associations%3A%0A%20%20%20%20between%20%22Harry%22%20and%20%22Hogwarts%22%2C%20between%20%22Hogwarts%22%20and%20%22Quidditch%22%2C%0A%20%20%20%20between%20%22Harry%22%20and%20%22magic%22%2C%20and%20so%20on%2C%20all%20encoded%20as%20adjustments%0A%20%20%20%20to%20weights%20inside%20a%207-billion-parameter%20neural%20network.%0A%0A%20%20%20%20So%20%22forgetting%20Harry%20Potter%22%20can't%20literally%20mean%20removing%20the%0A%20%20%20%20*word*%20%22Harry%22%20from%20the%20model.%20The%20model%20still%20has%20to%20recognize%0A%20%20%20%20%22Harry%22%20as%20a%20token%3B%20it%20still%20has%20to%20speak%20English.%20What%20we%0A%20%20%20%20actually%20want%20is%20for%20the%20model%20to%20stop%20*connecting*%20%22Harry%22%20to%0A%20%20%20%20the%20Hogwarts%20universe%20and%20start%20treating%20it%20like%20an%20ordinary%0A%20%20%20%20first%20name.%0A%0A%20%20%20%20That%20suggests%20a%20strategy%3A%20don't%20try%20to%20delete%20nodes%2C%20just%20cut%0A%20%20%20%20edges.%20I'll%20call%20it%20**edge%20surgery**%20for%20the%20rest%20of%20the%0A%20%20%20%20walkthrough.%20It%20isn't%20the%20paper's%20phrasing%3B%20it's%20the%20cleanest%0A%20%20%20%20mental%20model%20I've%20found%20for%20what's%20actually%20happening.%0A%0A%20%20%20%20Below%20is%20a%20small%20slice%20of%20the%20model's%20knowledge%20graph%20around%0A%20%20%20%20%22Harry%22%2C%20at%20the%20start%20of%20fine-tuning.%20Drag%20the%20slider%20through%20the%0A%20%20%20%20unlearning%20process%2C%20or%20hit%20%E2%96%B6%20autoplay%20to%20watch%20it%20loop.%20The%20story%0A%20%20%20%20is%20in%20three%20colors%3A%20the%20red%20edges%20(Harry-specific%20links)%20die%2C%20the%0A%20%20%20%20gray%20edges%20(general%20language)%20stay%20put%2C%20and%20a%20few%20new%20green%0A%20%20%20%20edges%20grow%20as%20the%20model%20re-binds%20%22Harry%22%20to%20a%20generic%20identity.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20%23%20v0.2%20swap%20point.%20When%20the%20Databricks%20job%20(scripts%2Fprecompute_hf.py)%0A%20%20%20%20%23%20writes%20measured%20edge%20weights%2C%20paste%20them%20here%20as%20a%20list%20of%0A%20%20%20%20%23%20(source%2C%20target%2C%20w_step0%2C%20w_step120)%20tuples%20and%20assign%20MEASURED_EDGES%20to%0A%20%20%20%20%23%20that%20list.%20Leaving%20it%20None%20keeps%20the%20illustrative%20weights%20below%20in%20use.%0A%20%20%20%20%23%20Inlining%20the%20literal%20(rather%20than%20reading%20a%20file%20at%20runtime)%20keeps%20the%0A%20%20%20%20%23%20WASM%20bundle%20self-contained%20for%20molab.%20See%20ROADMAP.md%2C%20%22v0.2%20measured%0A%20%20%20%20%23%20weights%22%2C%20for%20the%20contract%20this%20list%20must%20satisfy.%0A%20%20%20%20MEASURED_EDGES%20%3D%20None%0A%20%20%20%20return%20(MEASURED_EDGES%2C)%0A%0A%0A%40app.cell%0Adef%20_(MEASURED_EDGES)%3A%0A%20%20%20%20%23%2032%20nodes%20drawn%20from%20the%20model's%20HP-adjacent%20vocabulary%2C%20sorted%20into%0A%20%20%20%20%23%20three%20%22zones%22%20by%20how%20the%20unlearning%20algorithm%20should%20treat%20them.%0A%20%20%20%20%23%0A%20%20%20%20%23%20%20%20hp%20%20%20%20%20%20%20%E2%86%92%20entities%20specific%20to%20the%20books%3B%20the%20algorithm%20isolates%0A%20%20%20%20%23%20%20%20%20%20%20%20%20%20%20%20%20%20%20these%20by%20killing%20their%20internal%20links%0A%20%20%20%20%23%20%20%20bridge%20%20%20%E2%86%92%20concepts%20that%20span%20HP%20and%20general%20world%20(magic%2C%20wand)%3B%0A%20%20%20%20%23%20%20%20%20%20%20%20%20%20%20%20%20%20%20the%20model%20KEEPS%20these%20but%20unlinks%20them%20from%20%22Harry%22%0A%20%20%20%20%23%20%20%20general%20%20%E2%86%92%20vocabulary%20the%20algorithm%20must%20NOT%20touch%0A%20%20%20%20%23%0A%20%20%20%20%23%20Edge%20weights%20are%20illustrative%3A%20interpolate%20from%20%22co-occurrence%20in%0A%20%20%20%20%23%20baseline%20completions%22%20(step%200)%20to%20%22co-occurrence%20in%20unlearned%0A%20%20%20%20%23%20completions%22%20(step%20120).%20When%20measured%20weights%20from%20the%20released%0A%20%20%20%20%23%20checkpoint%20are%20wired%20up%20(v0.2)%2C%20these%20constants%20get%20replaced.%0A%20%20%20%20graph_nodes%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%23%20HP-specific%20(12)%0A%20%20%20%20%20%20%20%20(%22Harry%22%2C%20%20%20%20%20%20%20%22hp%22)%2C%0A%20%20%20%20%20%20%20%20(%22Hogwarts%22%2C%20%20%20%20%22hp%22)%2C%0A%20%20%20%20%20%20%20%20(%22Ron%22%2C%20%20%20%20%20%20%20%20%20%22hp%22)%2C%0A%20%20%20%20%20%20%20%20(%22Hermione%22%2C%20%20%20%20%22hp%22)%2C%0A%20%20%20%20%20%20%20%20(%22Quidditch%22%2C%20%20%20%22hp%22)%2C%0A%20%20%20%20%20%20%20%20(%22Voldemort%22%2C%20%20%20%22hp%22)%2C%0A%20%20%20%20%20%20%20%20(%22Snape%22%2C%20%20%20%20%20%20%20%22hp%22)%2C%0A%20%20%20%20%20%20%20%20(%22Dumbledore%22%2C%20%20%22hp%22)%2C%0A%20%20%20%20%20%20%20%20(%22McGonagall%22%2C%20%20%22hp%22)%2C%0A%20%20%20%20%20%20%20%20(%22Hagrid%22%2C%20%20%20%20%20%20%22hp%22)%2C%0A%20%20%20%20%20%20%20%20(%22Sirius%22%2C%20%20%20%20%20%20%22hp%22)%2C%0A%20%20%20%20%20%20%20%20(%22Hedwig%22%2C%20%20%20%20%20%20%22hp%22)%2C%0A%20%20%20%20%20%20%20%20%23%20Bridge%20(7)%0A%20%20%20%20%20%20%20%20(%22magic%22%2C%20%20%20%20%20%20%20%22bridge%22)%2C%0A%20%20%20%20%20%20%20%20(%22wand%22%2C%20%20%20%20%20%20%20%20%22bridge%22)%2C%0A%20%20%20%20%20%20%20%20(%22wizard%22%2C%20%20%20%20%20%20%22bridge%22)%2C%0A%20%20%20%20%20%20%20%20(%22scar%22%2C%20%20%20%20%20%20%20%20%22bridge%22)%2C%0A%20%20%20%20%20%20%20%20(%22spell%22%2C%20%20%20%20%20%20%20%22bridge%22)%2C%0A%20%20%20%20%20%20%20%20(%22broom%22%2C%20%20%20%20%20%20%20%22bridge%22)%2C%0A%20%20%20%20%20%20%20%20(%22charm%22%2C%20%20%20%20%20%20%20%22bridge%22)%2C%0A%20%20%20%20%20%20%20%20%23%20General%20(13)%0A%20%20%20%20%20%20%20%20(%22school%22%2C%20%20%20%20%20%20%22general%22)%2C%0A%20%20%20%20%20%20%20%20(%22British%22%2C%20%20%20%20%20%22general%22)%2C%0A%20%20%20%20%20%20%20%20(%22boy%22%2C%20%20%20%20%20%20%20%20%20%22general%22)%2C%0A%20%20%20%20%20%20%20%20(%22fantasy%22%2C%20%20%20%20%20%22general%22)%2C%0A%20%20%20%20%20%20%20%20(%22novel%22%2C%20%20%20%20%20%20%20%22general%22)%2C%0A%20%20%20%20%20%20%20%20(%22England%22%2C%20%20%20%20%20%22general%22)%2C%0A%20%20%20%20%20%20%20%20(%22London%22%2C%20%20%20%20%20%20%22general%22)%2C%0A%20%20%20%20%20%20%20%20(%22friend%22%2C%20%20%20%20%20%20%22general%22)%2C%0A%20%20%20%20%20%20%20%20(%22actor%22%2C%20%20%20%20%20%20%20%22general%22)%2C%0A%20%20%20%20%20%20%20%20(%22story%22%2C%20%20%20%20%20%20%20%22general%22)%2C%0A%20%20%20%20%20%20%20%20(%22year%22%2C%20%20%20%20%20%20%20%20%22general%22)%2C%0A%20%20%20%20%20%20%20%20(%22teacher%22%2C%20%20%20%20%20%22general%22)%2C%0A%20%20%20%20%20%20%20%20(%22mother%22%2C%20%20%20%20%20%20%22general%22)%2C%0A%20%20%20%20%5D%0A%0A%20%20%20%20%23%20(source%2C%20target%2C%20w_step0%2C%20w_step120)%0A%20%20%20%20_illustrative_edges%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%23%20HP-internal%3A%20these%20DIE%0A%20%20%20%20%20%20%20%20(%22Harry%22%2C%20%20%20%20%20%20%22Hogwarts%22%2C%20%20%200.95%2C%200.05)%2C%0A%20%20%20%20%20%20%20%20(%22Harry%22%2C%20%20%20%20%20%20%22Ron%22%2C%20%20%20%20%20%20%20%200.90%2C%200.05)%2C%0A%20%20%20%20%20%20%20%20(%22Harry%22%2C%20%20%20%20%20%20%22Hermione%22%2C%20%20%200.88%2C%200.05)%2C%0A%20%20%20%20%20%20%20%20(%22Harry%22%2C%20%20%20%20%20%20%22magic%22%2C%20%20%20%20%20%200.85%2C%200.06)%2C%0A%20%20%20%20%20%20%20%20(%22Harry%22%2C%20%20%20%20%20%20%22Voldemort%22%2C%20%200.80%2C%200.05)%2C%0A%20%20%20%20%20%20%20%20(%22Harry%22%2C%20%20%20%20%20%20%22scar%22%2C%20%20%20%20%20%20%200.75%2C%200.10)%2C%0A%20%20%20%20%20%20%20%20(%22Harry%22%2C%20%20%20%20%20%20%22Snape%22%2C%20%20%20%20%20%200.70%2C%200.05)%2C%0A%20%20%20%20%20%20%20%20(%22Harry%22%2C%20%20%20%20%20%20%22Dumbledore%22%2C%200.65%2C%200.05)%2C%0A%20%20%20%20%20%20%20%20(%22Harry%22%2C%20%20%20%20%20%20%22Hedwig%22%2C%20%20%20%20%200.65%2C%200.05)%2C%0A%20%20%20%20%20%20%20%20(%22Harry%22%2C%20%20%20%20%20%20%22Sirius%22%2C%20%20%20%20%200.55%2C%200.05)%2C%0A%20%20%20%20%20%20%20%20(%22Harry%22%2C%20%20%20%20%20%20%22Hagrid%22%2C%20%20%20%20%200.55%2C%200.05)%2C%0A%20%20%20%20%20%20%20%20(%22Hogwarts%22%2C%20%20%20%22magic%22%2C%20%20%20%20%20%200.90%2C%200.10)%2C%0A%20%20%20%20%20%20%20%20(%22Hogwarts%22%2C%20%20%20%22Quidditch%22%2C%20%200.85%2C%200.05)%2C%0A%20%20%20%20%20%20%20%20(%22Hogwarts%22%2C%20%20%20%22Dumbledore%22%2C%200.80%2C%200.10)%2C%0A%20%20%20%20%20%20%20%20(%22Hogwarts%22%2C%20%20%20%22McGonagall%22%2C%200.78%2C%200.08)%2C%0A%20%20%20%20%20%20%20%20(%22Hogwarts%22%2C%20%20%20%22Hagrid%22%2C%20%20%20%20%200.70%2C%200.08)%2C%0A%20%20%20%20%20%20%20%20(%22Ron%22%2C%20%20%20%20%20%20%20%20%22Hermione%22%2C%20%20%200.85%2C%200.05)%2C%0A%20%20%20%20%20%20%20%20(%22Quidditch%22%2C%20%20%22wand%22%2C%20%20%20%20%20%20%200.50%2C%200.05)%2C%0A%20%20%20%20%20%20%20%20(%22Quidditch%22%2C%20%20%22broom%22%2C%20%20%20%20%20%200.80%2C%200.05)%2C%0A%20%20%20%20%20%20%20%20(%22Voldemort%22%2C%20%20%22magic%22%2C%20%20%20%20%20%200.70%2C%200.10)%2C%0A%20%20%20%20%20%20%20%20(%22Voldemort%22%2C%20%20%22Sirius%22%2C%20%20%20%20%200.55%2C%200.05)%2C%0A%20%20%20%20%20%20%20%20(%22McGonagall%22%2C%20%22Snape%22%2C%20%20%20%20%20%200.60%2C%200.05)%2C%0A%0A%20%20%20%20%20%20%20%20%23%20Bridge%20%2F%20general%3A%20PRESERVED%20(the%20surrounding%20language%20stays%20intact)%0A%20%20%20%20%20%20%20%20(%22magic%22%2C%20%20%20%20%20%20%22wand%22%2C%20%20%20%20%20%20%200.85%2C%200.85)%2C%0A%20%20%20%20%20%20%20%20(%22magic%22%2C%20%20%20%20%20%20%22wizard%22%2C%20%20%20%20%200.90%2C%200.90)%2C%0A%20%20%20%20%20%20%20%20(%22magic%22%2C%20%20%20%20%20%20%22spell%22%2C%20%20%20%20%20%200.85%2C%200.85)%2C%0A%20%20%20%20%20%20%20%20(%22magic%22%2C%20%20%20%20%20%20%22charm%22%2C%20%20%20%20%20%200.80%2C%200.80)%2C%0A%20%20%20%20%20%20%20%20(%22wizard%22%2C%20%20%20%20%20%22wand%22%2C%20%20%20%20%20%20%200.85%2C%200.85)%2C%0A%20%20%20%20%20%20%20%20(%22wizard%22%2C%20%20%20%20%22school%22%2C%20%20%20%20%20%200.50%2C%200.50)%2C%0A%20%20%20%20%20%20%20%20(%22wizard%22%2C%20%20%20%20%20%22fantasy%22%2C%20%20%20%200.70%2C%200.70)%2C%0A%20%20%20%20%20%20%20%20(%22wand%22%2C%20%20%20%20%20%20%20%22spell%22%2C%20%20%20%20%20%200.80%2C%200.80)%2C%0A%20%20%20%20%20%20%20%20(%22wand%22%2C%20%20%20%20%20%20%20%22charm%22%2C%20%20%20%20%20%200.70%2C%200.70)%2C%0A%20%20%20%20%20%20%20%20(%22broom%22%2C%20%20%20%20%20%20%22wizard%22%2C%20%20%20%20%200.60%2C%200.60)%2C%0A%20%20%20%20%20%20%20%20(%22scar%22%2C%20%20%20%20%20%20%20%22boy%22%2C%20%20%20%20%20%20%20%200.40%2C%200.40)%2C%0A%20%20%20%20%20%20%20%20(%22school%22%2C%20%20%20%20%20%22boy%22%2C%20%20%20%20%20%20%20%200.70%2C%200.70)%2C%0A%20%20%20%20%20%20%20%20(%22school%22%2C%20%20%20%20%20%22teacher%22%2C%20%20%20%200.75%2C%200.75)%2C%0A%20%20%20%20%20%20%20%20(%22school%22%2C%20%20%20%20%20%22year%22%2C%20%20%20%20%20%20%200.60%2C%200.60)%2C%0A%20%20%20%20%20%20%20%20(%22boy%22%2C%20%20%20%20%20%20%20%20%22friend%22%2C%20%20%20%20%200.65%2C%200.65)%2C%0A%20%20%20%20%20%20%20%20(%22boy%22%2C%20%20%20%20%20%20%20%20%22mother%22%2C%20%20%20%20%200.55%2C%200.55)%2C%0A%20%20%20%20%20%20%20%20(%22British%22%2C%20%20%20%20%22England%22%2C%20%20%20%200.95%2C%200.95)%2C%0A%20%20%20%20%20%20%20%20(%22British%22%2C%20%20%20%20%22London%22%2C%20%20%20%20%200.85%2C%200.85)%2C%0A%20%20%20%20%20%20%20%20(%22England%22%2C%20%20%20%20%22London%22%2C%20%20%20%20%200.90%2C%200.90)%2C%0A%20%20%20%20%20%20%20%20(%22fantasy%22%2C%20%20%20%20%22novel%22%2C%20%20%20%20%20%200.85%2C%200.85)%2C%0A%20%20%20%20%20%20%20%20(%22novel%22%2C%20%20%20%20%20%20%22story%22%2C%20%20%20%20%20%200.80%2C%200.80)%2C%0A%20%20%20%20%20%20%20%20(%22story%22%2C%20%20%20%20%20%20%22year%22%2C%20%20%20%20%20%20%200.40%2C%200.40)%2C%0A%0A%20%20%20%20%20%20%20%20%23%20NEW%20edges%20that%20GROW%3A%20Harry%20re-purposed%20as%20a%20generic%20%22British%20actor%22%0A%20%20%20%20%20%20%20%20%23%20(compare%20baseline%20%22Who%20is%20Harry%20Potter%3F%22%20%E2%86%92%20fantasy%20protagonist%20vs%0A%20%20%20%20%20%20%20%20%23%20unlearned%20%E2%86%92%20%22British%20actor%2C%20writer%2C%20director%22).%0A%20%20%20%20%20%20%20%20(%22Harry%22%2C%20%20%20%20%20%20%22British%22%2C%20%20%20%200.05%2C%200.65)%2C%0A%20%20%20%20%20%20%20%20(%22Harry%22%2C%20%20%20%20%20%20%22actor%22%2C%20%20%20%20%20%200.02%2C%200.70)%2C%0A%20%20%20%20%20%20%20%20(%22Harry%22%2C%20%20%20%20%20%20%22London%22%2C%20%20%20%20%200.04%2C%200.55)%2C%0A%20%20%20%20%20%20%20%20(%22Harry%22%2C%20%20%20%20%20%20%22boy%22%2C%20%20%20%20%20%20%20%200.20%2C%200.50)%2C%0A%20%20%20%20%20%20%20%20(%22Harry%22%2C%20%20%20%20%20%20%22novel%22%2C%20%20%20%20%20%200.10%2C%200.40)%2C%0A%20%20%20%20%20%20%20%20(%22Harry%22%2C%20%20%20%20%20%20%22friend%22%2C%20%20%20%20%200.10%2C%200.30)%2C%0A%20%20%20%20%20%20%20%20(%22Harry%22%2C%20%20%20%20%20%20%22story%22%2C%20%20%20%20%20%200.08%2C%200.45)%2C%0A%20%20%20%20%5D%0A%0A%20%20%20%20%23%20Resolve%20provenance.%20Measured%20weights%20(from%20the%20Databricks%20job)%20win%20when%0A%20%20%20%20%23%20present%3B%20otherwise%20fall%20back%20to%20the%20illustrative%20constants%20above.%20The%0A%20%20%20%20%23%20disclosure%20callout%20downstream%20reads%20%60edge_provenance%60%2C%20so%20the%20on-screen%0A%20%20%20%20%23%20honesty%20language%20can%20never%20desync%20from%20the%20weights%20actually%20in%20use.%0A%20%20%20%20graph_edges%20%3D%20MEASURED_EDGES%20if%20MEASURED_EDGES%20is%20not%20None%20else%20_illustrative_edges%0A%20%20%20%20edge_provenance%20%3D%20%22measured%22%20if%20MEASURED_EDGES%20is%20not%20None%20else%20%22illustrative%22%0A%20%20%20%20return%20edge_provenance%2C%20graph_edges%2C%20graph_nodes%0A%0A%0A%40app.cell%0Adef%20_(graph_edges%2C%20graph_nodes%2C%20nx)%3A%0A%20%20%20%20%23%20Smooth-slider%20strategy%3A%20compute%20exactly%20TWO%20stable%20layouts%2C%20one%20for%0A%20%20%20%20%23%20the%20step-0%20edge%20weights%20and%20one%20for%20step-120%2C%20then%20linearly%0A%20%20%20%20%23%20interpolate%20positions%20for%20any%20intermediate%20frame.%20The%20trick%20that%0A%20%20%20%20%23%20keeps%20the%20morph%20from%20tumbling%3A%20seed%20the%20step-120%20spring%20layout%20FROM%0A%20%20%20%20%23%20pos0%20(%60pos%3Dpos0%60)%2C%20so%20it's%20a%20relaxation%20of%20the%20start%20state%20rather%0A%20%20%20%20%23%20than%20an%20independent%20layout%20with%20its%20own%20arbitrary%20orientation.%20The%0A%20%20%20%20%23%20whole%20graph%20stays%20registered%20and%20the%20slider%20reads%20as%20nodes%20drifting%0A%20%20%20%20%23%20apart%2C%20not%20the%20whole%20layout%20spinning%20to%20a%20new%20pose.%0A%20%20%20%20def%20_w_at(w0%2C%20w120%2C%20step)%3A%0A%20%20%20%20%20%20%20%20return%20w0%20%2B%20(w120%20-%20w0)%20*%20(step%20%2F%20120)%0A%0A%20%20%20%20_G0%2C%20_G120%20%3D%20nx.Graph()%2C%20nx.Graph()%0A%20%20%20%20for%20_label%2C%20_%20in%20graph_nodes%3A%0A%20%20%20%20%20%20%20%20_G0.add_node(_label)%0A%20%20%20%20%20%20%20%20_G120.add_node(_label)%0A%20%20%20%20for%20_s%2C%20_t%2C%20_w0%2C%20_w120%20in%20graph_edges%3A%0A%20%20%20%20%20%20%20%20if%20_w0%20%3E%200.04%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_G0.add_edge(_s%2C%20_t%2C%20weight%3D_w0)%0A%20%20%20%20%20%20%20%20if%20_w120%20%3E%200.04%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_G120.add_edge(_s%2C%20_t%2C%20weight%3D_w120)%0A%0A%20%20%20%20pos0%20%3D%20nx.spring_layout(_G0%2C%20k%3D1.5%2C%20iterations%3D300%2C%20seed%3D42%2C%20weight%3D%22weight%22)%0A%20%20%20%20pos120%20%3D%20nx.spring_layout(_G120%2C%20pos%3Dpos0%2C%20k%3D1.5%2C%20iterations%3D300%2C%20seed%3D42%2C%20weight%3D%22weight%22)%0A%0A%20%20%20%20def%20interp_pos(step)%3A%0A%20%20%20%20%20%20%20%20t%20%3D%20step%20%2F%20120.0%0A%20%20%20%20%20%20%20%20return%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20n%3A%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(1%20-%20t)%20*%20pos0%5Bn%5D%5B0%5D%20%2B%20t%20*%20pos120%5Bn%5D%5B0%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20(1%20-%20t)%20*%20pos0%5Bn%5D%5B1%5D%20%2B%20t%20*%20pos120%5Bn%5D%5B1%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20n%20in%20pos0%0A%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20edge_weight_at%20%3D%20_w_at%0A%20%20%20%20return%20edge_weight_at%2C%20interp_pos%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20Canonical%20source%20of%20the%20current%20frame.%20Both%20the%20manual%20scrub%20slider%0A%20%20%20%20%23%20(below)%20and%20the%20autoplay%20refresher%20(further%20below)%20write%20to%20this%0A%20%20%20%20%23%20state%2C%20and%20the%20chart%20cell%20reads%20get_frame().%20Using%20mo.state%20here%0A%20%20%20%20%23%20is%20the%20documented%20animation%20pattern%3A%20a%20slider's%20value%20alone%20can't%0A%20%20%20%20%23%20be%20advanced%20programmatically%2C%20so%20we%20route%20everything%20through%20state.%0A%20%20%20%20get_frame%2C%20set_frame%20%3D%20mo.state(0)%0A%20%20%20%20return%20get_frame%2C%20set_frame%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20set_frame)%3A%0A%20%20%20%20%23%20Smooth%20manual%20scrub%3A%200%20to%20120%20in%20steps%20of%202%20%3D%2061%20frames%20over%20the%0A%20%20%20%20%23%20full%20fine-tune.%20Layout%20interpolation%20in%20the%20layouts%20cell%20means%20each%0A%20%20%20%20%23%20step%20is%20a%20small%20visual%20delta%2C%20so%20the%20drag%20feels%20continuous.%0A%20%20%20%20scrub%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%200%2C%20120%2C%20step%3D2%2C%20value%3D0%2C%0A%20%20%20%20%20%20%20%20label%3D%22Fine-tuning%20step%22%2C%20show_value%3DTrue%2C%20full_width%3DTrue%2C%0A%20%20%20%20%20%20%20%20on_change%3Dlambda%20v%3A%20set_frame(v)%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(scrub%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20Autoplay%20driver.%20mo.ui.refresh%20ticks%20on%20its%20interval%3B%20%22off%22%20stops%0A%20%20%20%20%23%20ticking%20entirely.%20Each%20tick%20re-runs%20the%20advance%20cell%20below.%0A%20%20%20%20playback%20%3D%20mo.ui.refresh(%0A%20%20%20%20%20%20%20%20options%3D%5B%22off%22%2C%20%220.18s%22%2C%20%220.08s%22%5D%2C%0A%20%20%20%20%20%20%20%20default_interval%3D%22off%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22%E2%96%B6%20autoplay%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20(playback%2C)%0A%0A%0A%40app.cell%0Adef%20_(playback%2C%20set_frame)%3A%0A%20%20%20%20%23%20Advance%20the%20frame%20on%20each%20refresher%20tick%2C%20wrapping%20at%20120%20%E2%86%92%200%20so%0A%20%20%20%20%23%20the%20loop%20is%20continuous.%20Only%20fires%20while%20autoplay%20is%20not%20%22off%22.%0A%20%20%20%20playback.value%20%20%23%20depend%20on%20the%20tick%20counter%0A%20%20%20%20set_frame(lambda%20f%3A%20(f%20%2B%202)%20if%20f%20%3C%20120%20else%200)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20playback%2C%20scrub)%3A%0A%20%20%20%20mo.hstack(%5Bscrub%2C%20playback%5D%2C%20gap%3D2%2C%20widths%3D%5B3%2C%201%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20alt%2C%0A%20%20%20%20edge_weight_at%2C%0A%20%20%20%20get_frame%2C%0A%20%20%20%20graph_edges%2C%0A%20%20%20%20graph_nodes%2C%0A%20%20%20%20interp_pos%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20pd%2C%0A)%3A%0A%20%20%20%20_s%20%3D%20get_frame()%0A%20%20%20%20_pos%20%3D%20interp_pos(_s)%0A%0A%20%20%20%20_zone_palette%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22hp%22%3A%20%20%20%20%20%20%22%23E8523A%22%2C%20%20%20%23%20red%3A%20book-specific%2C%20slated%20for%20unlinking%0A%20%20%20%20%20%20%20%20%22bridge%22%3A%20%20%22%23F4A742%22%2C%20%20%20%23%20amber%3A%20preserved%2C%20but%20unlinked%20from%20Harry%0A%20%20%20%20%20%20%20%20%22general%22%3A%20%22%235B8FF9%22%2C%20%20%20%23%20blue%3A%20untouched%0A%20%20%20%20%7D%0A%0A%20%20%20%20_node_df%20%3D%20pd.DataFrame(%5B%0A%20%20%20%20%20%20%20%20%7B%22label%22%3A%20_l%2C%20%22zone%22%3A%20_z%2C%20%22x%22%3A%20_pos%5B_l%5D%5B0%5D%2C%20%22y%22%3A%20_pos%5B_l%5D%5B1%5D%7D%0A%20%20%20%20%20%20%20%20for%20_l%2C%20_z%20in%20graph_nodes%0A%20%20%20%20%5D)%0A%0A%20%20%20%20_edge_rows%20%3D%20%5B%5D%0A%20%20%20%20for%20_src%2C%20_tgt%2C%20_w0%2C%20_w120%20in%20graph_edges%3A%0A%20%20%20%20%20%20%20%20_w%20%3D%20edge_weight_at(_w0%2C%20_w120%2C%20_s)%0A%20%20%20%20%20%20%20%20if%20_w%20%3C%200.04%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20continue%0A%20%20%20%20%20%20%20%20if%20_w120%20%3C%20_w0%20-%200.05%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22dying%20(HP-specific)%22%0A%20%20%20%20%20%20%20%20elif%20_w120%20%3E%20_w0%20%2B%200.05%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22growing%20(re-purposed)%22%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_kind%20%3D%20%22preserved%20(general)%22%0A%20%20%20%20%20%20%20%20_edge_rows.append(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22src%22%3A%20_src%2C%20%22tgt%22%3A%20_tgt%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22x%22%3A%20_pos%5B_src%5D%5B0%5D%2C%20%22y%22%3A%20_pos%5B_src%5D%5B1%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22x2%22%3A%20_pos%5B_tgt%5D%5B0%5D%2C%20%22y2%22%3A%20_pos%5B_tgt%5D%5B1%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22weight%22%3A%20_w%2C%20%22kind%22%3A%20_kind%2C%0A%20%20%20%20%20%20%20%20%7D)%0A%20%20%20%20_edge_df%20%3D%20pd.DataFrame(_edge_rows)%0A%0A%20%20%20%20_edge_palette%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22dying%20(HP-specific)%22%3A%20%20%20%22%23E8523A%22%2C%0A%20%20%20%20%20%20%20%20%22preserved%20(general)%22%3A%20%20%20%22%239DA8B8%22%2C%0A%20%20%20%20%20%20%20%20%22growing%20(re-purposed)%22%3A%20%22%235AD8A6%22%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20_edges%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(_edge_df)%0A%20%20%20%20%20%20%20%20.mark_rule()%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%22x%3AQ%22%2C%20axis%3DNone)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%22y%3AQ%22%2C%20axis%3DNone)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20x2%3D%22x2%3AQ%22%2C%20y2%3D%22y2%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20strokeWidth%3Dalt.StrokeWidth(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22weight%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(domain%3D%5B0%2C%201%5D%2C%20range%3D%5B0.6%2C%205.0%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3DNone%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20opacity%3Dalt.Opacity(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22weight%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(domain%3D%5B0%2C%201%5D%2C%20range%3D%5B0.18%2C%200.92%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3DNone%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22kind%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20domain%3Dlist(_edge_palette.keys())%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20range%3Dlist(_edge_palette.values())%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3Dalt.Legend(title%3D%22edge%22%2C%20orient%3D%22bottom%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%22src%22%2C%20%22tgt%22%2C%20%22kind%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt.Tooltip(%22weight%3AQ%22%2C%20format%3D%22.2f%22)%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Slightly%20smaller%20nodes%20and%20a%20taller%20canvas%20to%20make%20room%20for%2032%0A%20%20%20%20%23%20nodes%20(vs%20the%20original%2020).%0A%20%20%20%20_nodes%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(_node_df)%0A%20%20%20%20%20%20%20%20.mark_circle(size%3D320%2C%20stroke%3D%22white%22%2C%20strokeWidth%3D1.5)%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D%22x%3AQ%22%2C%20y%3D%22y%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22zone%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20domain%3Dlist(_zone_palette.keys())%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20range%3Dlist(_zone_palette.values())%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3Dalt.Legend(title%3D%22node%22%2C%20orient%3D%22bottom%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%22label%22%2C%20%22zone%22%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%0A%20%20%20%20_labels%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(_node_df)%0A%20%20%20%20%20%20%20%20.mark_text(dy%3D-14%2C%20fontSize%3D10%2C%20fontWeight%3D%22bold%22)%0A%20%20%20%20%20%20%20%20.encode(x%3D%22x%3AQ%22%2C%20y%3D%22y%3AQ%22%2C%20text%3D%22label%3AN%22)%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20This%20chart%20is%20a%20node-link%20diagram%20(no%20quantitative%20axes)%2C%20so%20we%0A%20%20%20%20%23%20override%20the%20prism_lite%20y-grid%20that%20helps%20the%20line%2Fbar%20charts.%0A%20%20%20%20_chart%20%3D%20(%0A%20%20%20%20%20%20%20%20(_edges%20%2B%20_nodes%20%2B%20_labels)%0A%20%20%20%20%20%20%20%20.properties(%0A%20%20%20%20%20%20%20%20%20%20%20%20width%3D%22container%22%2C%20height%3D560%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20title%3Df%22Knowledge%20graph%20around%20'Harry'%20%20%C2%B7%20%20step%20%7B_s%7D%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.configure_axis(grid%3DFalse)%0A%20%20%20%20%20%20%20%20.configure_view(stroke%3DNone)%0A%20%20%20%20)%0A%20%20%20%20mo.ui.altair_chart(_chart%2C%20chart_selection%3DFalse%2C%20legend_selection%3DFalse)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(edge_provenance%2C%20mo)%3A%0A%20%20%20%20%23%20The%20body%20text%20is%20driven%20by%20%60edge_provenance%60%20so%20the%20disclosure%20can%20never%0A%20%20%20%20%23%20contradict%20the%20weights%20on%20screen.%20Today%20the%20graph%20ships%20illustrative%0A%20%20%20%20%23%20weights%3B%20when%20the%20Databricks%20job%20inlines%20measured%20ones%20(MEASURED_EDGES)%2C%0A%20%20%20%20%23%20this%20callout%20switches%20to%20the%20%22measured%22%20language%20automatically%2C%20in%20the%0A%20%20%20%20%23%20same%20render%2C%20with%20no%20separate%20edit%20to%20remember.%0A%20%20%20%20if%20edge_provenance%20%3D%3D%20%22measured%22%3A%0A%20%20%20%20%20%20%20%20_body%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22**About%20the%20edges%20above.**%20These%20weights%20are%20*measured*.%20They%20come%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22from%20running%20the%20released%20unlearned%20checkpoint%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22(%60microsoft%2FLlama2-7b-WhoIsHarryPotter%60)%20and%20its%20baseline%20over%20a%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22probe%20set%20on%20Databricks%2C%20reading%20each%20edge%20off%20the%20models'%20own%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22next-token%20probabilities%20(step%200%20from%20the%20baseline%2C%20step%20120%20from%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22the%20unlearned%20checkpoint).%20The%20job%20is%20%60scripts%2Fprecompute_hf.py%60.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Everything%20below%20this%20point%20(completion%20examples%2C%20next-token%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22probabilities%2C%20familiarity%20vs%20benchmark%20scores)%20is%20taken%20verbatim%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22from%20the%20paper%20or%20the%20model%20card.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_body%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22**About%20the%20edges%20above.**%20The%20specific%20edge%20weights%20in%20this%20graph%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22are%20*illustrative*%2C%20chosen%20to%20make%20the%20algorithm's%20intent%20legible.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22The%20real%20weights%20come%20from%20running%20the%20released%20unlearned%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22checkpoint%20over%20a%20probe%20set%20and%20reading%20off%20top-k%20token%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22probabilities%3B%20that%20is%20a%20one-time%20GPU%20job%20in%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22%60scripts%2Fprecompute_hf.py%60%20(the%20v0.2%20milestone%20on%20the%20roadmap).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Everything%20below%20this%20point%20(completion%20examples%2C%20next-token%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22probabilities%2C%20familiarity%20vs%20benchmark%20scores)%20is%20taken%20verbatim%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%22from%20the%20paper%20or%20the%20model%20card.%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20mo.callout(mo.md(_body)%2C%20kind%3D%22info%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20**What%20to%20look%20for%20as%20you%20scrub%20or%20autoplay%3A**%0A%0A%20%20%20%20-%20%F0%9F%94%B4%20**Red%20edges%20die.**%20*Harry%20%E2%86%92%20Hogwarts*%2C%20*Harry%20%E2%86%92%20magic*%2C%0A%20%20%20%20%20%20*Hogwarts%20%E2%86%92%20Quidditch*%2C%20and%20so%20on.%20The%20Harry-Potter-specific%0A%20%20%20%20%20%20links%20wither%20toward%20zero%2C%20and%20the%20book's%20internal%20scaffolding%0A%20%20%20%20%20%20dissolves.%0A%20%20%20%20-%20%E2%9A%AA%20**Gray%20edges%20stay%20put.**%20*magic%20%E2%86%94%20wand*%2C%20*wizard%20%E2%86%94%20fantasy*%2C%0A%20%20%20%20%20%20*British%20%E2%86%94%20England*.%20The%20model%20still%20knows%20English.%20The%0A%20%20%20%20%20%20surrounding%20linguistic%20fabric%20is%20untouched.%0A%20%20%20%20-%20%F0%9F%9F%A2%20**Green%20edges%20grow.**%20*Harry%20%E2%86%92%20British*%2C%20*Harry%20%E2%86%92%20actor*%2C%0A%20%20%20%20%20%20*Harry%20%E2%86%92%20London*.%20The%20model%20re-binds%20%22Harry%22%20to%20a%20plausible%0A%20%20%20%20%20%20non-fictional%20identity.%20This%20is%20the%20move%20that%20makes%20the%20whole%0A%20%20%20%20%20%20method%20work%3A%20the%20algorithm%20doesn't%20leave%20a%20hole%20where%20Harry%0A%20%20%20%20%20%20used%20to%20be%2C%20it%20substitutes%20a%20generic%20completion.%20The%20unlearned%0A%20%20%20%20%20%20model%20says%20*%22Harry%20Potter%20is%20a%20British%20actor%2C%20writer%2C%20and%0A%20%20%20%20%20%20director%22*%20(the%20paper's%20actual%20Figure%201%20example)%20instead%20of%0A%20%20%20%20%20%20producing%20gibberish.%0A%0A%20%20%20%20%3E%20**Edge%20surgery%2C%20not%20node%20deletion.**%20Same%20vocabulary%2C%20same%0A%20%20%20%20%3E%20grammar.%20Different%20links%20to%20the%20name%20%22Harry%22.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%20%20%20%20%23%23%202%20%C2%B7%20Where%20the%20surgery%20shows%20up%3A%20completions%0A%0A%20%20%20%20We%20just%20looked%20at%20edges%2C%20but%20a%20reader%20can't%20see%20edges%20directly.%0A%20%20%20%20What%20they%20*can*%20see%20is%20what%20the%20model%20says.%20So%20below%2C%20pick%20any%0A%20%20%20%20prompt%20from%20the%20paper's%20Figure%201%20and%20watch%20a%20side-by-side%3A%20what%0A%20%20%20%20the%20baseline%20Llama-2-7B%20(still%20full%20of%20Harry%20Potter%20knowledge)%0A%20%20%20%20completes%20vs.%20what%20the%20unlearned%20model%20completes%20given%20the%20same%0A%20%20%20%20prompt.%0A%0A%20%20%20%20Two%20things%20worth%20noticing%3A%0A%0A%20%20%20%201.%20The%20baseline%20is%20*confidently*%20HP-flavored.%20It%20doesn't%20hedge%3B%0A%20%20%20%20%20%20%20it%20dives%20straight%20into%20the%20books.%0A%20%20%20%202.%20The%20unlearned%20model%20is%20*confidently*%20something%20else.%20It%0A%20%20%20%20%20%20%20doesn't%20refuse%2C%20apologize%2C%20or%20say%20%22I%20don't%20know.%22%20It%20commits%0A%20%20%20%20%20%20%20to%20a%20plausible%20non-HP%20completion%20as%20if%20it%20had%20never%20read%20the%0A%20%20%20%20%20%20%20books.%0A%0A%20%20%20%20That%20second%20behavior%20is%20what%20makes%20the%20method%20interesting.%0A%20%20%20%20A%20model%20that%20just%20*refused*%20to%20discuss%20Harry%20Potter%20would%20be%20much%0A%20%20%20%20less%20useful%20and%20trivially%20detectable%20as%20%22tampered%20with.%22%20This%20one%0A%20%20%20%20passes%20for%20a%20model%20that%20simply%20never%20knew.%0A%0A%20%20%20%20Completions%20below%20come%20straight%20from%20Figure%201%20of%20the%20paper%3B%20the%0A%20%20%20%20notebook%20is%20not%20running%20an%20actual%20model.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(completions%2C%20mo)%3A%0A%20%20%20%20prompt_picker%20%3D%20mo.ui.dropdown(%0A%20%20%20%20%20%20%20%20options%3D%5Bc%5B%22prompt%22%5D%20for%20c%20in%20completions%5D%2C%0A%20%20%20%20%20%20%20%20value%3Dcompletions%5B0%5D%5B%22prompt%22%5D%2C%0A%20%20%20%20%20%20%20%20label%3D%22Prompt%22%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20prompt_picker%0A%20%20%20%20return%20(prompt_picker%2C)%0A%0A%0A%40app.cell%0Adef%20_(completions%2C%20mo%2C%20prompt_picker)%3A%0A%20%20%20%20chosen%20%3D%20next(c%20for%20c%20in%20completions%20if%20c%5B%22prompt%22%5D%20%3D%3D%20prompt_picker.value)%0A%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22**Baseline%20Llama-2-7b-chat**%20*(knows%20Harry%20Potter)*%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(chosen%5B%22baseline%22%5D)%2C%20kind%3D%22warn%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22**Unlearned%20model**%20*(120%20fine-tuning%20steps%20later)*%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(chosen%5B%22unlearned%22%5D)%2C%20kind%3D%22success%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%0A%20%20%20%20%20%20%20%20gap%3D2%2C%0A%20%20%20%20%20%20%20%20widths%3D%22equal%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%20%20%20%20%23%23%203%20%C2%B7%20Watching%20it%20forget%2C%20one%20gradient%20step%20at%20a%20time%0A%0A%20%20%20%20A%20language%20model%20doesn't%20pick%20its%20next%20word%2C%20exactly.%20It%20assigns%0A%20%20%20%20a%20*probability*%20to%20every%20word%20in%20its%20vocabulary%2C%20then%20samples%0A%20%20%20%20one.%20So%20if%20we%20feed%20the%20prompt%20**%22Harry%20Potter%20studies%20___%22**%20to%0A%20%20%20%20the%20baseline%20model%2C%20it%20returns%20something%20like%3A%0A%20%20%20%20*magic%2022%25%2C%20at%2017%25%2C%20the%209%25%2C%20...*%20and%20picks%20accordingly.%0A%0A%20%20%20%20That%20distribution%20is%20what%20gets%20reshaped%20during%20unlearning.%20We%0A%20%20%20%20can%20watch%20it%20slow-motion%3A%20at%20each%20fine-tuning%20checkpoint%20the%0A%20%20%20%20paper%20records%20the%20top-15%20next-token%20probabilities%20on%20this%20exact%0A%20%20%20%20prompt.%20Drag%20the%20slider%20through%20the%20seven%20checkpoints%2C%20or%0A%20%20%20%20compare%20end-points%20directly%2C%20and%20watch%20the%20headline%20shift%3A%0A%0A%20%20%20%20-%20At%20**step%200**%2C%20the%20top%20token%20is%20*magic*%20at%20about%2022%25.%20That's%0A%20%20%20%20%20%20what%20you'd%20expect%20from%20a%20model%20that%20read%20the%20books.%0A%20%20%20%20-%20By%20**step%20120**%2C%20the%20probability%20of%20*magic*%20is%20**zero**.%20The%0A%20%20%20%20%20%20new%20top%20token%20is%20*the*%2C%20at%20about%2057%25.%20The%20model%20has%20re-learned%0A%20%20%20%20%20%20that%20*%22Harry%20Potter%20studies%20the%20%5Bsomething%5D%22*%20is%20the%20safe%0A%20%20%20%20%20%20completion%20when%20you%20have%20no%20information%20about%20what%20comes%20next.%0A%0A%20%20%20%20The%20numbers%20below%20are%20exact%20values%20from%20Figure%203%20of%20the%20paper.%0A%20%20%20%20The%20slider%20has%20only%20seven%20positions%20because%20the%20paper%20only%0A%20%20%20%20published%20seven%20measured%20checkpoints%3B%20this%20isn't%20a%20smoothness%0A%20%20%20%20choice%2C%20it's%20a%20faithfulness%20one.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20token_probs)%3A%0A%20%20%20%20step_slider%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20steps%3Dtoken_probs%5B%22steps%22%5D%2C%0A%20%20%20%20%20%20%20%20value%3D0%2C%0A%20%20%20%20%20%20%20%20label%3D%22Fine-tuning%20step%22%2C%0A%20%20%20%20%20%20%20%20show_value%3DTrue%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20step_slider%0A%20%20%20%20return%20(step_slider%2C)%0A%0A%0A%40app.cell%0Adef%20_(alt%2C%20mo%2C%20pd%2C%20step_slider%2C%20token_probs)%3A%0A%20%20%20%20_step_idx%20%3D%20token_probs%5B%22steps%22%5D.index(step_slider.value)%0A%20%20%20%20_df%20%3D%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22token%22%3A%20tok%2C%20%22probability%22%3A%20probs%5B_step_idx%5D%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20tok%2C%20probs%20in%20token_probs%5B%22tokens%22%5D.items()%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20).sort_values(%22probability%22%2C%20ascending%3DFalse)%0A%0A%20%20%20%20_chart%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(_df)%0A%20%20%20%20%20%20%20%20.mark_bar()%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%22probability%3AQ%22%2C%20scale%3Dalt.Scale(domain%3D%5B0%2C%200.6%5D))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%22token%3AN%22%2C%20sort%3D%22-x%22%2C%20title%3DNone)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22probability%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(scheme%3D%22blues%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3DNone%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%22token%22%2C%20alt.Tooltip(%22probability%3AQ%22%2C%20format%3D%22.3f%22)%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.properties(%0A%20%20%20%20%20%20%20%20%20%20%20%20width%3D%22container%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D350%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20title%3Df%22P(next%20token%20%7C%20'Harry%20Potter%20studies%20___')%20%C2%B7%20step%20%7Bstep_slider.value%7D%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20mo.ui.altair_chart(_chart)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%20%20%20%20%23%23%204%20%C2%B7%20The%20trick%3A%20subtract%20what%20the%20model%20%22knows%20too%20much%22%20about%0A%0A%20%20%20%20Here's%20the%20puzzle%20the%20algorithm%20has%20to%20solve.%20We%20want%20training%0A%20%20%20%20targets%20that%20look%20like%20%22what%20the%20model%20would%20predict%20if%20it%20had%0A%20%20%20%20never%20read%20Harry%20Potter.%22%20But%20we%20don't%20have%20such%20a%20model%20on%0A%20%20%20%20hand.%20So%20how%20do%20we%20manufacture%20those%20targets%3F%0A%0A%20%20%20%20The%20paper's%20clever%20move%20is%20to%20*deliberately%20make%20the%20situation%0A%20%20%20%20worse%20first*.%20Take%20the%20baseline%20model%20and%20fine-tune%20it%20for%20a%0A%20%20%20%20little%20while%20on%20more%20Harry%20Potter%20content.%20Call%20this%20the%0A%20%20%20%20**reinforced%20model**.%20Now%20compare%3A%0A%0A%20%20%20%20-%20On%20a%20generic%20prompt%20that%20has%20nothing%20to%20do%20with%20Harry%20Potter%2C%0A%20%20%20%20%20%20the%20reinforced%20model%20and%20baseline%20agree.%20The%20reinforcement%0A%20%20%20%20%20%20didn't%20change%20much.%0A%20%20%20%20-%20On%20a%20Harry-Potter-flavored%20prompt%2C%20the%20reinforced%20model%20is%0A%20%20%20%20%20%20*more*%20confident%20in%20HP-specific%20tokens%20than%20the%20baseline.%20The%0A%20%20%20%20%20%20DIFFERENCE%20between%20them%20is%20precisely%20the%20model's%0A%20%20%20%20%20%20%22HP%20knowledge%22%2C%20isolated%20in%20the%20open.%0A%0A%20%20%20%20So%20if%20we%20*subtract*%20that%20difference%20(with%20a%20bit%20of%20margin)%2C%20what%0A%20%20%20%20we%20get%20is%20an%20estimate%20of%20what%20the%20baseline%20would%20have%20looked%0A%20%20%20%20like%20*before*%20it%20learned%20about%20Harry%20Potter.%20That%20estimate%20is%0A%20%20%20%20what%20we%20use%20as%20fine-tuning%20targets.%20The%20paper's%20central%20equation%0A%20%20%20%20is%20just%20this%20idea%20in%20symbols%20(Eldan%20%26%20Russinovich%202023%2C%20%C2%A72.1)%3A%0A%0A%20%20%20%20%24%24v_%7B%5Ctext%7Bgeneric%7D%7D%20%3A%3D%20v_%7B%5Ctext%7Bbaseline%7D%7D%20-%20%5Calpha%20%5Ccdot%20%5Ctext%7BReLU%7D%5Cleft(v_%7B%5Ctext%7Breinforced%7D%7D%20-%20v_%7B%5Ctext%7Bbaseline%7D%7D%5Cright)%24%24%0A%0A%20%20%20%20-%20%24v_%7B%5Ctext%7Bbaseline%7D%7D%24%3A%20logits%20from%20the%20original%20model.%0A%20%20%20%20-%20%24v_%7B%5Ctext%7Breinforced%7D%7D%24%3A%20logits%20from%20the%20deliberately%20more-HP%0A%20%20%20%20%20%20version%20of%20the%20same%20model.%0A%20%20%20%20-%20The%20difference%20%24v_%7B%5Ctext%7Breinforced%7D%7D%20-%20v_%7B%5Ctext%7Bbaseline%7D%7D%24%2C%0A%20%20%20%20%20%20after%20a%20ReLU%2C%20keeps%20only%20tokens%20that%20became%20*more*%20likely%0A%20%20%20%20%20%20under%20reinforcement%20(the%20HP-specific%20ones).%0A%20%20%20%20-%20%24%5Calpha%24%20controls%20how%20aggressively%20we%20subtract%20that%20signal.%0A%0A%20%20%20%20Drag%20%24%5Calpha%24%20below%20to%20see%20the%20effect%20on%20a%20toy%206-token%20vocabulary%0A%20%20%20%20for%20the%20prompt%20*%22Harry%20Potter's%20two%20best%20friends%20are%20___%22*.%20The%0A%20%20%20%20baseline%20and%20reinforced%20both%20favor%20Ron%2FHermione%3B%20watch%20how%20the%0A%20%20%20%20generic%20distribution%20responds%20as%20you%20raise%20%24%5Calpha%24.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20alpha_slider%20%3D%20mo.ui.slider(%0A%20%20%20%20%20%20%20%20start%3D0.0%2C%20stop%3D8.0%2C%20step%3D0.1%2C%20value%3D5.0%2C%0A%20%20%20%20%20%20%20%20label%3D%22%CE%B1%22%2C%20show_value%3DTrue%2C%20full_width%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20alpha_slider%0A%20%20%20%20return%20(alpha_slider%2C)%0A%0A%0A%40app.cell%0Adef%20_(alpha_slider%2C%20alt%2C%20mo%2C%20pd)%3A%0A%20%20%20%20%23%20Toy%20logits%20illustrating%20the%20mechanism.%20Vocab%3A%206%20candidate%20next%20tokens%20after%0A%20%20%20%20%23%20%22Harry%20Potter's%20two%20best%20friends%20are%20___%22.%20Baseline%20already%20prefers%20Ron%2FHermione%3B%0A%20%20%20%20%23%20reinforced%20cranks%20them%20even%20higher.%0A%20%20%20%20tokens%20%3D%20%5B%22Ron%22%2C%20%22Hermione%22%2C%20%22his%22%2C%20%22two%22%2C%20%22the%22%2C%20%22people%22%5D%0A%20%20%20%20v_baseline%20%20%20%3D%20%5B4.20%2C%204.10%2C%201.10%2C%200.80%2C%200.60%2C%200.40%5D%0A%20%20%20%20v_reinforced%20%3D%20%5B6.50%2C%206.30%2C%201.00%2C%200.70%2C%200.55%2C%200.30%5D%0A%0A%20%20%20%20import%20math%0A%20%20%20%20_a%20%3D%20alpha_slider.value%0A%20%20%20%20_v_generic%20%3D%20%5B%0A%20%20%20%20%20%20%20%20b%20-%20_a%20*%20max(0.0%2C%20r%20-%20b)%20for%20b%2C%20r%20in%20zip(v_baseline%2C%20v_reinforced)%0A%20%20%20%20%5D%0A%20%20%20%20def%20_softmax(xs)%3A%0A%20%20%20%20%20%20%20%20m%20%3D%20max(xs)%0A%20%20%20%20%20%20%20%20ex%20%3D%20%5Bmath.exp(x%20-%20m)%20for%20x%20in%20xs%5D%0A%20%20%20%20%20%20%20%20s%20%3D%20sum(ex)%0A%20%20%20%20%20%20%20%20return%20%5Be%20%2F%20s%20for%20e%20in%20ex%5D%0A%0A%20%20%20%20_p_baseline%20%20%20%3D%20_softmax(v_baseline)%0A%20%20%20%20_p_reinforced%20%3D%20_softmax(v_reinforced)%0A%20%20%20%20_p_generic%20%20%20%20%3D%20_softmax(_v_generic)%0A%0A%20%20%20%20_df%20%3D%20pd.DataFrame(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22token%22%3A%20t%2C%20%22model%22%3A%20%22baseline%22%2C%20%20%20%22p%22%3A%20pb%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20t%2C%20pb%20in%20zip(tokens%2C%20_p_baseline)%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%2B%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22token%22%3A%20t%2C%20%22model%22%3A%20%22reinforced%22%2C%20%22p%22%3A%20pr%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20t%2C%20pr%20in%20zip(tokens%2C%20_p_reinforced)%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%2B%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%22token%22%3A%20t%2C%20%22model%22%3A%20f%22generic%20(%CE%B1%3D%7B_a%3A.1f%7D)%22%2C%20%22p%22%3A%20pg%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20t%2C%20pg%20in%20zip(tokens%2C%20_p_generic)%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%0A%20%20%20%20_chart%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(_df)%0A%20%20%20%20%20%20%20%20.mark_bar()%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%22token%3AN%22%2C%20sort%3Dtokens%2C%20title%3DNone)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%22p%3AQ%22%2C%20title%3D%22probability%22%2C%20scale%3Dalt.Scale(domain%3D%5B0%2C%201%5D))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(%22model%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(range%3D%5B%22%235B8FF9%22%2C%20%22%23F4664A%22%2C%20%22%235AD8A6%22%5D))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20xOffset%3D%22model%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%22model%22%2C%20%22token%22%2C%20alt.Tooltip(%22p%3AQ%22%2C%20format%3D%22.3f%22)%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.properties(%0A%20%20%20%20%20%20%20%20%20%20%20%20width%3D%22container%22%2C%20height%3D320%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22'Harry%20Potter's%20two%20best%20friends%20are%20___'%20(toy%20logits)%22%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20mo.ui.altair_chart(_chart)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(alpha_slider%2C%20mo)%3A%0A%20%20%20%20_a%20%3D%20alpha_slider.value%0A%20%20%20%20_explanation%20%3D%20%7B%0A%20%20%20%20%20%20%20%200.0%3A%20%20%22**%CE%B1%20%3D%200**%3A%20generic%20%E2%89%A1%20baseline.%20No%20unlearning%20happens.%22%2C%0A%20%20%20%20%20%20%20%201.0%3A%20%20%22**%CE%B1%20small**%3A%20gentle%20nudge%3B%20Ron%2FHermione%20lose%20a%20little%20probability.%22%2C%0A%20%20%20%20%20%20%20%205.0%3A%20%20%22**%CE%B1%20%3D%205**%20(paper's%20chosen%20value)%3A%20Ron%20and%20Hermione%20collapse%3B%20mass%20shifts%20to%20generic%20continuations%20like%20*his*%2C%20*two*%2C%20*the*.%22%2C%0A%20%20%20%20%20%20%20%208.0%3A%20%20%22**%CE%B1%20large**%3A%20the%20subtraction%20is%20so%20aggressive%20that%20even%20mildly-HP%20tokens%20get%20suppressed.%20Risks%20damaging%20general%20competence.%22%2C%0A%20%20%20%20%7D%0A%20%20%20%20_closest%20%3D%20min(_explanation%2C%20key%3Dlambda%20k%3A%20abs(k%20-%20_a))%0A%20%20%20%20mo.callout(mo.md(_explanation%5B_closest%5D)%2C%20kind%3D%22neutral%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%20%20%20%20%23%23%205%20%C2%B7%20The%20anchored-terms%20dictionary%0A%0A%20%20%20%20The%20reinforcement%20trick%20from%20%C2%A74%20has%20a%20blind%20spot.%20Once%20the%20model%0A%20%20%20%20is%20primed%20with%20an%20unmistakably%20HP%20token%20like%20%22Harry%22%20or%0A%20%20%20%20%22Hogwarts%22%2C%20it%20has%20*already*%20committed%20to%20the%20wizarding%20world.%0A%20%20%20%20Both%20the%20baseline%20and%20reinforced%20versions%20agree%20the%20next%20word%20is%0A%20%20%20%20probably%20%22Potter%22%20or%20%22school%22%2C%20and%20their%20logits%20don't%20differ%20by%0A%20%20%20%20much.%20So%20the%20subtraction%20doesn't%20pull%20the%20model%20anywhere%20new.%0A%0A%20%20%20%20We%20need%20a%20way%20to%20get%20the%20model%20to%20predict%20generic%20tokens%20even%0A%20%20%20%20when%20it's%20looking%20at%20HP-specific%20context.%20The%20authors'%20answer%20is%0A%20%20%20%20a%20second%20tool%3A%20a%20**dictionary%20of%20~1%2C500%20anchored%20terms**%20that%0A%20%20%20%20maps%20HP-specific%20entities%20to%20plausible%20generic%20counterparts%0A%20%20%20%20(paper%20%C2%A72.2%20and%20Listing%201).%20The%20dictionary%20was%20built%20by%20asking%0A%20%20%20%20GPT-4%20to%20extract%20HP-specific%20entities%20and%20propose%20substitutes.%0A%20%20%20%20Thirty%20of%20those%20substitutions%20are%20shown%20below%3B%20try%20the%20search%0A%20%20%20%20box%20to%20scan%20for%20one%20you'd%20expect%20to%20find.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20search_box%20%3D%20mo.ui.text(%0A%20%20%20%20%20%20%20%20placeholder%3D%22filter%20anchor%20terms%20(e.g.%2C%20'Hog'%2C%20'spell'%2C%20'house')%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Search%22%2C%0A%20%20%20%20%20%20%20%20full_width%3DTrue%2C%0A%20%20%20%20)%0A%20%20%20%20search_box%0A%20%20%20%20return%20(search_box%2C)%0A%0A%0A%40app.cell%0Adef%20_(anchor_dict%2C%20mo%2C%20pd%2C%20search_box)%3A%0A%20%20%20%20_q%20%3D%20(search_box.value%20or%20%22%22).lower().strip()%0A%20%20%20%20_rows%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%7B%22Original%20(HP)%22%3A%20k%2C%20%22Generic%20translation%22%3A%20v%7D%0A%20%20%20%20%20%20%20%20for%20k%2C%20v%20in%20anchor_dict.items()%0A%20%20%20%20%20%20%20%20if%20not%20_q%20or%20_q%20in%20k.lower()%20or%20_q%20in%20v.lower()%0A%20%20%20%20%5D%0A%20%20%20%20_df%20%3D%20pd.DataFrame(_rows)%0A%20%20%20%20mo.ui.table(_df%2C%20page_size%3D15%2C%20selection%3DNone)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%20%20%20%20%23%23%206%20%C2%B7%20How%20the%20dictionary%20feeds%20the%20loss%0A%0A%20%20%20%20Here%20is%20how%20the%20dictionary%20plugs%20back%20into%20training.%20The%20recipe%0A%20%20%20%20is%20three%20steps%3A%0A%0A%20%20%20%201.%20**Take%20an%20HP%20passage**%20from%20the%20source%20text.%0A%20%20%20%202.%20**Substitute%20every%20anchored%20term**%20in%20it%20for%20its%20generic%0A%20%20%20%20%20%20%20dictionary%20entry%20(Harry%20%E2%86%92%20Jon%2C%20Hogwarts%20%E2%86%92%20Mystic%20Academy%2C%0A%20%20%20%20%20%20%20wand%20%E2%86%92%20rod%2C%20and%20so%20on).%20Feed%20*this*%20through%20the%20baseline%0A%20%20%20%20%20%20%20model.%20What%20comes%20out%20is%20the%20model's%20prediction%0A%20%20%20%20%20%20%20*as%20if%20the%20passage%20had%20never%20been%20about%20Harry%20Potter%20at%20all.*%0A%20%20%20%203.%20**Use%20those%20generic-passage%20predictions%20as%20fine-tuning%0A%20%20%20%20%20%20%20targets%2C%20but%20on%20the%20ORIGINAL%20text.**%20The%20model%20now%20learns%20to%0A%20%20%20%20%20%20%20emit%20non-HP%20completions%20even%20when%20its%20inputs%20scream%20Harry%0A%20%20%20%20%20%20%20Potter.%0A%0A%20%20%20%20After%20roughly%20150%20gradient%20steps%20on%20this%20substituted-target%20loss%0A%20%20%20%20(paper%20%C2%A72.4)%20the%20cue%20*%22Harry%22*%20no%20longer%20summons%20*%22Hogwarts%22*%20in%0A%20%20%20%20the%20model's%20outputs.%20The%20model%20still%20recognizes%20the%20word%20%22Harry%22%3B%0A%20%20%20%20it%20just%20no%20longer%20associates%20it%20with%20the%20books.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(anchor_dict%2C%20mo)%3A%0A%20%20%20%20passage%20%3D%20(%0A%20%20%20%20%20%20%20%20%22Harry%20walked%20into%20the%20Gryffindor%20common%20room.%20%22%0A%20%20%20%20%20%20%20%20%22Hermione%20was%20already%20there%2C%20holding%20her%20wand%20and%20reading%20about%20a%20Patronus.%20%22%0A%20%20%20%20%20%20%20%20%22Ron%20arrived%20a%20moment%20later%2C%20complaining%20about%20Quidditch%20practice.%22%0A%20%20%20%20)%0A%0A%20%20%20%20def%20translate(text%2C%20d)%3A%0A%20%20%20%20%20%20%20%20out%20%3D%20text%0A%20%20%20%20%20%20%20%20%23%20apply%20longest%20keys%20first%20to%20avoid%20partial%20overlaps%0A%20%20%20%20%20%20%20%20for%20k%20in%20sorted(d.keys()%2C%20key%3Dlen%2C%20reverse%3DTrue)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20out%20%3D%20out.replace(k%2C%20f%22%E2%9F%A8%7Bd%5Bk%5D%7D%E2%9F%A9%22)%0A%20%20%20%20%20%20%20%20return%20out%0A%0A%20%20%20%20translated%20%3D%20translate(passage%2C%20anchor_dict)%0A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22**Original%20passage**%20(the%20*input*%20tokens)%3A%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(passage)%2C%20kind%3D%22warn%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22**After%20anchor-substitution**%2C%20what%20the%20baseline%20model%20sees%20to%20generate%20generic%20next-token%20targets%3A%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(mo.md(translated)%2C%20kind%3D%22success%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%E2%86%92%20The%20substituted-passage%20predictions%20become%20the%20loss%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22targets%20on%20the%20*original*%20passage.%20The%20model%20has%20to%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22learn%20to%20say%20what%20an%20HP-naive%20model%20would%20say%2C%20even%20when%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22it%20can%20see%20*Harry*%20on%20the%20input%20side.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%20%20%20%20%23%23%207%20%C2%B7%20Did%20it%20work%2C%20and%20did%20anything%20else%20break%3F%0A%0A%20%20%20%20An%20unlearning%20method%20has%20to%20answer%20two%20questions%20at%20once.%0A%20%20%20%20*Did%20it%20actually%20erase%20the%20target%3F*%20And%20*did%20the%20rest%20of%20the%0A%20%20%20%20model%20survive%3F*%20Either%20alone%20is%20easy%3A%20refuse%20to%20answer%20anything%0A%20%20%20%20and%20you%20erase%20everything%20(and%20break%20the%20model)%3B%20do%20nothing%20and%0A%20%20%20%20you%20preserve%20everything%20(and%20erase%20nothing).%20The%20interesting%0A%20%20%20%20region%20is%20the%20upper-left%20of%20a%20%22forgot%20HP%20%C3%97%20kept%20everything%20else%22%0A%20%20%20%20plot.%0A%0A%20%20%20%20The%20paper%20tracks%20both%20axes%3A%0A%0A%20%20%20%20-%20**Familiarity%20score**%20(left%20panel)%20measures%20how%20much%20Harry%0A%20%20%20%20%20%20Potter%20content%20the%20unlearned%20model%20still%20produces%2C%20evaluated%0A%20%20%20%20%20%20automatically%20against%20the%20books.%20Low%20is%20forgotten.%0A%20%20%20%20-%20**General%20benchmarks**%20(right%20panel)%20are%20seven%20off-the-shelf%0A%20%20%20%20%20%20reasoning%20and%20comprehension%20tests%20(ARC-easy%2C%20ARC-challenge%2C%0A%20%20%20%20%20%20BoolQ%2C%20HellaSwag%2C%20OpenBookQA%2C%20PIQA%2C%20WinoGrande).%20They%20ask%3A%20is%0A%20%20%20%20%20%20this%20still%20a%20competent%20Llama-2-7B%3F%0A%0A%20%20%20%20Both%20panels%20below%20come%20from%20the%20same%20checkpoints%20we've%20been%0A%20%20%20%20sliding%20through.%20The%20familiarity%20score%20collapses%20from%200.29%20to%0A%20%20%20%200.007%20across%20120%20steps%2C%20a%20roughly%2040%C3%97%20drop.%20The%20benchmark%20scores%0A%20%20%20%20barely%20move.%20That%20gap%20is%20the%20paper's%20central%20empirical%20claim%2C%0A%20%20%20%20and%20the%20shape%20of%20%22barely%20move%22%20is%20more%20informative%20than%20the%0A%20%20%20%20headline.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(alt%2C%20familiarity_benchmarks%2C%20mo%2C%20pd)%3A%0A%20%20%20%20_rows%20%3D%20%5B%5D%0A%20%20%20%20for%20_metric%2C%20_vals%20in%20familiarity_benchmarks%5B%22metrics%22%5D.items()%3A%0A%20%20%20%20%20%20%20%20_is_fam%20%3D%20%22Familiarity%22%20in%20_metric%0A%20%20%20%20%20%20%20%20for%20_s%2C%20_v%20in%20zip(familiarity_benchmarks%5B%22steps%22%5D%2C%20_vals)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_rows.append(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22step%22%3A%20_s%2C%20%22metric%22%3A%20_metric%2C%20%22score%22%3A%20_v%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22panel%22%3A%20%22Familiarity%20(LOWER%20%3D%20more%20forgotten)%22%20if%20_is_fam%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%20%22General%20benchmarks%20(want%20to%20preserve)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D)%0A%20%20%20%20_df%20%3D%20pd.DataFrame(_rows)%0A%0A%20%20%20%20_fam_palette%20%20%3D%20%5B%22%23E8523A%22%2C%20%22%23F4664A%22%5D%0A%20%20%20%20_bench_palette%20%3D%20%5B%22%235B8FF9%22%2C%20%22%235AD8A6%22%2C%20%22%239BB0FF%22%2C%20%22%23F4A742%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22%239DA8B8%22%2C%20%22%237FBFA0%22%2C%20%22%23C28BC4%22%5D%0A%0A%20%20%20%20_fam%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(_df%5B_df%5B%22panel%22%5D.str.startswith(%22Familiarity%22)%5D)%0A%20%20%20%20%20%20%20%20.mark_line(point%3DTrue%2C%20strokeWidth%3D2.5)%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%22step%3AQ%22%2C%20title%3DNone)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%22score%3AQ%22%2C%20title%3D%22score%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(domain%3D%5B0%2C%200.32%5D))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(%22metric%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(range%3D_fam_palette)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3Dalt.Legend(orient%3D%22bottom%22%2C%20title%3DNone))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%22metric%22%2C%20%22step%22%2C%20alt.Tooltip(%22score%3AQ%22%2C%20format%3D%22.3f%22)%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.properties(width%3D320%2C%20height%3D260%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22Familiarity%20(LOWER%20%3D%20more%20forgotten)%22)%0A%20%20%20%20)%0A%0A%20%20%20%20_bench%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(_df%5B~_df%5B%22panel%22%5D.str.startswith(%22Familiarity%22)%5D)%0A%20%20%20%20%20%20%20%20.mark_line(point%3DTrue%2C%20strokeWidth%3D2)%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%22step%3AQ%22%2C%20title%3D%22Fine-tuning%20steps%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%22score%3AQ%22%2C%20title%3D%22score%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(domain%3D%5B0.30%2C%200.85%5D))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(%22metric%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(range%3D_bench_palette)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3Dalt.Legend(orient%3D%22bottom%22%2C%20title%3DNone%2C%20columns%3D4))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%22metric%22%2C%20%22step%22%2C%20alt.Tooltip(%22score%3AQ%22%2C%20format%3D%22.3f%22)%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.properties(width%3D320%2C%20height%3D260%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22General%20benchmarks%20(want%20to%20preserve)%22)%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20chart_selection%20%2F%20legend_selection%20are%20disabled%20because%20the%20two%0A%20%20%20%20%23%20concatenated%20charts%20share%20a%20%60metric%60%20color%20field%3B%20marimo's%20auto-added%0A%20%20%20%20%23%20legend-selection%20signal%20collides%20across%20the%20concat%20(%22Duplicate%20signal%0A%20%20%20%20%23%20name%3A%20legend_selection_metric_tuple%22).%20Tooltips%20are%20unaffected.%0A%20%20%20%20mo.ui.altair_chart(_fam%20%7C%20_bench%2C%20chart_selection%3DFalse%2C%20legend_selection%3DFalse)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20---%0A%20%20%20%20%23%23%208%20%C2%B7%20Caveats%2C%20and%20where%20the%20field%20has%20gone%20since%0A%0A%20%20%20%20Four%20limitations%20the%20paper%20itself%20acknowledges%2C%20then%20a%20short%0A%20%20%20%20note%20on%20where%20subsequent%20work%20has%20pushed%20back.%20The%20empirical%0A%20%20%20%20result%20is%20real%2C%20but%20newer%20methods%20and%20newer%20evaluations%20have%0A%20%20%20%20substantially%20changed%20how%20the%20field%20thinks%20about%20unlearning.%0A%0A%20%20%20%20-%20**Black-box%20evaluation%20only.**%20The%20familiarity%20score%20uses%20prompted%0A%20%20%20%20%20%20completions.%20Adversarial%20probing%20of%20latent%20representations%20could%0A%20%20%20%20%20%20still%20recover%20HP%20knowledge%3B%20the%20model%20may%20%22know%20but%20not%20say.%22%0A%20%20%20%20-%20**HP%20is%20unusually%20easy.**%20Fictional%20universes%20are%20dense%20with%0A%20%20%20%20%20%20idiosyncratic%20names.%20Unlearning%20a%20non-fiction%20topic%20(a%20person's%0A%20%20%20%20%20%20biography%2C%20a%20textbook)%20is%20much%20harder%20because%20there%20are%20fewer%0A%20%20%20%20%20%20anchor%20terms.%0A%20%20%20%20-%20**Some%20leaks%20remain.**%20The%20model%20card%20itself%20acknowledges%20*%22a%20few%0A%20%20%20%20%20%20minor%20leaks%20from%20the%20unlearnt%20content%20are%20likely%20to%20be%20found.%22*%0A%20%20%20%20%20%20Ask%20the%20unlearned%20model%20for%20%22fictional%20schools%22%20and%20%22Hogwarts%22%0A%20%20%20%20%20%20still%20appears%2C%20presumably%20from%20Wikipedia-level%20knowledge%20the%0A%20%20%20%20%20%20unlearning%20corpus%20didn't%20cover.%0A%20%20%20%20-%20**Relies%20on%20GPT-4%20for%20the%20dictionary.**%20The%20technique%20inherits%0A%20%20%20%20%20%20whatever%20GPT-4%20already%20knew%20about%20Harry%20Potter%20when%20GPT-4%20built%0A%20%20%20%20%20%20the%20anchored-term%20map.%0A%20%20%20%20-%20**Follow-up%20work%20has%20pushed%20back.**%20Lynch%20et%20al.%20(2024%2C%0A%20%20%20%20%20%20%5Barxiv%3A2402.16835%5D(https%3A%2F%2Farxiv.org%2Fabs%2F2402.16835))%20directly%0A%20%20%20%20%20%20tested%20the%20released%20checkpoint%20and%20found%20that%0A%20%20%20%20%20%20higher-than-baseline%20knowledge%20could%20be%20extracted%2C%20the%20unlearned%0A%20%20%20%20%20%20model%20performed%20on%20par%20with%20the%20original%20on%20HP%20Q%26A%2C%20and%20latent%0A%20%20%20%20%20%20representations%20of%20the%20unlearned%20content%20persisted.%20Liu%20et%20al.%0A%20%20%20%20%20%20(EMNLP%202024%2C%0A%20%20%20%20%20%20%5Barxiv%3A2407.16997%5D(https%3A%2F%2Farxiv.org%2Fabs%2F2407.16997))%20recast%20WHP%0A%20%20%20%20%20%20as%20a%20special%20case%20of%20a%20broader%20causal-intervention%20framework%20for%0A%20%20%20%20%20%20targeted%20unlearning.%20Treat%20the%20headline%20result%20as%20compelling%20first%0A%20%20%20%20%20%20step%2C%20not%20solved%20problem.%0A%20%20%20%20-%20**The%20field%20has%20moved%20on.**%20For%20general%20LLM%20unlearning%2C%20Negative%0A%20%20%20%20%20%20Preference%20Optimization%20(Zhang%20et%20al.%202024%2C%0A%20%20%20%20%20%20%5Barxiv%3A2404.05868%5D(https%3A%2F%2Farxiv.org%2Fabs%2F2404.05868))%20and%20SimNPO%0A%20%20%20%20%20%20(Fan%20et%20al.%2C%20NeurIPS%202025%2C%0A%20%20%20%20%20%20%5Barxiv%3A2410.07163%5D(https%3A%2F%2Farxiv.org%2Fabs%2F2410.07163))%20have%0A%20%20%20%20%20%20replaced%20reinforced-bootstrapping%20as%20the%20canonical%20method.%20For%0A%20%20%20%20%20%20hazardous-knowledge%20unlearning%20specifically%2C%20WMDP%20and%20the%0A%20%20%20%20%20%20associated%20RMU%20method%20(Li%20et%20al.%202024%2C%0A%20%20%20%20%20%20%5Barxiv%3A2403.03218%5D(https%3A%2F%2Farxiv.org%2Fabs%2F2403.03218))%20are%20the%0A%20%20%20%20%20%20current%20reference%20points.%20WHP%20remains%20the%20cleanest%20pedagogical%0A%20%20%20%20%20%20entry%20into%20the%20problem%2C%20which%20is%20why%20this%20walkthrough%20sits%20on%20top%0A%20%20%20%20%20%20of%20it.%0A%0A%20%20%20%20---%0A%20%20%20%20%23%23%209%20%C2%B7%20About%20this%20notebook%0A%0A%20%20%20%20Built%20as%20a%20teaching%20artifact%3A%20a%20self-contained%2C%20reactive%20walk%0A%20%20%20%20through%20one%20specific%202023%20paper%2C%20using%20marimo's%20WebAssembly%0A%20%20%20%20export%20so%20the%20whole%20thing%20runs%20in%20a%20browser%20without%20a%20server.%0A%20%20%20%20Numbers%20are%20taken%20straight%20from%20the%20paper%20and%20the%20released%20model%0A%20%20%20%20card%3B%20the%20interactive%20elements%20are%20wired%20to%20those%20values%20rather%0A%20%20%20%20than%20to%20a%20live%20model.%0A%0A%20%20%20%20**Jacob%20Bowie**%2C%20researcher%20at%20the%20University%20of%20Connecticut.%0A%20%20%20%20Physiological%20data%20analysis%20by%20day%3B%20interactive%20technical%0A%20%20%20%20explainers%20as%20a%20side%20practice.%0A%0A%20%20%20%20-%20**Source%3A**%20%5Bgithub.com%2FJacobBowie%2Fmarimo-unlearning%5D(https%3A%2F%2Fgithub.com%2FJacobBowie%2Fmarimo-unlearning)%0A%20%20%20%20-%20**About%20me%3A**%20%5Bjacobbowie.com%5D(https%3A%2F%2Fjacobbowie.com)%0A%20%20%20%20-%20**Get%20in%20touch%3A**%20%5Bjacob.bowie2%40gmail.com%5D(mailto%3Ajacob.bowie2%40gmail.com)%0A%0A%20%20%20%20%23%23%23%20Read%20the%20source%20paper%0A%0A%20%20%20%20-%20%5BWho's%20Harry%20Potter%3F%20Approximate%20Unlearning%20in%20LLMs%5D(https%3A%2F%2Farxiv.org%2Fabs%2F2310.02238).%0A%20%20%20%20%20%20Eldan%20%26%20Russinovich%2C%20Microsoft%20Research%20(2023).%0A%20%20%20%20-%20%5Bmicrosoft%2FLlama2-7b-WhoIsHarryPotter%5D(https%3A%2F%2Fhuggingface.co%2Fmicrosoft%2FLlama2-7b-WhoIsHarryPotter)%3A%0A%20%20%20%20%20%20the%20released%20unlearned%20checkpoint%2C%20under%20the%20Microsoft%20Research%0A%20%20%20%20%20%20License%20Agreement.%0A%0A%20%20%20%20%23%23%23%20Built%20with%0A%0A%20%20%20%20%5Bmarimo%5D(https%3A%2F%2Fmarimo.io)%20reactive%20notebooks%20%C2%B7%20%5BAltair%5D(https%3A%2F%2Faltair-viz.github.io%2F)%20charts%20%C2%B7%0A%20%20%20%20%5Bnetworkx%5D(https%3A%2F%2Fnetworkx.org)%20graph%20layout%20%C2%B7%20everything%20runs%20in%20your%20browser%20via%0A%20%20%20%20%5BPyodide%5D(https%3A%2F%2Fpyodide.org).%0A%0A%20%20%20%20*A%202026%20%5Bmarimo%5D(https%3A%2F%2Fmarimo.io)%20demonstration%2C%20explaining%20Eldan%20%26%0A%20%20%20%20Russinovich%20(2023)%20and%20the%20unlearning%20work%20it%20set%20off.*%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A