在阿桑奇的回忆中，继父布莱特·阿桑奇是一位好父亲，就是有点酗酒。布莱特在 2010年 12月 9日接受澳大利亚电视台的采访时，回忆了朱利安小时候的事情以及他的性格特征。布莱特称他是一个“非常有洞察力的孩子”，“对自己非常、非常有自信”，并且“是非分明”，布莱特回忆说，“他总是站在弱者一边，例如对待自己的同学。他总是对那些合起伙来欺负别人的人感到非常愤怒。同时他也很有幽默感。他一向有点老于世故，不仅就他的幽默感而言，还有他看待世界的方式”。布莱特还谈到了有一次朱利安从树上跌了下来，“他从树上掉下来，摔伤了胳膊，我记得他躺在地上，显然摔得很疼。但他没有哭，或者大喊大叫啥的，你知道，他不想表现，他不想表露出他的情感”。对于朱利安的所作所为，老布莱特丝毫都不感到惊奇，“很奇怪，我一直都认为他会做出这样的事情。他从来就非常独立，为了找到一个答案，他一定会打破沙锅问到底”。老布莱特表示非常支持朱利安，“我想让他知道，我全心全意地支持他所做的任何事情”。 1979年，阿桑奇的父母离异，母亲再嫁给一位据称与邪教的新潮生活组织有关系的业余音乐家凯思·汉密尔顿（Keith Hamilton）。
后来当阿桑奇被问到这段经历时，他说有证据表明那个男人属于某个组织，其信条为“隐形、无闻、死寂”。这个臭名昭著的组织的首领是凯思的母亲安娜汉密尔顿 -比尔纳（Anna Hamilton-Byrne），一名瑜伽教练，但她让那些中产阶级信徒相信她是耶稣的转世轮回。
该教还从事收养婴儿的活动，动机不明。他们向那些十几岁的单亲母亲把小孩要过去，然后同那些“阿姨们”住在一个周围围着铁丝网的一幢与世隔绝的房子里。通过一种奇怪的方式培养他们，谁也不知道发生了什么，最多的时候，孩子数量达到了 28名，里面常常传出打骂声。两人有一个儿子，但他们的关系并不融洽，时常伴随着剧烈的争吵。阿桑奇很怕那个男人，因为他控制欲极强，并且有着严重的暴力倾向。“他的钱包里放着 5张身份证件，从国籍到出生日期的所有身份背景几乎都是伪造的。” 1982年，母亲再次离异，据她说那位音乐家成了瘾君子。母亲与阿桑奇的第二位继父在两人的儿子、阿桑奇同母异父弟弟的抚养权上产生纠纷，母亲感到恐惧，害怕凯思和那个组织遍及澳洲各地的信徒会抢走自己的儿子。阿桑奇回忆母亲当时对他们说：“现在，我们要消逝。”于是，阿桑奇的母亲带着阿桑奇与他的弟弟开始了长达 5年的逃亡生活。不过阿桑奇认为这次的流离失所的生活经历有别于以前的那种随遇而安的奥德赛式的流浪生活，这次，母亲带着他们东躲西藏显然是为了逃避那个男人的施暴。从 11岁到 15岁这段少年时光的“玩失踪”生涯对阿桑奇日后的亡命天涯经历一定产生了巨大影响。到阿桑奇 15岁的时候，他已经在十几个地方居住过，包括佩斯、磁岛、布里斯班、汤斯维尔、阿德莱德山以及新南威尔士州和西澳大利亚的一串沿海的城镇，同时，注册过同样多的学校。
最后，在使用了各种化名在澳洲各地躲藏了很长时间之后，16岁的时候，母亲带着他和弟弟终于在墨尔本郊区的埃莫莱德（Emerald）安顿下来了，但对于这个年龄的一名头脑灵光的男孩来说，这个小地方简直闷死了。
早在 1980年代初，朱利安曾经在新南威尔士州北部的里斯莫尔（Lismore）小镇居住过。居民们还记得他那行为怪异的母亲。他在邻近的古尔曼伽尔村（Goolmangar）的一所小学就读，朱利安就努力融入他的同学中去，他们大部分是奶牛农场主的孩子。“朱尔斯（指阿桑奇）绝不是什么乖僻的人，”他的同班同学沙伦·格雷厄姆（Sharon Graham）说，“他就是有点保持自我本色。”另一位同学巴特·杜汉（Bart Doohan）记得他是一个长头发的男孩，嬉皮士家庭长大，“绝对不是最聪明的孩子，但也不是最笨的那种”。还有一位同学彼得·格雷厄姆（Peter Graham）则对阿桑奇的同情心印象深刻，“他是那种人，当其他人都要弄死一只蜘蛛的时候，他却把它移走，然后放生，”彼得这样说，“他一直是那种有教养的人。”
阿桑奇 17岁的时候离开了家，此时他已经是一位小有名气的黑客了，他收到一个警告，提醒他可能会有一个警方的突击搜查。阿桑奇格式化了他的磁盘，烧掉了打印资料，离家出走。一星期后，维多利亚州警方的犯罪调查科（CIB）出现了，搜查了他的房间，却一无所获。大约在 1989年，18岁的阿桑奇爱上了一位 16岁的女孩，他形容这位女孩“聪颖但有点内向，且情绪波动大”。他离开了母亲，开始了与这名女孩的同居生活。发现女友怀孕之后，他们举行了非正式的婚礼（据他自己说是结婚，也许比小孩过家家稍微严肃一些），然后，女友生下了一个儿子，取名丹尼尔。儿子的出生并没有将初出茅庐的年轻黑客的注意力从他的荧光屏吸引开。他们所住的地方的一位居民这样回忆到：“我们总是看到她一个人推着一辆婴儿车里的孩子来商店。她好像总是一个人。你会看到她在本地的一家洗衣店里洗婴儿的衣物，但是难得有机会看到她和她的男友一起带着婴儿出来。”
1991年，阿桑奇遭到了联邦警察逮捕，这是他人生的一个低谷，可能也是第一次大的考验。在阿桑奇住所被警方搜查之前（见下一章），他的女友已经带着丹尼尔离开了阿桑奇。阿桑奇《地下》一书记述了女友出走的情景：“房间看起来被洗劫过。它确实被 Mendax的妻子（即阿桑奇的女友）洗劫过，在她离家出走的时候。一半的家具没有了，另一半杂乱地放着。衣橱的抽屉半开着，里面的东西不动荡不安的身世 见了，衣物散落在房间里。当他的妻子离开他的时候，她不但带走了他们那蹒跚学步的儿子，她也带走了对于 Mendax具有重要情感价值的一些东西。当她坚持要拿走几个月前送给他作为 20岁生日礼物的 CD播放机的时候，他请求她在原来的地方留下一卷她的头发。
他仍旧无法相信与他生活三年的妻子就这么卷起铺盖离他而去。”
此后的一个星期对阿桑奇来说糟糕透了，他伤心至极，没有胃口吃东西，也常常睡不着。克里斯汀回忆说，她的儿子在医院住了好几天，情绪极为低落，“我不想说那是崩溃。他压力很大，非常大，并需要休息一下，完全恢复过来。”
阿桑奇同他的前女友进行了旷日持久的对孩子监护权的争夺，经过三四十场的法律诉讼和上诉，直到 1999年，他才与该名女子达成监护协议。打完官司不久，据阿桑奇的母亲说，他的头发就从原来的深棕色，变成了现在人们看到的银白色。为了排遣心中的郁闷，他骑摩托去越南做了一次旅行。此后，他开始做各式各样的工作，甚至当了一名计算机安全顾问（以黑客反制黑客），尽其所能地赚钱来抚养他的儿子。目前，阿桑奇的这位前女友仍未露庐山真面目，也许她比其他人更了解阿桑奇的过去岁月。对此，媒体也十分好奇，“她在保守自己身份的秘密上一直做得很好，”一位与这对夫妇有些关系的人士这么说，他承认即使是他自己也不知道阿桑奇的前女友到底是谁。“我们确实知道的是在离开了阿桑奇之后，她与别人好上了，结婚并有了一个新的名字。”他们的孩子丹尼尔很少谈论自己的母亲，只是在他的推特（国外一个社交网站）上简单地留过一条信息：“母亲认为我是一个怪物。”也许暗示了他和母亲之间的关系有了麻烦。
其实，丹尼尔的身世几乎就是他老爸的翻版，父母离异，自小由母亲抚养大，某种意义上的电脑天才。尽管丹尼尔处于他的父母争夺监护权的焦点，丹尼尔对自己从小和父亲在一起的成长时光有着美好的记忆。年长一些的时候，丹尼尔有了自己的事业追求。丹尼尔现年（2011年）21岁，拥有一个理学的学士学位，在这一点上有别于老爸，目前就职于一家软件设计公司。就网上公布的二人的照片来看，丹尼尔与父亲朱利安长得真是非常像。丹尼尔·阿桑奇是这样描述自己的：“一个公开宣称的无神论者、双性恋、超人类主义者（transhumanist）、神奇宝贝（Pokémon）的欣赏者以及其他一些自我定位，会让年龄大的保守主义者直摇头、感叹唏嘘，说些 ‘如今社会真是世风日下、道德沦丧 ’这类的话。”尽管在他 16岁的时候，在父亲问他是否愿意加入维基解密工作团队时，他没有接受，因为他不觉得维基解密会有很大成就。丹尼尔说：“他真的要把政府文件泄露给全世界，这实在是一个滑稽的想法。”丹尼尔离开了澳大利亚，同父亲的联络也少了。结果阿桑奇的想法并不那么滑稽，维基解密现在成为世界上最为广泛报道的网站，而作为该组织公共形象的朱利安·阿桑奇成了全球最著名的人物。
作为阿桑奇唯一的孩子（据最近出的一些书的暗示，阿桑奇还可能有其他绯闻的孩子），丹尼尔比任何人都更了解老爸。丹尼尔是这样评价自己的父亲的：“我想说他是一个非常聪颖的人，但有着许多和他聪明才智相对应的特征性的烦恼。他很容易就对那些人感到沮丧，他们无法同他保持同样的工作水准，也无法理解到那些他非常直观地就把握的想法。”而且他认为，父亲对于政治活动总是很感兴趣，也热爱科学、哲学与对知识的普遍追求，阿桑奇认为这类知识地球上的每个人都应当有机会获得。“维基解密就是这种概念的巅峰之作。”丹尼尔这么说。作为父亲，阿桑奇对于与自己的儿子分享自己的知识抱有很高的热情，而这也是丹尼尔最喜欢父亲的地方。丹尼尔说：“我发现有一件事让我特别欣赏，当要谈到一些知识性概念的时候，他不会像对待小孩一样对待我，而是会用这样的口气对我说话，仿佛他真的试图让我理解一个想法的完整意思。”虽然没有在父亲的团队里工作，丹尼尔由衷地表达了他对父亲的崇敬：“我非常尊重我的父亲和他的事业，而那些滑稽拙劣的性侵犯指控只会让他从他真正进行的气魄非凡的事业中分心。”
在阿桑奇出名之后，许多媒体都争相对他的儿子丹尼尔进行采访。丹尼尔认为此前有关他和父亲“疏远”的报道把事情弄得非常敏感，而且在很大程度上使人们对自己造成了误解。最为恶名昭彰的就是《纽约邮报》一篇题为《我的维基老爹同女人打交道糟透了》的文章，更是歪曲事实，信口开河。在 2010年阿桑奇陷入性侵犯困境后，丹尼尔曾在脸书（Facebook）上留言：“那个人（即自己父亲）在为自己弄一大堆女人为敌方面确实有一套。”《纽约邮报》以此为材料，发表了上述文章。该文声称丹尼尔“很有兴趣知道，这件事的结果到底是政府阴谋还是个人怨恨”。文章提及丹尼尔称自己的父亲是“一个有着政治视野的犯罪大师”。丹尼尔否认《纽约邮报》曾对其作出采访，而且那篇文章中关于他自己的一些信息（如年龄）也有误，“无论如何，从我的这段原话他们就认为，我对他（父亲）在他的一生中与女人相处方面给出了评价，”丹尼尔说，“我认为这的确扯得有点远。”尽管不少人猜测这件事情与政府有关，丹尼尔在做出评论方面非常谨慎，他认为：“我会说这不太可能，但对这件事的整体感觉是这样，因为那些事涉及的两个女人直接认识我父亲 ……对我而言，这意味着那件事更可能是一个个人问题。”
