陈兰彬是吴川县（今吴川市）黄坡镇黄坡村四甲人，其祖先在南宋末年，从中原南迁，迁移到吴川，繁衍后代，称乾塘族。清朝举人陈乔森曾在《清礼部左侍郎丽秋陈公讳文》中介绍其祖先，曰：“公南宋宰相讳文龙之后，自宋开族于吴川，至今支派繁衍，名曰乾塘族，凡二十一世，而公生能继祖德。” 李钦主编：《陈兰彬颂》，第112页。
陈兰彬出身在书香门第之家，其父辈均是好善乐施，造福乡里的人。祖父陈景清（字醒堂）、父亲陈训行（字懿圃）分别是儒宿、庠贡生，都是很有学问的诗书人。正如陈乔森所述，“醒堂公有隐德，乡里耆老常言之”，“懿圃公，志学勤道，践履纯实友教，以有用于世为主”。李钦主编：《陈兰彬颂》，第112页。
祖父陈景清关心家乡事业，也参与筹办海防工作。嘉庆初年，吴川常遭受海盗的骚扰，一些乡民被诬为海盗，陈景清与官府打交道，为受害者昭雪，并设法援救被海盗抢去的民女。一次，一名叫吴观书的乡人与海盗串通，横行霸道，鱼肉乡民，族人奋起捣毁他的祖庙，并杀其妻。当官府追究此事时，陈景清挺身而出，劝告县官，指出此举是为地方除害，如果处分乡民，将会中海盗之计，此事终得以化解。又有一次，陈景清深夜回家，见两人在黄坡江畔厮杀。一问之下，原来一位是负债十千，贫不能偿，另一位说，他若不还钱，我没钱也必死。陈景清当即替那位素不相识的欠债者如数偿还。乡民都说他做好事不计其数。陈景清也是个自律之人，他一生好读，每天清晨起来就认真阅读和摘录经史文集，或堪舆医卜诸书，积叠满架。著有戒淫、戒赌、戒吸鸦片、思患预防、居心行事等文章，享年90.临终前数日，书写“人善人欺天不欺”七个字挂在墙上，告诫子孙：凡事以和为贵，忍气吃亏最好。陈景清一生为乡民做了许多善事，获得一片赞扬声。同乡副贡林泰雯称：“景清临财不苟，见识精卓，凡为人谋，尽心竭力。”校官罗礼绵谓：“景清心存仁厚，戚族中或蹈非义，则严词斥责，不肯少贷，以故人多敬畏，薰其德而善良者，难更仆数。”状元林召棠谓：“景清胸次浩然，不能委曲徇物，言论如涛澜，怒翻锋颖，森竖旁见，侧出洞胸，逞腋气常，盖其坐人，其理直，故不聂其气壮，故不屈也。”［清］毛昌善修，陈兰彬纂：《吴川县志》，第286页。
父亲陈训行自幼聪颖。少年应童试，29岁回家在“邑学宫”，即家乡的学堂从事教育事业，并“督理捐茸，始终不懈”，后又捐助建川西书院。陈训行好读书从不虚度时光，读书时认真抄阅做笔记，尤其对四书作阐释，分门别类作了四百多条。朝廷授予“八品顶戴”，后又“敕诰封叠膺年登上寿”，得到各种荣誉。陈训行早年生活并不富裕，待子孙成家立室，有了产业后，家境才富裕起来，但仍然很简朴，如以往一样穿土布衣，清茶淡饭，只是在祭祖时才穿上保存好的干净而又衣料上乘的衣服，以表示对先人的尊敬。咸丰四年（1854），红巾军在县城一带活动，平定后，一些平民遭到殃及，陈训行出面解释，使一些无辜平民得以释放。吴川人以出外打鱼为生，当地收鱼税，每单交银二两，一时无法交者，税吏不允许打鱼，影响渔民生计。陈训行出面与官府商量，上交部分渔产以代替税，使渔民既无扰，官亦无亏，妥善解决了问题，得到乡民的爱戴，［清］毛昌善修，陈兰彬纂：《吴川县志》，第295页。终年85岁。
陈氏大家族在家乡留下了很好的口碑。祖父的宽阔心胸，仗义慷慨，热心公益以及学识精卓给陈兰彬留下不可磨灭的印象。父亲的好读从不虚度时光，克勤克俭，热心为乡里办好事的品质深深烙在青年陈兰彬的心灵里。加上，父辈们平时结识的许多文人雅士、名流鸿儒，也分别影响着陈兰彬。父辈们勤奋好学，乐于助人，服务乡里的好传统使陈兰彬终生受用，也直接影响他的未来事业。
陈兰彬家族在朝廷任职者众，有些虽然不在朝廷任职，但亦因亲属当官而受朝廷封赐。陈景清因为孙子陈兰彬任二品顶戴都察院左副都御史，而被朝廷赠与“光禄大夫”衔，又因为曾孙嵩梅为三品衔刑部郎中，他又获“荣禄大夫”衔（《高州府志》第514页）。“陈训行，以子兰舒文昌训导貤封修职佐郎。子兰彬翰林院庶吉士封承德郎刑部主事加级封资政大夫，二品顶戴，都察院左副都御史加级赠光禄大夫。子兰畴五品顶戴连州学正赠奉直大夫光禄寺署正衔，潮州府教授加级赠朝议大夫。孙嵩梅三品衔刑部郎中加级赠荣禄大夫。孙嵩良刑部郎中加级赠通奉大夫。配李氏封赠孺人安人恭人一品夫人。”［清］毛昌善修，陈兰彬纂：《吴川县志》，第251页。伯父陈兆行因陈兰彬而受封直奉大夫。叔，陈礼行，以胞侄兰彬刑部主事加级赠中宪大夫，配王氏赠恭人（《吴川县志》第252页）。叔，陈敬行，以胞侄兰彬刑部主事加级赠中宪大夫，配陆氏、冼氏赠恭人（《吴川县志》第252页）。叔，陈敦行和陈毅行，因陈兰彬而受封中宪大夫。长兄，陈兰舒，“二十六年府贡，文昌训导附传”，“以弟兰彬四品衔刑部主事，貤赠‘中议大夫’衔”（《高州府志》第512页）。二兄，陈兰华，诰授荣禄大夫两广盐运使。从兄，陈兰英，“附贡署感恩教谕”（《吴川县志》第241页）。从兄，陈兰芬（兰英弟），“附贡雷州候委训导”（《吴川县志》第242页）。堂兄，陈兰植，“景清孙，附贡历署合浦、临高、阳江训导，番禺花县龙门教谕”（《吴川县志》第239页），“以堂弟兰彬刑部主事加级貤封中宪大夫，配梁氏封恭人”（《吴川县志》第252页）。堂兄，陈兰森（兰植弟），“增贡署徐闻镇平儋州、万州训导，遂溪、大埔、和平、花县教谕”（《高州府志》第450页）。“以堂弟兰彬刑部主事加级貤封奉政大夫配吴氏，吴氏封宜人”（《吴川县志》第252页）。胞弟，陈兰畴，“附贡署海康训导，潮州教授，连州学正”（《高州府志》第450页）。“光禄署正衔，潮州教授，加级授朝议大夫，以子嵩瑜员外郎衔光禄寺署正，加级封中宪大夫。子嵩良，刑部郎中加级叠封中宪大夫、通奉大夫。胞侄嵩梅，三品衔刑部郎中加级貤封荣禄大夫，配李氏、林氏，封恭人晋赠夫人”（《吴川县志》第252页）。弟，陈兰梅，三品刑部贵州部中钦。
陈兰彬的晚辈也有不少在朝廷任职。子，陈嵩琪，“（光绪）十年（1884）贡尽先训导”（《吴川县志》第235页）、内阁中书。嵩璘，兵部员外郎，先卒。侄，陈嵩良，出使任参赞官，回国任四川道台。“癸酉顺天副贡，日秘美参赞，刑部郎中，四川补用知府”（《高州府志》第440页），“刑部湖广司郎中加级授通奉大夫配李氏封夫人”（《高州府志》第512页），“兰畴子，癸酉科顺天副贡，日秘美参赞，刑部郎中遇缺前先补用知府加盐运使司衔”（《吴川县志》第234页）。侄，陈嵩泉，字吉光（兰植子），“江西候补知县，光绪六年差出使日本大臣黎庶昌奏带出洋，派任横滨理事，积功保升直隶州知州加知府衔，十三年在差病故，出使大臣徐承祖奏请从优议恤，奉赠太仆寺卿衔，荫一子入监读书六月，期满以知府注册归部候铨”（《吴川县志》第304页）。“保举知府衔江西补用直隶州，日本国横滨理事，在差病故，赠太仆寺卿衔”（《吴川县志》第242页）。侄，陈嵩梅（兰华子），“刑部贵州司郎中，钦加三品衔”（《吴川县志》第242页）。侄，陈嵩年（兰舒子），“廪贡署雷州教授”（《吴川县志》第240页）。侄，陈嵩瑜（兰畴子），“附贡光禄寺大官署正”（《吴川县志》第242页）。侄，陈嵩蒸（兰森子），“廪贡候委训导”（《吴川县志》第243页）。侄，陈嵩齐（兰英侄），“附贡琼州候委训导”。孙，陈赓桐，候选训导。陈赓南，候选郎中。陈赓梧，廪膳生。陈赓长，候选盐运同。
这里也要提及陈兰彬夫人李氏，封一品夫人。由于陈兰彬在朝廷当官，又出使美国，治家训子的任务自然由其夫人李氏承担。就在陈兰彬出使美国的时候，传来夫人去世的噩耗。翰林侍读学士吴可读在悼念陈夫人挽联中曰：“从来丧偶最伤悲，为君啸复为君歌，粤岭路迢遥，且效斫地王郎，切莫将儿女心肠，空涕泪于八千里外；话到封侯犹未悔，有其夫必有其妇，巫山云惨淡，聊寄伤神奉倩，须要把英雄巾帼，力表彰于五十年前。”李汉魂：《翰林陈兰彬》，见朱振声编：《李汉魂将军日记》上集第1册，香港：香港联艺印刷有限公司1975年版，第29-30页。陈兰彬家族名单该表根据［清］毛昌善修，陈兰彬纂：《吴川县志》，［清］杨霁修，陈兰彬等纂：《高州府志》的资料而编成。
姓名与陈兰彬关系职务及封衔陈景清祖父光禄大夫、荣禄大夫陈训行父亲资政大夫、光禄大夫、荣禄大夫、通奉大夫陈兆行伯父直奉大夫陈礼行叔中宪大夫陈敬行叔中宪大夫陈敦行叔中宪大夫陈毅行叔中宪大夫陈兰舒长兄文昌训导、中议大夫陈兰华二兄荣禄大夫两广盐运使陈兰英从兄附贡署感恩教谕陈兰芬从兄附贡雷州候委训导陈兰植堂兄合浦、临高、阳江训导、中宪大夫陈兰森堂兄遂溪、大浦、和平、花县教谕、奉政大夫陈兰畴胞弟潮州教谕、中宪大夫、通奉大夫、荣禄大夫陈兰梅弟三品刑部贵州部中钦陈嵩琪子贡尽先训导陈嵩璘子兵部员外郎，先卒陈嵩良侄出使美、日、秘参赞、刑部郎中、四川补用知府陈嵩泉侄出使日本，任横滨理事、太仆寺卿陈嵩梅侄刑部贵州司郎中，钦加三品衔陈嵩年侄廪贡署雷州教授陈嵩瑜侄附贡光禄寺大官署正(续上表）姓名与陈兰彬关系职务及封衔陈嵩蒸侄廪贡候委训导陈嵩齐侄附贡琼州候委训导陈赓桐孙附贡候委训导陈赓南孙候选郎中陈赓梧孙廪膳生陈赓长孙候选盐运同
