可是作为江夏友贤坟的碑文上记载，在永禄三年(公元1560年)，江夏友贤被萨摩国的川内众倭寇抓住，带来到萨摩国入来院居住。从此后，凭借自己易学，特别是卜筮的能力，留在了岛津家服侍家主。
说到这里您应该看明白了，岛津家对于江夏友贤的说法是，京都大乱所以到岛津家避难，而实际上人家是被岛津家川内众倭寇抓到岛津家去的，岛津家的说法不过是一种对自己行为的粉饰罢了。不论如何，反正江夏友贤被弄到岛津家是事实。
据岛津家家志记载，天正十年(公元1582年)十二月，已经作为肥后国八代地方领主的岛津义弘，接待作为从肥前马家派来的使者（实际上是有马家派出来的人质）安富左兵卫尉，请求有马晴信回国。
不过岛津方面不知道放其回肥前国是否合适，在做决定的时候岛津义弘还有疑问，于是对于是否让有马晴信回国一事，让江夏友贤占卜来判定吉凶。这一件事情最后的结果是有马晴信回国，于天正十二年（公元1584年）与岛津义久联合，在冲田畷之战中击败了，并讨死了龙造寺隆信，稳固了有马氏在肥前国岛原地方的统治，同时也使得岛津家更加的强盛。
另有记载，天正十一年(公元1583年)十一月，岛津义久让江夏友贤占卜关于上井觉兼是否应该辞去家中老中的职务。连家老级人物的任用都交给了江夏友贤占卜，可见对其占卜之术的重视。
同时也有可能是岛津义久为了自己的目的，将所有自己想要的答案，预先教给江夏友贤，只有在有其占卜来向众人说出。以岛津家的立场，这么做是非常有可能的。
与此同时，江夏友贤还在岛津家担负其他的占卜任务，比如占卜土地的好坏，城池的选址，寺庙的选址，墓地的位置这样的任务，加治木城屋敷和鹤丸城等的圈绳定界也是由江夏友贤占卜完成的。
显然除了算命、卜卦之外，江夏友贤很可能还会风水堪舆之术，否则你给他十个胆子，在异国他乡，面对土匪一样的岛津家之人，他也不敢给人家去做选坟地的事情，不过可以肯定的是他应该不会盗墓。
在文禄庆长之役中，江夏友贤作为外交人员的角色，接待过明国前来的沈惟敬，沈惟敬来日本时候看见他，说了一句“听说过你的名字，只是不知道你的去向，原来你是在日本呀！”
听到这样的话之后，丰臣秀吉打算从岛津家挖角江夏友贤，结果他以在明国贤臣不侍二主为理由，拒绝了当时关白的这个想法。
总