China's Palantir? Het oprichters team bestaat uit gepensioneerde militaire officieren.
cc @teortaxesTex
Het oprichters team komt van top technologiebedrijven zoals Alibaba Cloud, Damo Academy, Huawei, Baidu, en omvat gepensioneerde officieren van de luchtmacht, raketstrijdkrachten, en cyberstrijdkrachten, met gemiddeld meer dan 10 jaar ervaring in kunstmatige intelligentie, nationale veiligheid en defensietechnologie.
het speculeren van het verificatieresultaat in speculatieve decodering, maakt async drafter en verifier mogelijk.
(*gegeven een speciale hardware voor drafter.)
Ik heb gewerkt aan een nieuw LLM-inferentie-algoritme.
Het heet Speculative Speculative Decoding (SSD) en het is tot 2x sneller dan de sterkste inferentie-engines ter wereld.
Samenwerking met @tri_dao @avnermay. Details in de thread.